Um dos principais objetivos do monitoramento ambiental automático é extrair informações sobre atividades realizadas por humanos, a fim de detectar interações entre agentes e identificar padrões de comportamento suspeitos. Para que as atividades sejam analisadas, é necessário resolver um conjunto de problemas, como detecção e identificação de agentes no local, rastreamento ao longo do tempo, possivelmente entre diferentes câmeras, reconhecimento de ações individuais.