視覺監控的主要目的，是從一組包含人的圖像序列中檢測、識別、跟蹤人體，并對其行為進行理解和描述。大體上這個過程可分為底層視覺模塊(low-levelvision)、數據融合模塊(intermediate-level vision)和高層視覺模塊(high-levelvision)。 　　

其中，底層視覺模塊主要包括運動檢測、目標跟蹤等運動分析方法；數據融合模塊主要解決多攝像機數據進行融合處理問題；高層視覺模塊主要包括目標的識別，以及有關于運動信息的語義理解與描述等。 　

如何使系統自適應于環境，是場景建模以及更新的核心問題。有了場景模型，就可以進行運動檢測，然后對檢測到的運動區域進行目標分類與跟蹤。接下來是多攝像機數據融合問題。最后一步是事件檢測和事件理解與描述。通過對前面處理得到的人體運動信息進行分析及理解，最終給出我們需要的語義數據。