大场景多摄像头协同监管方案

随着视频监控技术的快速发展，对大视场视频监控的需求不断扩大。如对整座大型机场、跨江大桥、整幢高层住宅等的监控，单个摄像机无法达到如此大范围的监控，则需要架设多个监控设备。

目前，安防领域中主要有枪型摄像机（枪机）和球形摄像机（球机）两种。在大视场监控环境下，使用枪机的缺点是场景较多时要不断来回切换，易导致监控人员精神疲劳，注意力只能集中于有限的画面上，重要的信息可能会遗漏掉。球机监控是在监控场景中通过转动球机进行监控，其不足之处在于视野有限，只能监控一个场景。在通过监控设备进行目标跟踪时，若采用枪机，则目标容易出现在多个画面中。另外，监控画面的不断切换也会影响到监控者捕捉视频画面信息，枪机的安装朝向固定，监控场景固定，目标跟踪上很容易跟丢。若采用球机进行目标跟踪，则在跟踪过程中，由于监控视野集中在跟踪目标（“点”）附近，导致容易漏掉感兴趣区域（“面”）上的其他重要信息。综上，单纯的枪机或者球机在大场景中的应用中存在在顾此失彼，“点”“面”无法兼顾的不足。

一般的视频监控场景，摄像机同目标的距离在10m以上。这样在监控行人时成像小，难以看清行人特征。这种情况在球机监控中，我们可以通过手动调整云台放大光学变焦来获得高分辨率的行人图像。不过，这样的操作只有在行人静止不动时有效，若行人在运动行走过程中，往往放大后，目标已经走出了摄像机的视野，此外，由于网络延迟等原因，往往操作还存在滞后，因而依靠操作员手动对目标的跟踪放大是一件困难的事情。

在实际监控应用中，往往需要获得清晰的视频图像，通过目标位置检测，对运动目标进行自动跟踪，要保证跟踪目标始终在镜头中央出现。通过使用变焦PTZ摄像机，解决大场景下个体目标近景跟踪问题，即PTZ跟踪技术。该技术利用PTZ摄像机和传统跟踪算法，再结合PTZ摄像机控制算法，可以在一定程度上解决该问题。PTZ摄像机作为PTZ跟踪的核心硬件，解决了固定摄像机视角无法改变的问题。PTZ摄像机有三个主要的可控参数：Pan（左右）、Tilt（上下）和Zoom（缩放），这也是其名称得来的缘由。Pan表示的是摄像机云台左右平扫操作；Tilt表示的是摄像机云台上下俯仰操作；Zoom表示的是摄像机镜头变倍、变焦控制。PTZ跟踪的过程是，当目标对象出现后，Pan和Tile两个电机可以自动控制进行运动，并且根据场景中出现的目标对象的大小远近，驱动控制Zoom摄像机。PTZ摄像机的拍摄角度和焦距可以根据目标运动特性进行主动改变，属于主动视觉系统，可以拍摄到环境中的不同区域；由于焦距可以主动改变，于是可以获得不同分辨率的目标图像信息。近年来，摄像机的制作工艺逐渐成熟，PTZ摄像机也跟着提升了控制精度，在云台旋转俯仰速度方面和变倍速度方面，都有了大幅度提升，同时降低了生产成本，这样PTZ摄像机在实际监控系统中广泛应用起来。目前市面上的“高速球机”是一种典型的高度集成PTZ摄像机，这种球机由光学变焦高清摄像机、控制云台和防护罩等组成，水平键控速度和垂直键控速度都能达到200°／s以上，变倍速度也能达到2s以下，能够满足实时控制响应的要求，具有使用简单、工作稳定、成像清晰以及控制精准的优异特点，广泛应用在各种监控领域。

使用PTZ自动跟踪系统能够保证运动目标始终出现的视野的中部位置，在进行光学变焦之后也不会出现上面提到的目标移出监控视野范围的情况。这样就能够得到监控目标的高分辨率图像。当自动跟踪到感兴趣的目标（比如行人）之后，摄像头变焦拉近拍摄目标的高清晰的图像，在这样高分辨率的图像上进行目标特征提取将极大地提高特征的区分度。在这样的平台上使用人脸识别算法，高质量的图像保障了人脸识别算法的识别精度，能够真正应用到视频监控领域的实时布控场景，实现基于视频流的重点人员检测识别并实时报警。更进一步，智能视频监控领域中的复杂事件监测涉及的异常行为检测、人流检测、遗留物检测等，都要进行行人的识别和跟踪，这也是智能监控产品需要解决的首要问题。

在国外，很多研究学者将PTZ摄像机同固定摄像机组合成视频监控系统。通过主从控制进行协同工作，全局信息由固定摄像机获得，并进行目标跟踪，得到跟踪结果后再控制PTZ摄像机，以便得到高清的目标图像信息。这种方法对摄像机标定有很大程度的依赖。还有研究人员采用两个PTZ摄像机，组成双目视觉系统，这样能够三维重建现实场景，可以获得更多的目标信息。

上面提到的固定式摄像机一般为枪型摄像机，PTZ摄像机一般为球机或者半球机。这种固定式摄像机和PTZ摄像机协同的工作机制可以称为枪球联动。枪球联动系统是双摄像头监控系统中的一种，摄像头采用一个广角枪机（焦距固定）和一个PTZ球机，其中广角枪机负责宽视野内的关注目标检测，PTZ球机（又称主动摄像机）对关注目标进行聚焦放大和持续跟踪。

通过在每个监控点设置枪机和球机设备，通过两者之间的协同工作，一方面可以获得完整的、大视野的、边界画面清晰的全景图像；另外一方面，可以获取目标的特写图片并在全景画面中保持对当下目标的跟踪，见图1－3和图1－4。当在全景图像上检测到用户设置的感兴趣区域中的运动目标或者检测到用户进入到某个球机的监控范围，即可控制球机设备跟踪全景中感兴趣区域中的运动目标并进行人脸、车牌等识别，灵活性高。在每个监控点设置枪机和球机，在初始设置时要求枪机监控范围的设置要覆盖球机的监控范围。

图1－3　枪机（左图）和球机（右图）联动监控

图1－4　夜视场景下的枪机和球机联动

市面上常见的枪球联动产品一般采用将枪机和球机放置在同一竖直面上，优点是视野的中心区域重合度高，中心区域两个摄像机画面映射的精度高，见图1－5。

图1－5是枪球联动组合部署时候的上下部署和左右部署的对照图。

图1－5　枪球联动产品两种形态

可以根据监控场景的实际情况进行枪机设备的部署。如果对宽大正面都有监控要求而单枪机视野不能完全覆盖，这种情况下可以采用枪机集群，通过多枪机图像的拼接，生成所需的全景图像，也可以采用鱼眼摄像机进行全景监控，见图1－6。

图1－6　鱼眼摄像机及其成像效果

全景相机可以采用鱼眼镜头或者通过多个枪机进行拼接来实现，在形态上有一体集成式的和分散式的。广角镜头在同样的距离内能够拍摄到较宽一些的物品景象，并且不会变形。鱼眼镜头的视角更为广阔，能够达到甚至超过180°。但是，鱼眼镜头拍摄出来的景象周边会变形得很厉害。由于鱼眼镜头边缘畸变严重，对常规的基于形状、轮廓特征的目标检测算法的应用是一大挑战。室外监控实际应用中，从智能分析系统的后续对接方面考虑，更多的是采用广角镜头（视角不超过180°）而不是鱼眼镜头。广角镜头哪怕是桶形畸变再明显，都好过鱼眼镜头。图1－7所示是采用广角镜头的枪球联动产品。

图1－7　枪机采用180°视角广角镜头的枪球联动产品

图1－7中的枪机镜头焦距为f＝1.8mm，传感器为1／2.5″，视场角为180°的500万像素短焦镜头。球机镜头为f＝4.7～94mm，视场角为55.4°～2.9°，传感器为1／2.8″的200万像素CMOS。

进一步来讲，选择全景相机（“全景”并非指360°的视野拼接图，而指的是根据我们实际应用的需要，摄像机镜头选用符合一定要求的广角镜头，视野能够完全覆盖我们关注的较为宽大的正面区域，后文我们即以“全景相机”指代这种按需配置广角镜头的枪机或者枪机阵列）和跟踪相机相结合的PTZ跟踪系统。全景相机从产品形态上来说有采用超短焦镜头的单摄像机形态和基于多镜头组合的多摄像机组合形态。基于单摄像机实现的全景图像虽然成像范围大但是拍摄到的行人图像质量很差；跟踪相机成像的范围小，但能够进行高倍数的光学变焦，拍摄到的行人图像较为清晰。在全景相机中能够实时跟踪行人获取到行人的运动轨迹。跟踪相机通过云台对感兴趣的行人进行跟踪并且能够自动对焦，拍摄到清晰的行人视频图像。成功实现上述功能涉及两方面的技术：行人检测和跟踪技术。

我们一般多采用常规镜头拼接方式生成全景图像。一体集成式的在结构上一般采用水平等角度排列，在成像焦段各个子相机的视野具有大小相等的重叠区域。分散式的安装相对自由，一般也要求相机高度相同，在同一水平面上成圆周排列，各个子相机具有重叠区域，各重叠区域的大小不一定相同，后期通过图像拼接算法实现全景图像的生成。这里，我们所说的全景画面，更为通常的是指几个相互之间具有重叠视野的水平布置枪机成像画面拼接生成的完全覆盖所关注宽大正面区域的宽视角图像，不要求视场角一定要达到180°的正前方全覆盖，只要覆盖到正前方整个关注区域的大扇面即可。

以下是几款常用的全景相机介绍。

图1－8所示为Jaunt全景相机，用于虚拟现实应用场景，实现全立体视觉沉浸式体验。

图1－8　Jaunt全景相机

图1－9　视频监控中的常用全景相机

图1－9中所示为视频监控系统中常用的全景相机方案。左图是4个500万像素的枪机进行水平等角部署，生成180°的覆盖视角，画面等效像素为2 000万。右图通过4个300万像素定焦枪机等角分布形成全周覆盖监控，同时增加了一个向下的枪机，这种摄像机用于室内大厅部署，能够生成全景图片，又弥补了鱼眼相机的不足。

另外，有些采用单一超短焦距镜头的定焦摄像机，也能形成150～180°的超宽视场角且具备前段实时畸变校正功能，产品形态及成像效果如图1－10所示。

图1－10　180°视场角相机及画面

PTZ跟踪系统涉及图像处理技术、相机标定技术、视频跟踪以及自动控制技术等众多相关领域知识，有很强的专业技术综合性，其中跟踪算法和控制算法是系统的核心。跟踪算法通常是指检测跟踪的目标对象在图像中的位置信息，由控制算法通过目标对象在图像中的位置信息控制PTZ摄像机的高速步进电机转动，将目标锁定在图像的中央位置。

在现有的枪球联动的系统中，根据PTZ跟踪系统里面相机数目，分成单相机和多相机PTZ控制算法，对应的系统可以形象化地称为一枪一球联动系统和一枪多球联动系统，如图1－11中所示的三枪一球和一枪两球产品。在单相机控制算法中，通过目标在相机中的像素位置信息，计算出PTZ相机的两个电机旋转量参数，控制目标对象呈现在视野中央。双相机PTZ控制算法则是根据目标对象在固定相机中的位置信息来计算这两个旋转量，根据两个PTZ相机和目标的位置关系，对多目标的检测跟踪任务进行优化分配。概括来说，联动系统中的检测目标对象的位置信息的相机，同待控制角度的相机并不是同一个。

形态上说，一枪一球部署灵活机动，配置简单；一枪多球能够满足多目标实时跟踪，需要根据任务优先性设计多任务调度系统，多枪一球产品需要在全景画面拼接上满足实时和高精度要求。一枪一球和多枪一球更多应用于宽阔场所、人员目标较少的场景下，球机可以跟踪采集一个目标图像信息后进行任务释放，然后在枪机的指引下跟踪另外一个目标。在此过程中，宽视野枪机始终运行多目标检测任务。

多枪一球可以认为是一枪一球的宽视野版，主要解决宽大正面纵深场景下监控或者360°圆周监控的应用需求，支持人员联动监控、车牌抓拍等功能。首先，各个子枪机的画面进行拼接，形成全景画面。将全景画面里每个子枪机画面的中心设定为球机的一个预置位。这样，当目标进入某个子枪机的画面时，球机迅速通过预置位回调操作，快速地运动到该子枪机视野中。接下来调用球机和此枪机的位置配置关系模块，来生成球机的PTZ运动参数，即可实现球机对当前子枪机画面中目标的居中显示和适度放大。

图1－11　三枪一球（左）与一枪两球（右）产品形态

多枪一球产品利用4个或者8个枪机固定镜头来达到覆盖180°或360°的范围，每2个镜头的成像画面进行叠加，加入一个PTZ摄像机，通过内置好的智能分析功能来达到更多的功能。该方案的一个好处是省去了布线的麻烦，使用一两根网线就能够达到5台甚至更多摄像机拍摄的效果，同时，4个固定摄像机能够摆放到任意位置。在此基础上，选择不同焦距的镜头就衍生出更多的应用解决方案。这种方案具有很高的性价比，360°全景覆盖的效果，相比传统的摄像机覆盖范围更广更大，无缝升级了原有的PTZ球形摄像机，经济实惠。在不同位置架设4个固定摄像机，会出现更多不同视角的画面。设置不同的焦距，会得到不同视野重叠的画面，如图1－12所示。(www.xing528.com)

图1－12　不同焦距镜头下的重叠视角

当采用多枪机组成阵列进行图像拼接时，由于各个枪机之间的内外参数很难保证严格的一致性，各点的曝光参数不同，在多镜头物理拼接模式中，在拼接处会有明显的阴影，并且有轻微的变形，融合不能做到百分百准确，如图1－13所示。

图1－13　4个摄像机180°全景拼接

图1－14中显示的是一枪三球系统的监控画面，上半部分是宽视野枪机监控画面，下方为球机1、2、3的监控画面。3个球机分别监控全景画面中的关键区域并能够对关键区域内的目标进行持续跟踪。在使用之前，要分别对3个球机和枪机进行画面的标定。

图1－14　一枪三球视频监控应用

枪球联动目标检测跟踪系统（以下简称为“枪球联动系统”）研究的目标是解决动态多视角下目标快速准确跟踪的问题，并为后续的目标识别和快速检测提供接口，支持车辆、人员“以图搜图”模式的深度应用。从产品开发角度，可以将枪球联动的系统开发分解为以下几个问题：怎么判断出在不同视角里面的目标对象是同一个？怎么快速地检查出各个视角间的投影偏差？怎样快速抑制动态跟踪中出现的噪声？怎样通过融合动态视角的信息来提高跟踪系统的性能？

针对以上问题，从全景视野（Field of View）目标检测、双机协同标定到目标连续跟踪几个方面，国内外学者都进行了持之不懈的探索，在双机乃至多机协同跟踪方面取得了一些令人鼓舞的进展。

图1－15所示的枪球联动协同工作机制中的重要一部分是视频监控系统关联到其他监控电子系统，例如视频与门禁、视频监控系统与防盗报警、视频监控与会议系统等方面。在这方面，各个生产厂家都进行了针对性的技术提升，使得操作更加简便，节省了时间和精力。下面我们介绍常见的枪球联动。常见的枪球联动产品为“一枪一球”形态，如图1－16所示，一个枪机用于观察“全景”画面，一个球机用于自动跟踪，每次跟踪一个目标并按一定规则自动或人工切换跟踪目标。

枪机（固定摄像机）和PTZ球机之间通过固定摄像机进行联动获取“全景”画面图像，PTZ球机具有自动／手动的细节跟踪功能。这种类型的组合可以有很多解决方案，不再受限于固定摄像机单一产品形态的组合模式。

图1－15　枪球联动协同工作机制

图1－16　一枪一球产品形态图

调用PTZ相机可以查看异常画面的细节。通过内置智能分析算法，可以通过自动调用PTZ来预判即将发生的事件。

目标跟踪可以有三种模式供选择：自动跟踪、手动控制以及单目标自动跟踪。图1－17左图是枪机的画面，方框将行人框住，十字坐标显示为当前跟踪的目标画面，球机的跟踪为实时跟踪，在自动模式下，所有目标都在规定的时间内完成扫描，同传统球机自动跟踪功能有很大的区别。

图1－17　枪球联动协同跟踪画面

将枪机画面和球机画面通过多点定位的方式进行准确的校对，对联动效果有很好的促进作用。

在设置的多级警戒区模式下，越是上级的警戒区，越设置高的等级。在上级警戒区中的物体移动时，球机被调用进行立即响应。

在实际应用中，PTZ球机实时跟踪，画面图像会不稳定，产品在长焦端控制算法的精度，决定了产品的直观用户感受和跟踪效果。

以上介绍了基于视觉目标检测及多摄像机联动标定的多摄像机协同机制，这是一种精准的多摄像机联动策略，从动摄像机（球机）能够在主动摄像机（枪机）的指引下，通过PTZ操作，精准地将枪机中出现的运动目标一直置于球机画面中间，并适度放大，保持实时跟踪聚焦。

在城市公共安全视频监控应用中，还有一种称为“空地联动”的多摄像机协同应用策略。这种策略将高空摄像机架设在高层建筑的楼顶，对地面进行监控，同时通过一定的协同机制，能够在监控关注目标时调用地面摄像机进行协同监控。这种空地协同瞭望系统中结合了城市地理数据数字信息系统（GIS），能够实现目标定位的功能。警方可以通过城市GIS数字化坐标进行精准定位。通过前端的GPS数据、视频图像信息和城市实际地理数据等，在地图上进行定位，能够快速找到报警地点，结合地面上相应位置的摄像机视频信息，提供的指挥调度信息方便可靠。图1－18为某单位的空地联动系统部署图，图中分别标出了高空摄像机和地面摄像机的位置。

图1－18　某单位高空摄像机和地面摄像机联动部署图

在空地瞭望联动系统工作时，利用前端采集摄像机24h对全城区进行巡检，通过传输系统将采集到的视频图像传输到视频监控管理指挥中心。监控管理中心进行网络监控平台配置，图像识别预警平台配置，GIS联动平台以及视频图像存储、报警平台配置等。采集传回的视频图像进行存储转发，并且进行实时数字视频流分析，检测当前监控场景中有无异动情况。假设检测到异动预警信息，通过GIS系统驱动前端摄像机设备定位到预警信息的事发地点，同时在地图上进行标注，如图1－19所示。

图1－19　街区空地摄像机联动部署及点位GIS分布图

这种联动，其实是借助GIS信息的一种粗略联动，适合宏观场面的监控，优于GPS系统的定位精度，地面上的联动摄像机不可能准确或精准地调度聚焦到关注目标，这种联动无法准确应用于个体目标的协同跟踪。从协同机制上来说，也是依赖于非视频信息之外的信息源实现的协同，不属于我们这里讨论的基于视频监控系统本身的协同应用。这种联动是一种粗略的联动，是一种大尺度层面的具有相邻空间位置关系的摄像机之间的协作，是基于GIS及GPS信息的联动策略，不是精确的目标坐标映射的联动，区别于多摄像机基于视觉检测的联动机制。

下面我们介绍一下枪球联动在高空监控中的应用与空地视频联动的区别。

枪球联动产品也可以用于高空地面联动监控，如图1－20所示。在这种应用中，在高层建筑物楼顶部署高分辨率宽视野全景相机（图1－20中序号1所示部分）（可以采用枪机阵列进行画面拼接实现），在地面场景部署球机图1－20中序号2、3所示部分，通过枪球之间的标定关系，依赖于单纯的视觉检测，实现空地摄像机联动。当然，高空摄像机也可以采用大变倍的球机，这时候的空地联动，属于两个球机之间的接力跟踪，从技术方面来说，更为复杂。这种应用模式，对云台的定位精度要求较高，定位精度≤0.01°；同时，水平转角、垂直转角具体定位参数回传功能必须具备，也可进一步实现GIS系统同云台的联动集成。

图1－20　枪球联动产品用于高空地面联动监控

除此之外，随着无人机低空视频监控应用的迅猛发展，基于无人机视频和地面视频监控的联动也初步得到应用。这种联动主要应用于低空拍摄监控区大场景，生成全景静态图并划定敏感区域。然后局部镜头内进行目标跟踪捕捉，并映射到大场景全景图中，如图1－21、图1－22所示。空地视频联动有两种主要方式：

图1－21　无人机低空监控关注区域设定

（1）GPS信号激活附近的摄像机，地面相机按照飞行路线水平投影进行巡视。

（2）通过地面图案或者地标性建筑来激活。

图1－22　无人机空地联动视频监控