最常用的计算机视觉算法评估框架是雷丁大学的在线PETS测评服务[6],它基于不同的数据集和一组预定义的准则,对视觉监控算法进行在线评估。虽然关于运动分割的准则已经得到运用,但是希望关于物体跟踪的准则也尽快得到用。通过利用PETS站点,用户可以通过一个用户接口提交他们的结果,利用预定义的准则进行评估。虽然这个服务只适合于部分视觉监控算法的评估,尤其是目标检测和目标分割,但也可用在其他应用领域。这个服务的一个主要优势是每一位用户可以独立于所使用的平台提交他们的结果。另一方面,其主要缺点是仅仅需要提交包含算法结果的文本文件,而没有考虑到计算时间。
另一个基于网络的评估框架是VIVID[117],它可以分析一系列可用数据集,并可以上传结果,网站界面显示和原来提交的结果一起打分的排名情况。假如所提供数据集涵盖了不同的情况,如各种分辨率、对比度的变化以及遮挡程度,视频的记录是通过使用普通摄像机以及红外摄像机完成的。测试软件使用五种标准评估提交上来的结果。
Smith等人[503]为评估跟踪结果提出了一种框架。作者致力于多目标跟踪,他们定义了一些特定的方法来评估他们的发现。
视频和分析内容的提取（Video and Analysis Content Extraction,VACE）计划致力于开发新算法、实现自动视频内容提取、多模态融合、事件理解[230]。通过这个过程也对算法进行了性能评估,产生了标准的数据,定义了多种多样的衡量标准。Manohar对PETS和VACE框架进行了有意义的对比[355]。
为了对视频监控系统进行性能评估,法国国家信息与自动化研究所和法国政府发起了ETISEO工程,其目标是研究场景刻画和算法的特征关系。参与人员用预定义指标评估他们提交的结果,并匿名发表这些评估结果。ETISEO中的跟踪评估主要适用于多目标跟踪的评估。(www.xing528.com)
Bashir和Porikli[48]提出了另一种目标跟踪系统的科学方法。为了对多目标跟踪结果进行评价,作者提出了一种基于统计描述的无偏度量。
考虑到嵌入式硬件,Van Der Wal[546]提出了在并行流水线结构中评估实时视频算法的框架,并报告了基于FPGA和5个摄像机数据融合的评价结果。
最近,Kasturi等人[81]为视频应用中的目标检测和跟踪的评估提出了一种框架。这个框架包含许多资源,诸如真实视频数据,标准视频数据本身,评估度量方法和一个软件工具。
最后,提一下CAVIAR工程[177]是很必要的,由于在此工程中许多基准数据集是有注解的,且对公众开放。虽然没有给出评估框架,但是注释数据集涵盖了许多不同环境下的不同情况,视频序列由单一的或者是多个摄像机记录,为算法的评估提供了真实的数据。不同形式的遮挡、目标消失和重现是场景注释的难点。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
