大数据云计算助力平安城市应用贴近实战 行业资讯
平安城市建设历程
2005年12月,国务院办公厅批转了中央政法委员会、中央社会综合治理办公室《关于在全国开展平安城市建设的通知》,平安城市建设陆续在全国推广。
在第一轮平安城市建设中,全国建成了众多的以单个城市为主体的平安城市项目。同时,在第一轮平安城市建设中,由于视频监控系统的建设缺乏统一战略规划,公安系统内部不同警种均根据自身需求进行安防系统建设,诸警种之间的并发图像资源共享也无从谈起。不同监控系统的视频数据在城市的各个行业形成一个个信息孤岛。
因此平安城市视频监控需要在城市范围内实现由不同设备构成的系统之间的联网和互操作,综合利用各种监控和报警资源,逐步实现全国联网成为新需求,这也给视频传输网络、视频存储以及平台的兼容性带来了更高的要求。
另外由于平安城市第一轮建设的前端大部分是传统模拟设备,随着近年来高清技术的发展,现在已经基本具备了普及高清化的基础条件,因此2014年平安城市建设重点将放在模拟向高清化的升级改造以及高清布点。
另一方面从应用层面来说,由于视频监控采集到的是非结构化数据,如果真要做到实时分析并且能应用到具体的实时预警,甚至事后海量的数据检索等,就要用到近年比较热门的两项技术:云计算和大数据。这两技术都能很好的辅助视频应用实战。
我国平安城市建设自2006年开始进行已经渡过了第一轮建设,迎来了第二轮建设。究竟第二轮平安城市建设相对第一轮又有哪些特点和不同呢?
第二轮平安城市建设特点
第二轮平安城市建设与第一轮的显著变化为:第一轮平安城市是以基础设施建设为主,如前端摄像机的安装建设等等,需要用摄像机等前段设备抓取数据来进行存储。但是第一轮平安城市建设的摄像机还多以模拟摄像机为主。
而第二轮建设首先将前端摄像机的像素进行了提升,摄像机从模拟时代正式跨入到了数字高清时代,像素从130万提升到200、500万,甚至到达800万。
其次,第一轮建设以基础设施建设为主,而第二轮建设正式进入到了实战应用阶段。第二轮平安城市建设往往从两方面来进行:
第一、对于已经损坏的前端设备或者是模拟摄像机进行更新升级为数字化与高清化。
第二、后台功能应用的提升也是第二轮平安城市的建设的重点以及亮点。包含:智能分析、人脸识别,把视频监控的基础平台变成实战应用平台,实现从基础建设到实战应用平台的转换。所以第二轮平安城市平台建设将会与实战如刑事侦查等结合的更加紧密。
由此可见我国平安城市建设将转变“重建设、轻应用”的现状,贴合公安实战需求,拓展业务应用模式,究竟大数据和云计算在平安城市应用中又扮演着怎样的的角色?
云计算增强后台能力
云计算虚拟化资源动态扩展
张进飞认为安防领域强调预警功能,要实现预警功能需要实时对监控数据进行识别,比如视频里面的人、车、物、事,需要快速的计算分析并用到大量的计算资源,就需要虚拟化来解决计算资源的动态扩展,云计算就能很好的解决这个问题。例如当计算某大型任务时需要一些虚拟化的技术实现资源的动态扩展,通过云计算虚拟化的自动镜像,自动复制十个计算节点出来,这十个计算节点通过调度策略同时获取文件片段,十个节点计算完结果再合并。这样就提高了效率,这其中就用到了虚拟化的自动镜像以及大数据里的分成多节点计算方式。
在保障公共安全领域,平安城市向智慧城市靠拢将使平安城市不再完全依赖人力。传统的视频监控不能解决人力监管问题,但如果加上人脸识别、车牌识别和智能分析等技术,就能够实现智能化视频处理警情,在第一时间快速发现问题。
同时,高清视频及城市间的联网会产生大量数据,云计算的应用可以大大提高了系统的计算能力和存储能力,降低系统部署难度,减少管理和维护成本,使各子系统能够协同作战,对城市管理意义重大。
可见,智慧型平安城市需要强大的后台处理系统。视频前端仿佛是人的眼睛,而基于云计算的存储和分析仿佛人的大脑。目前,业内主要的解决方案提供商已经着手为平安城市构建更加发达的大脑。
平安城市解决方案就是基于云计算和云存储平台,融合了最新的物联网和智能分析技术。其中,基于分布式、虚拟化技术的云存储平台具有海量数据存储、超强扩展能力、高性能数据读写以及高可用等特点,可以解决资源的重复建设和浪费,充分满足深度应用开发和使用的存储需求。而强大的智能分析云,可以对海量视频资源进行智能分析和应用的挖掘,贴合公安实战需求,拓展业务应用模式,从原来的事后查证向事中打击和事前预防延伸,提升主动预防能力。
刘聪向笔者透露第一轮平安城市建设时公安部后端机房的服务器往往特别多,不同的系统都要用到不同的服务器去运算。而第二轮建设在处理服务器方面是采用的云架构服务器,在存储这块由第一轮建设时的DVR、NVR到第二轮的集中存储再到云存储的概念,从而达到资源共享的目的。
但是同时刘聪也表示云的应用还是处于起步阶段,云目前更多用在了服务器存储的整合,进行资源统一、序列化的管理阶段。真正实现云在视频方面的应用现在才刚刚起步。
大数据高效检索定位
城市的集中治安管理离不开安防视频监控系统,尤其是平安城市的建设领域。现有的视频监控布点已经很完善,一个城市的摄像头多达到几十万个。但关键是如何将前端采集的数据进行提升与分析。如何将每天诞生出来的庞大的数据文件进行存储,继而转化并提取应用,这正是大数据技术正在解决的问题!
并行计算与大数据检索
视频监控业务是典型的数据依赖型业务,依靠数据说话。尤其是高清、超高清监控时代的到来,将产生海量视频数据。这些海量数据,多数是冗余无用的,如何剔除这些无用数据,一直是人们研究的重点。视频智能分析的初衷就是要解决数据冗余的问题,把人从枯燥的监控中解放出来,帮助人更好地“眼观六路”。但囿于相关技术的发展,视频图像的智能分析一直不尽如人意,直到大数据技术的出现。
张进飞认为大数据可以分两个层次来看:
并行计算:利用大数据实现并行计算,比如原本单CPU需要4个小时完成的任务用十台计算机同时计算可能只需40分钟。这点笔者在前文的云计算虚拟化资源动态扩展中便有提到,详情可参考前文。
大数据检索:要对数据进行列式查询,前提是该数据已经是结构化数据,而我们前端视频采集的原始数据都是非结构化数据。这也是该项技术的一个瓶颈所在,因为把非结构化数据识别成结构化数据这本身也是有难度的。
刘聪也提到公安部门目前的实际需求中包括:
1.视频的智能分析与检索:视频摘要、浓缩、检索。
2.车辆多特征的检索:车前脸的各个特征。
3.大数据分析:将车的照片或视频等非结构化数据结构化之后,可以通过大数据的检索平台进行快速的检索。比如在卡口,我们发现被盗车辆的附近总是出现相应的工具车辆,我们以前的检索方式是通过人工检索的方式。今天我们通过大数据方式,首先通过验证车牌,其次通过车辆多特征信息,比如颜色为红色、品牌本田、前排司乘人数等等信息累积下来之后,将几样固定信息叠加到同一辆车上的时候,这辆车最终就能被锁定下来。目前这块大数据方面的应用在新疆、西藏、广西都有试用。
在在刑事侦查过程中最重要的是节约时间提高效能,例如,确认前端座位是坐了一人还是两人?这到底有没有价值?初步看来似乎没有什么价值。但是在侦查过程中若某时间点发生了案件,筛选出十万张照片,发现其中一张图片的车牌改了,并且发现作案人只有一个。那肯定就要筛选出前端有一人的车辆,理论上就能节约一半的时间。这就是实际结构化数据之后能带来的便利。
刑侦都是事后翻查破案,但实际环境中一些治安性案件都需要预防突发性事件,预防或事前布控对效率和实时性的要求就更高了。在这样的情况下没有结构化的数据做支撑是不可能进行快速的响应以及实时的布控联动的。
通过大数据技术,可实现视频图像模糊查询、快速检索、精准定位,并能够进一步挖掘海量视频监控数据背后的价值信息,快速反馈内涵知识辅助决策判断,从而将视频监控的效果发挥到极致。而云计算能实现虚拟化资源动态扩展,云计算的应用可以大大提高后台的计算能力和存储能力,那么大数据和云计算风光无限的背后是否还存一些问题?答案是肯定的。
云计算、大数据面临问题
云计算概念居多、数据源成问题
刘聪认为云计算的问题主要还是概念居多。实际在刑事侦查这块云方面应用得比较多的主要还在服务器的资源共享方面,把服务器进行负载均衡。以及存储这块,把多种存储结构的东西可以异构成同一块,例如把文件存数和数据库存储共享成一块。以前都是分开存储的状态,我们现在通过加控制器的方式让他们形成统一的归类、同一的出口,这是云实际在视频方面真实的应用。
大数据的问题在于数据源受到很多限制,要真正的做到大数据还需要国家政府进一步开放数据之后才能达到真正的大数据时代。目前数据相对独立,而且数据的使用审批流程过长。大数据是实战级别的工具,但是光有工具没有数据还是空架子。
高并发下资源调度策略成难点
张进飞则认为在做快速计算分析的时候用到的智能算法,首先会考验智能算法本身集群运算能力,因为肯定是多节点分布式计算。其次考验算法的效率问题,最后是调度机制。
比如公安领域可能会有几十种不同场景下的算法叠加,这个时候对于调度机制来说,需要对所有的计算任务进行分配调度,接收所有任务请求。因此调度策略很重要也很难实现,因为当涉及大范围、多对象的任务要进行调度处理很难协调,比如任务的优先级、冗余、资源合理分配等等。调度机制不是一项技术,而是一种模式。需要在具体项目中逐渐形成以及优化。因此张进飞认为随着大数据、云计算的普及,调度机制会变得越来越重要,在高并**况下如何实现有限资源的合理调度确实是很大的考验。
贴合实战需求趋势
云计算未来的发展趋势从国家层面来说,现有云计算的基础架构是非常好的,很多运营商都在建设MADC(移动互联网应用开发中心),面向很多企业做云计算资源的租赁服务。业界也有很多专门做云计算资源托管,政府也在建统一的云中心。
而大数据检索早在移动互联网领域应用得非常成熟了,像是淘宝对于消费者的行为习惯分析就是通过大数据挖掘出来的。所以在治安领域一样可以挖掘区域、时间段、案件类型、受侵害对象特征、作案手法等等,从前所未有的角度来分析并形成规律,并做出针对性的预防措施,真正从实战出发满足公安的实际需求,做到应用层面的小而精。
总的来说大数据与云计算带来的解决海量数据难题的新技术和方法,对我国的平安城市建设再攀新高度至关重要。平安城市领域应用的关键在于“IT”与“经营”的结合,即高效运用技术,开发应用并落地转化为商业模式,全面提升平安城市的建设、运维、管理能力。