传统的存储模式遭遇信息爆炸如何破局
2014-02-14 比特网 编辑:佚名
一个老牛仔看到年轻人已经成熟,可以弹无虚发的杀掉犰狳、野猪和棕熊,于是喝干最后一瓶酒,收起嚼烟和骰子,戴上宽边帽,给马套上鞍,独自消失在沙漠的夕阳中……这样的剧本很好的诠释了标清的“行将就木”和高清的“如日中天”。从前端的高清到存储的高清再到平台的高清,存储的环节无疑是重中之重。作为安防视频管理系统信息的最终集散地,存储的压力这两年也在随着系统需求的提升而变得难以封顶。尤其当传统的存储模式遇到今天的爆炸式信息发展时,它在应用的过程中,多少也就显得有些力不从心。
高清存储大环境分析
对于高清存储,主要是根据存储规模和部署方式进行分类,一般分为两大类:
·以NVR、HDVR为代表的分布式存储架构:
主要针对中小型的监控环境,如园区、酒店等,一般采用分布式部署方式。存储产品采用控制器架构、嵌入式操作系统、模块化设计,具有良好的稳定性、扩展性和管理性,对应的缺点是系统封闭带来的灵活性不足,但这对于中小型监控环境没有影响。
·以SAN、NAS、DAS为代表的集中式存储架构:
主要针对大型的监控环境,如平安城市、智能交通、赛事场馆等,采用集中式存储架构,并实现集中式管理,即所谓云管理模式并采用统一管理和维护。存储产品则采用开放式存储架构,比较容易理解,俗称存储服务器,即具备存储功能的服务器,优点是良好的灵活性,可以实现软、硬件的定制和嵌入,实现监控平台、服务器、存储的融合,管理维护更加简单。其缺点是灵活性会影响稳定性,这就对存储厂商的研发能力提出了很高的要求。
如何选择正确的视频存储架构?
首先正确分析用户的实际需求以及应用环境,在IP视频监控的时代,IP网络的连通技术上不存在问题,大多是出于成本上的考虑。当用户监控区域分散而网络建设成本较高难以负担时,分布式视频存储架构是较好的选择,视频存储设备可以分别设立在网络的区域接入中心。由于视频监控点分散对于视频存储的容量及性能要求不高,设备的选型较多选用低端的存储产品,初期的投资较低。
但是,由于选用的视频存储设备性能较低,也带来扩展困难,后期视频监控数据利用率不高的问题。目前视频监控系统的发展除了前端设备的高清晰化之外,后台需要对视频监控事件的快速处理,这就对数据的分析提出较高的要求,也就是提高了对存储设备读写能力的要求。由于区域接入中心分散,维护保障的相应时间不够理想。机房环境相对较差,造成设备故障率较高,能耗较大不够环保。
当传输网络建设成本解决,就可以考虑集中式的存储架构。视频录像集中保存在数据中心,这种情况就可以考虑使用大容量高性能存储设备。虽然初期的投资成本略高,但是却有容量扩展空间大、系统性能优异可以充分满足视频监控管理平台后期应用的数据读写性能要求,即便初期不考虑安防系统数据的分析和发掘,后期考虑时,在这种架构的基础上也可以平滑升级。同时设备部署在大型数据中心,由于此类数据中心机房环境好,存储设备运行稳定极易维护,甚至可以达到IT系统级别的维护管理。极大提高视频监控系统的可用性。而大型存储设备的绿色节能设计不但节约了设备本省的电力供应,也降低了空调制冷的电力供应。存储集中的同时,视频监控系统的各类服务器也是集中的。通过对服务器的虚拟化,可以进一步优化视频监控系统的基础架构,提高系统性能以及可用性同时节约机房空间、能耗。视频监控系统的基础架构可以纳入到用户的信息基础架构之中,系统维护也可以统一有IT部分负责,降低维护人员数量,提高维护水平。
混合式的存储架构也通常在大型的视频监控系统中考虑。“集中存储的方式,管理维护便利、系统总体成本较低,但是存在一次性投入过大、带宽要求高等诸多问题。分布式存储的方式则可能有不便于统一管理、总体投资较高的问题。因此,将集中和分布式存储进行结合部署,一般录像采用本地存储,重要的录像资料通过集中存储录像和远程备份,这样不仅便于管理,而且有利于数据的回放和查询,并在一定程度上降低了系统对于带宽的要求。”蓝色星际产品经理焦成平如是说。
高清存储的那些拦路虎
容量需求
目前主流高清视频监控的分辨率需要达到720线以上,分辨率的大幅提高使得高清监控的画质得到了显著的提升,随之而来的是码流的大幅增大。可想而知,如果需要成百上千路这样的高清监控,如此庞大的视频数据对存储设备的容量,读写性能、可靠性提出了更高要求。作为图像数据和报警事件记录的载体,存储的重要性已不言而喻。当前,存储已不仅是一个设备而已,而是已经升华到了一个解决方案平台的地步。大容量的存储系统并不是存储设备的简单堆积,更需要解决存储机制的完备性、存储标准以及在时间(存储数据处理速度)和空间(存储容量)上的可使用性等问题,还有大容量存储系统的可管理性要求。高清视频监控应用对存储提出了新的要求和挑战。
性能需求
高清监控在带来更高清晰度画质的同时,随之而来的是编码流增大、同样的存储时间但存储数据量增大的压力。这就要求存储设备能够基于高清监控码流的特性,高效、完整地实现视频数据的安全写入。在标清时代,视频存储的带宽是2Mbps,但对于高清视频来说,至少需要的带宽是3Mbps,就相同路数来说,高清产品会比标清产品占用更多的带宽及存储空间,在多路并发写的情况下,对网络带宽、数据处理能力、缓存等都有较大影响,对存储的压力很大,这时候存储需要有很强的CPU网络和存储处理能力、硬盘接口数据处理能力、和专门针对视频性能的优化处理能力。
安全性需求
不管是高清也好,标清也好,对于数据的存取的安全都应该有一个较高的考虑。在监控视频的录像数据必须在第一时间就能保证是完好的,必须要做到对录像数据的实时性,不间断性和冗余性;在数据存储安全上,有RAID技术,RAID技术主要是解决了存储的三个问题:容量、速度、安全性。目前在原有的RAID 技术上,推出了RAID7,不过尚未标准化,存储使用的较多的还是RAID5,该级别的RAID在速度和安全性上相对平衡,损失单个裸盘的容量并且具备 XOR校验算法防止数据丢失。也可以采用RAID组合,对原有RAID技术上进行多种组合,获得更高效或者更可靠的RAID方式。另外一种主流的冗余方式就是热备功能,也叫做HotSpare,热备技术分为专属热备和全局热备,分别意味着对某一个RAID卷组的特备或对整个设备所有磁盘的热备支持。大华股份产品经理张庆华表示:“应用集群方式,利用多机热备冗余技术,设备之间互为冗余和备份,实现分布式计算和数据处理,任一设备故障都不会给业务造成中断,获得性能和稳定性上的提升。”
集中管理的需求
安防监控应用中,由于需要大量存储设备,存储设备中的海量数据,必须被有效的管理起来,需要对最终使用者的使用提供方便、可靠、透明的支持。安防的最大价值就在于数据的存贮与检索。而高清能提供更加完整清晰、真实可靠的数据。对于公安机关来说,以往案情发生的时候由于模拟信号录像画面模糊无法进行定论,也就无法第一时间锁定犯罪嫌疑人;对于交通管理来说,模糊的画面进行第一时间进行责任人的锁定、责任车辆的判定、以及危险品监控等。高清时代的来临,打破监控录像更多时候只能作为参考依据的局面。高清数据保存的价值更加重要,需要保证画面影像不停顿、不延迟、存得住、存的久!
助力高清存储的新技术
H.265标准将使超高清视频监控成为现实
随着用户对监控视频质量的要求越来越高,高清视频在安防监控中的应用越来越普及,由此带来了存储成本与空间的急剧上升。与现在正在使用的H.264编码技术相比,H.265的高压缩率特性能够节省一半左右的存储空间,从而显著降低了视频的存储成本。
与H.264相比,H.265的最大本领是可以在维持画质基本不变的前提下,让数据传输带宽减少至H.264的一半。同时其还支持最高为7680*4320的分辨率,因此即使是2160P甚至是更高级别的超高清视频同样可以通过H.265格式进行编码。
随着半导体技术的发展,解决了H.265计算复杂度的瓶颈后,在超高清监控应用方面,就像H.264替换之前的MPEG-2一样,H.265必然会替换现在的H.264技术。
云存储将成高清存储新方向
目前,云存储已经度过了萌芽期。这是一种借助物联网云计算的新技术,它将网络内的存储空间实现有效的整合,按需分配,从而使存储信息在整个网络内部寻找到更加广阔的存储空间。
尤其对于高清监控来说,云存储的应用,无疑毫无悬念的突破了传统监控性能与容量的瓶颈限制。使借助云计算实现存储的监控平台,可儿在不同的存储设备之间,集合形成更庞大的存储能力,实现从性能到容量的全扩展,这其实也就是我们经常提到而且一直渴望的海量存储的现实呈现。
虽然在目前的技术下,用云存储实现对监控系统的全覆盖还有一定的困难。不过,这并非是由于云存储的缺陷而造成,而是目前还没有完全达到所需的普及度而已。因此,云计算对于存储压力的缓解,已经被视为未来的有效手段。
虚拟存储技术
随着围绕数字化、网络化开展的各种多媒体处理业务的不断增加,存储系统网络平台已经成为一个核心平台,同时各种应用对平台的要求也越来越高,不光是在存储容量上,还包括数据访问性能、数据传输性能、数据管理能力、存储扩展能力等等多个方面。为达到这些要求,一种新兴的技术正越来越受到大家的关注,即虚拟存储技术。
所谓虚拟存储,就是把多个存储介质模块(如硬盘、RAID)通过一定的手段集中管理起来,所有的存储模块在一个存储池 (StoragePool)中得到统一管理,从主机和工作站的角度,看到就不是多个硬盘,而是一个分区或者卷,就好象是一个超大容量(如1T以上)的硬盘。这种可以将多种、多个存储设备统一管理起来,为使用者提供大容量、高数据传输性能的存储系统。虚拟存储实际上是逻辑存储,是一种智能、有效的管理存储数据的方式。虚拟存储克服了物理存储的局限,因为它可以把物理设备变成完全不同的逻辑镜像呈现给客户,既充分利用了物理设备的优势,如高性能、高可用,又打破了物理设备本身不可克服的局限性。
虚拟存储技术以其独特的技术优势成为应对上述需求的最佳存储解决方案。通过存储虚拟化技术,用户可以以最少的IT资源,以最经济有效的方式管理不断增长的企业数据信息,简化管理异构操作环境的复杂性。虚拟存储技术并不仅仅是一个新的技术概念,更重要的是为用户提供了一种新的存储实现方式,使企业可以更灵活、更有效、更简便、更经济地管理其整个的存储资源。
结语
应该看到的是,在面对物联网技术突飞猛进的今天,智能视频分析技术要解决的不仅是海量视频数据的分析、存储等问题,其还将配合云计算及云存储技术,适用于未来的物联网架构,帮助物联网系统进行城市交通、家居、医疗各方面的信息分配,全面提升智能分析技术的应用规模和应用层次,摆脱智能分析技术的应用限制,高效人性的服务于社会信息体系。
从标清逐步“进化”到高清时代,作为此类媒体的存储介质,原有标清技术清晰度将渐渐不能满足需要,对于目标的监控要求更加清晰有效、对于录像的回放更加重视细节的再现,尤其重要的是智能视频分析的需要。这使得高清视频存储向规模化、高速化、集成化方向发展。随着高清设备的应用,以及越来越高的文件存储期限,存储设备是否能够在未来很长一段时间满足需求存储的增长是必须要解决的问题。高性能、大容量存储系统及存储解决方案将得到更广泛的应用。构建下一代视频监控系统,其存储部分将不再是单纯的存储单元,而应该是一个联系前端的智能处理和后端智能检索的整合的系统。