海量视频监控数据云存储的发展存储与灾备
技术的进步和市场的需求变化永远是推动一个产业发展的最重要的两个方面,这两个方面又是相互影响和互为作用的,安防技术的进步之快是有目共睹的,图像高清化,传输网络化、存储云化,应用智能平台化等。
市场同样也悄然的发生着变化,传统的公共安全服务领域已经不再是安防视频监控市场的重点,行业专用视频监控网络和快速发展的家庭安全防范服务领域将很快成为下一个市场重点,随着市场重心的转移,为适应新的市场特点和需求,技术和方案也在悄然的发生变化。
随着安防视频监控系统技术的进步和规模的增长对存储的要求也在发生深刻的变化,对存储系统的容量、扩展性、性价比、性能、管理性、稳定性等都提出了新的要求,传统的存储方式已经不能满足要求。
为满足安防视频监控的新要求,解决城市级海量视频数据存储、检索难题,以视频、图片文件存储和管理为核心的面向大规模数据密集型应用的、可伸缩的分布式文件系统SDFS(Sky Distributed File System)被提出。
SDFS工作机理
SDFS它通过分布式集群架构将网络中普通PC、通用服务器及各种存储设备集合起来协同工作,并通过专用数据接口,向用户提供海量数据存储、管理和访问服务。部署方式上支持全网分散部署,或在数据中心集中部署。存储介质支持普通硬盘及通用存储设备。在普通PC或通用服务器集群上部署的SDFS可以达到NAS/SAN的冗余及可靠性,同时又能提供NAS/SAN无法达到的高吞吐量及强大的水平扩展能力。
SDFS通过元数据和存储数据分离,控制流和数据流分离,通过负载均衡和数据并发访问策略,在普通硬件条件下获得高效的传输速率以及PB级的存储容量, SDFS针对音视频文件进行特别优化,支持分布式集群架构下的音视频文件帧级别的查询及定位。为安防视频监控实现智能分析、智能检索奠定基础。
SDFS技术特点
多服务器同时对外服务
SDFS性能优异,支持高并发、带宽饱和利用。云存储系统将控制流和数据流分离,数据访问时多个存储服务器同时对外提供服务,实现高并发访问。自动均衡负载,将不同客户端的访问负载均衡到不同的存储服务器上。系统性能随节点规模的增加呈线性增长。系统的规模越大,云存储系统的优势越明显, 没有性能瓶颈。有利于超大规模城市级监控网络的形成。
多数据块副本实现冗余
高度可靠,采用多个数据块副本的方式实现冗余可靠,数据在不同的存储节点上具有多个块副本,任意节点发生故障,系统将自动复制数据块副本到新的存储节点上,数据不丢失,实现数据完整可靠;并支持通过编解码算法的方式实现高度可靠,任意同时损坏多个存储节点,数据可通过算法解码自动恢复。
该特性可适用于对数据安全级别极高的场合,同时相对于副本冗余的可靠性实现方式大大提高了磁盘空间利用率,不到40%的磁盘冗余即可实现任意同时损坏三个存储节点而不丢失数据。
元数据管理节点采用多机同步热备份的高可用方式容错,其中任一台服务器故障,可无缝自动切换到另一台服务器,服务不间断。整个系统无单点故障,硬件故障自动屏蔽。
动态增减存储节点
SDFS(Sky Distributed File System)云存储系统所有管理工作由云存储系统管理监控中心完成,使用人员无需任何专业知识便可以轻松地管理整个系统。通过专业的分布式集群监控子系统对SDFS所有节点实行无间断监控,用户通过界面可以清楚地了解到每一个节点的运行情况。
在线伸缩,可以在不停止服务的情况下,动态加入新的存储节点,只需简单操作,即可实现系统容量从TB级向PB级平滑扩展;也可以摘下任意节点,系统自动缩小规模而不丢失数据,并自动将摘下的节点上的数据备份到其他节点上,保证整个系统数据的冗余数不变。并同步提升读写及网络性能。
降低建设和运营成本
降低建设和运营成本,作为整个平台的基础层,文件系统和数据仓库以廉价的高存储PC或者单板机代替以往的小型机,联合提供极高的运算能力和极低的存储成本!采用分布式计算和存储,结合优化的硬件,通过集群化运维管理系统,实现计算,存储,网络等资源的动态分配及部署,大大提高资源使用率。
云存储将推动安防视频监控系统向着集通信、运算、存储及应用于一身的统一平台发展,而不是整体系统中重复建设的一个IT子系统。
云存储的安防应用优势
有利于推动新的商业模式的形成
云存储在安防视频监控行业的应用,带来的一系列价值的提升,将有效推动形成新的商业模式。家庭安全视频监控服务需求的不断增长和“电信云”、“全球眼”的发展,将让人们购买安全服务相购买话费套餐一样简单。人们可以通过自己的手机或车载瘦终端来实现对家庭成员或重要位置的全天候实时监控,享受这种便捷的安全服务。
加速系统整合、多平台资源共享
云存储的发展有利于推动各种视频监控资源在云中融合,在安防领域,视频监控不能单独成为一个独立于其他安防措施的系统,它应当和警务督察系统、110报警系统、道路监控系统、车辆管理系统、人口稽查系统、GPS可视化系统等等多种安全防护系统联动,最终成为一套成熟的安全防护系统。而这些系统如果真正实现融合,资源共享就离不开云存储。
促进图像智能检索、分析应用
建立在图像智能检索,智能分析基础上的智能应用离不开云存储。网络监控的诞生解决了传统监控效果的难题,改变了传统的连接方式,更简单更便捷,但同时衍生了更庞大的存储需求和更高的带宽满足,以目前最基本的720P效果为例,每路视频压缩到较低码率也要每小时3G容量需求,一个月监控录像就要2TB左右的容量,那么试想一下,如果需要几百上千路这样的高清监控,如此庞大的视频文件,有如潮水般的冲击着存储系统,不仅对存储设备的容量,读写性能、可靠提出了更高要求。
回放是否能支撑这么大的信息量也是问题。
同时,存储的高清视频的安全性要求也很高。从保存的海量的高清视频中,如何检索、调用图像进行图像分析也是挑战之一。
如果存储的海量图像无法有效调用,那么图像存储就变得没有意义。
总之,云存储的诞生有效解决了安防视频监控发展中遇到的海量视频存储和基于图像智能应用等的一系列难题,并创造出新的商业模式。云存储正在对安防视频监控行业未来的发展产生着影响,并将成为下一步发展的基础和技术核心之一。
籍由城市级海量存储需求引入
城市级或城市群级超大规模系统的海量视频存储离不开云存储,随着平安城市、智慧城市的建设发展以及视频监控高清化发展趋势的深入,传统的磁盘阵列存储方式已经逐渐显现它的不足,已经无法满足智慧城市建设中海量高并发实时视频数据存取的需求。
传统的磁盘阵列存储方式不仅采购成本高,大量磁盘阵列管理维护困难,还不能达到网络带宽和存储器I/O资源的有效利用以及跨平台的数据共享。
云存储的出现,突破传统存储方式的性能和容量瓶颈,云存储能够连接管理网络中大量各种不同类型的存储设备形成异常强大的存储能力,实现性能与容量的线性扩展,让海量数据的存储成为了可能。
集中存储是网络存储的一个基本理念,但对于视频监控系统尤其是比较大的城市监控,一味的追求集中存储会增加城市骨干网的压力并带来使用上的不便,而云存储的集中管理、小范围集中、大范围分散的部署方式更适合大范围城市级视频监控的应用。
综上所述,视频监控的特定应用模式和发展方向,使得其对存储系统的需求已经和通用存储系统有了比较大的区别,所以要为视频监控选择合适的存储网络方案和存储设备,首先就要考虑存储网络方案的技术成熟度,能否兼容现有主流的监控设备、操作系统和应用环境,以及方案的总体拥有成本。
其次要估算存储容量需求,选择适合存储网络架构的性价比最高、扩展性好、适用性更强、可靠性高的存储方案、存储产品。
基于云存储系统之上的大容量视频监控解决方案,以及创新的城市级海量视频云存储系统和高清图像智能分析检索技术,将是支撑未来安防监控乃至其它大容量存储及图像处理应用领域的最好选择。
它将很好的解决目前海量视频数据存储中遇到的几乎所有问题及瓶颈。完全满足未来监控存储所必须的六点技术需求。
· 能够满足电信级别数据监控的海量存储要求;
· 满足高并发实时视频读写能力及较强的数据传输能力;
· 必须具备良好的扩展性能,应对数据量飞速增长对于存储空间扩大的需求;
· 能够随着网络规模的扩展,存储空间、读写能力、网络性能等也能够线性提升;
· 较大的缓存可以保证更多的数据滞留在缓存中,等待向硬盘空间的重新写入;
· 良好的稳定性、安全性及低廉的成本;
SDFS适合平安城市、数字城市、智慧城市、智慧公安等解决方案中针对非结构化的海量音视频数据文件,图片文件的存储、管理和访问。利于实现数据挖掘和商业应用,提高安防视频监控自身价值。