浅析海量视频监控数据存储云存储的发展

　　技术的进步和市场的需求变化永远是推动一个产业发展的最重要的两个方面，这两个方面又是相互影响和互为作用的，安防技术的进步之快是有目共睹的，图像高清化，传输网络化、存储云化，应用智能平台化等。市场同样也悄然的发生着变化，传统的公共安全服务领域已经不再是安防视频监控市场的重点，行业专用视频监控网络和快速发展的家庭安全防范服务领域将很快成为下一个市场重点，随着市场重心的转移，为适应新的市场特点和需求，技术和方案也在悄然的发生变化。

　　随着安防视频监控系统技术的进步和规模的增长对存储的要求也在发生深刻的变化，对存储系统的容量、扩展性、性价比、性能、管理性、稳定性等都提出了新的要求，传统的存储方式已经不能满足要求。

　　为满足安防视频监控的新要求，解决城市级海量视频数据存储、检索难题，以视频、图片文件存储和管理为核心的面向大规模数据密集型应用的、可伸缩的分布式文件系统SDFS(Sky Distributed File System)被提出。

　　SDFS工作机理

　　SDFS它通过分布式集群架构将网络中普通PC、通用服务器及各种存储设备集合起来协同工作，并通过专用数据接口，向用户提供海量数据存储、管理和访问服务。部署方式上支持全网分散部署，或在数据中心集中部署。存储介质支持普通硬盘及通用存储设备。在普通PC或通用服务器集群上部署的SDFS可以达到NAS/SAN的冗余及可靠性，同时又能提供NAS/SAN无法达到的高吞吐量及强大的水平扩展能力。

　　SDFS通过元数据和存储数据分离，控制流和数据流分离，通过负载均衡和数据并发访问策略，在普通硬件条件下获得高效的传输速率以及PB级的存储容量， SDFS针对音视频文件进行特别优化，支持分布式集群架构下的音视频文件帧级别的查询及定位。为安防视频监控实现智能分析、智能检索奠定基础。

　　SDFS技术特点

　　多服务器同时对外服务

　　SDFS性能优异，支持高并发、带宽饱和利用。云存储系统将控制流和数据流分离，数据访问时多个存储服务器同时对外提供服务，实现高并发访问。自动均衡负载，将不同客户端的访问负载均衡到不同的存储服务器上。系统性能随节点规模的增加呈线性增长。系统的规模越大，云存储系统的优势越明显， 没有性能瓶颈。有利于超大规模城市级监控网络的形成。

　　多数据块副本实现冗余

　　高度可靠，采用多个数据块副本的方式实现冗余可靠，数据在不同的存储节点上具有多个块副本，任意节点发生故障，系统将自动复制数据块副本到新的存储节点上，数据不丢失，实现数据完整可靠；并支持通过编解码算法的方式实现高度可靠，任意同时损坏多个存储节点，数据可通过算法解码自动恢复。该特性可适用于对数据安全级别极高的场合，同时相对于副本冗余的可靠性实现方式大大提高了磁盘空间利用率，不到40%的磁盘冗余即可实现任意同时损坏三个存储节点而不丢失数据。

　　元数据管理节点采用多机同步热备份的高可用方式容错，其中任一台服务器故障，可无缝自动切换到另一台服务器，服务不间断。整个系统无单点故障，硬件故障自动屏蔽。