大数据重构安防系统 安防大数据的挑战

sskwcwtxkj

据IDC预测，2020年全球的数据总量将达到35ZB，并以每两年翻一番的速度在急速的增长。大数据时代的数据不仅仅是数据总量的庞大，同时也是种类的庞大。安防行业有着海量的视频、图片数据，一个大型城市每天产生的数据就可以达到1PB，同时还有飞速增长的特征数据，包括卡口过车数据、人脸抓拍数据、报警数据等等。繁多的数据种类、PB级的数据量、低价值密度的视频数据、快速的数据更新处理需求，这些特性都预示着安防行业已经进入大数据时代。
    从安防行业数据处理流程上看，数据经历了采集->传输->存储->处理这几个过程，存储和处理需要大量的服务器，占用了安防系统80%以上的服务器资源，也是安防企业需要重点考虑的问题。传统的安防系统架构比较混杂，各个厂家各个时期的设备，各种技术方案，各种平台系统交织在一起，没有清晰的层次，而且都是以业务为中心，数据的存储和处理水平还比较低，发展已经遇到一定瓶颈。云计算和云存储无疑是安防大数据的存储和处理过程最强有力的技术支撑，这两种技术的出发点，就是通过分布式技术，把商业级的计算和存储资源组成一个集群，实现低成本，高可靠，弹性扩展，易于管理和使用的解决方案，替代传统的小型机、关系型数据库、高端磁盘阵列组成的方案。
    其中，云计算是一种大数据处理技术，也是一种按使用量付费的模式，它提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池，资源包括网络，服务器，存储，应用软件，服务等类型，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。云计算通常意味着超大规模、虚拟化。云存储则是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。云存储对使用者来讲，不是指某一个具体的设备或服务器，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，实际上用的是整个云存储系统带来的一种数据访问服务。
    按照Gartner技术成熟曲线勾勒的趋势，云计算和云存储技术已经进入了成熟期，互联网巨头已经搭建了各种超大规模的数据中心，并开始影响人们生活的方方面面，而在安防行业的应用才刚刚开始。考虑现有安防系统存在的问题和大数据的涌现，我们认为云计算和云存储技术完全有潜力解决这些问题，帮助企业和用户一起应对大数据的挑战，并实现安防系统的重构。
    大数据存储关键技术
    随着安防行业的不断发展，日益丰富的信息采集途径，多样化的业务需求，以及各种行业各种外围业务系统，都要求安防云存储系统具有多业务支撑能力，云存储是最好的解决方案。云存储的核心是分布式文件系统，实现统一的命名空间、负载均衡、数据容错、灵活扩展、高性能的读写能力等。云存储可以将所有业务系统的存储模块统一到同一个存储平台上，支撑各种业务需求，提供了高度的数据共享能力，避免了存储和应用的耦合，降低了重复投资的风险。
    随着IP化、高清化、智能化的不断演进，系统存储空间需求日益膨胀，存储的可靠性和成本也成为最重要的考量，在这两个方面，用于数据容错的ErasureCode算法都给出了满意的回答，是公认的下一代容错算法机制，可以代替传统的RAID方式和副本方式，一些主流的公有云存储系统都已经开始采用EC算法。EC算法可以让云存储系统容忍多台设备或者多块硬盘的同时损坏，从而大大加强了系统的可靠性，同时可以做到和RAID5，RAID6同一个级别的空间效率。ErasureCode技术在安防行业云存储的应用，意味着更高的数据可靠性，更好的成本控制。
    系统规模变大之后，其管理也需要投入很多资源。对于一个有着成千上万台设备的系统而言，配置管理、扩展和出错处理的自动化显得非常重要。云存储系统可以很好的解决此类问题，以EMCIsilon为例，1分钟就可以完成系统扩展，10分钟完成系统初始化安装和配置。出错处理亦是如此，在设备损坏后，云存储可以保证业务不受任何影响，只需将损坏的设备更换掉即可，后台的数据迁移全部由系统自动处理。
    在大量数据读写的时候，还需要考虑到系统的性能能否足够支持上层各种数据业务，比如录像，抓图，回放，视频分析等等，特别是视频分析，需要以最快的速度读出原始视频数据，从海量数据中发掘极低密度的价值，对存储系统是一个很大的考验。云存储系统有着天然的带宽聚合的能力。在数据写入时，用户的数据被系统打散之后存在众多的存储节点中，整个系统的网络带宽和磁盘IO都可以得到充分利用。通过带宽聚合带来的高性能，可以实现文件的高速访问，极大提升智能分析等上层业务的数据处理能力。
    当前市面上有一些所谓的监控云存储系统，一般都只存储视频或图像业务相关的数据，和业务是紧密耦合的，数据可靠性和访问速度也得不到保证。在旧的时期，这种系统满足了基本的数据存储需求，但长远来看，是无法适应安防大数据的应用需求的。这类系统没有核心的分布式文件系统支持，不是真正的云存储系统，云存储是实现安防大数据有效存储的必由之路。

本文由福建视通原创发布（http://ishitong.b2b.hc360.com）转载请注明出处福建视通官方微信号：fujianshitong