随着数据量的爆炸式增长，大数据技术也在迅猛地发展，正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。大数据能够为用户带来更为丰富的服务，是以往的技术无法实现的。我国作为机动车保有量大国，大数据对城市的智慧交通起着相当重要的作用。
大数据技术的应用可以分为两个层次：浅层次的应用是可以提高海量数据的处理效率，如检索、分析效率大大提高；深层次的应用是可以预测事物的发展，为战略经营决策提供支撑，这也是大数据更大的价值所在。为了提高城市交通的管理能力，各地的交管部门纷纷部署了统一的监控系统，通过电子眼、传感器、测速器等设备对交通情况进行全天候的监控。
道路交通监控可以分为两类——观察型监控和分析型监控。观察型监控只需要监控设备能够观察到特殊状况，比如闯红灯、违停、越线、超速等违章行为，并将该状况发生的时间、地点和电子眼拍下的照片一同传送给监控中心，由交警进行状况的记录和处罚的通知。我国交管部门的观察型监控的使用已经相当成熟，对违章行为的捕捉率非常高，有效地降低了违章率。分析型监控就要复杂许多，常见的任务有套牌车分析、伴随车分析、碰撞车分析、黑名单车辆预警、旅行时间计算、道路流量统计等等。这些任务需要交通卡口不间断地记录所有经过车辆的过车数据，并且对这些数据进行查找、关联、比对等处理。因为记录条数多并且包含图像信息，过车数据的体量非常庞大，对监控系统的存储、查询和计算能力都提出了很高的要求。
事实上，由于数据量过大，大多数交管部门采用离线分析进行分析型监控，也就是将一个周期内(比如一天内)全部的过车数据都存储起来后再对整个数据集进行计算。这种处理方式显然延时过高，监控系统在特殊状况发生很久以后才能将结果报告给交警。分析型监控的任务常常具有时效性，比如黑名单车辆通过某个卡口时，需要系统立刻捕捉到这一行为并通知卡口附近的交警前往拦截；再比如道路流量统计的目的是通知交警在某地交通流量过大时前去疏导。离线分析的高延时使得交警无法对这些状况进行及时响应。
分析型监控的技术难点在于监控系统需要在不断产生的、海量的、格式多样的过车数据中快速发现问题，最好可以在问题发生时就发出预警。交管部门传统使用的数据库能力有限，无法满足对实时性的需求。所幸，这个难题恰好是近年来热门的大数据技术的强项。大数据技术以其分布式的计算方式尤其擅长对海量数据的快速处理。大数据发展到现在已经有相对成熟的技术来处理以下三种问题：复杂的批量数据处理、基于历史数据的交互式查询和基于实时数据的流处理。其中的流处理，顾名思义，是在数据产生并流入系统时就进行处理并马上得出结果，非常适合分析型监控中过车数据不断产生的场景和对实时性的需求。日前，山东交警就在公安部无锡所(交通管理科学研究所)的帮助下部署了基于大数据平台的缉查布控系统，利用流处理技术做到了实时的分析型监控。
山东省的机动车保有量在全国一直数一数二，2014年7月在全国率先实现了缉查布控系统的省级联网。省级的缉查布控系统要处理的不仅是省内各地市的监控信息，还有各地市之间交通的数据，因而数据量非常庞大，处理逻辑也远高于普通市级系统。山东交警在全省部署的上千个卡口每时每刻都捕获着大量包含图像和视频的过车数据，在高峰期可达每秒近万条，每月的数据量可达TB级别。山东交警缉查布控系统原先使用的Oracle数据库在处理如此大量的数据时捉襟见肘。部署了大数据平台后，数据量过大带来的存储、查询和计算方面的一系列问题都得到了解决。尤其是新系统中的流处理引擎成功地做到了对套牌车分析、伴随车分析、黑名单车预警、区间测速、旅行时间计算、道路流量统计等分析型监控的实时分析和实时预警。图1描述了山东交警新缉查布控系统的软件逻辑架构：
套牌车指拥有通过仿制、拼接等技术伪造与别的车辆相同的号牌的车辆。套牌车常被用作违法犯罪的工具，使案件难以侦察，给社会安全带来了很大的威胁。山东交警缉查布控系统对套牌车的分析根据“同一车辆在较短时间内不可能同时经过两个相距较远的卡口”的原理，将单个时间窗口内在全省产生的过车数据进行比对，在发现套牌车时立刻产生预警信息。信息一经交警确认，交管部门可以立刻通知卡口附近的交警前往拦截。大大提高了追踪套牌车的效率，可以帮助公安部门快速侦破套牌车所带来的违法犯罪行为。
推荐经销商