|
|
|
|
|
|
tcc路网指挥控制—大数据处理技术在成都地铁cocc项目中的应用-k8凯发体育成都地铁cocc项目是由成都地铁运营有限公司主导，由京投亿雅捷深度参与建设的一个线网级综合监控运营平台。该平台监控范围涉及地铁运营的所有主要业务指标，包括：行车、客运、设备、能耗等。 在面大数据量的实时处理任务时，传统的单机程序已很难保证数据处理的及时性和准确性。我们采用了在大数据处理领域常用的处理方法，采用分布式的架构来对acc客运数据进行实时的流式处理。 当系统处理效率下降时，只需简单地通过修改启动参数、增加集群节点数等方式，来使系统处理能力得到线性提升。同时，因为我们的数据处理任务是运行在storm集群之上，当集群中任何一个节点出现故障宕机时，未处理完的数据会自动转到其它节点继续处理，而不会导致数据丢失或延迟。
storm采用类似“管道”的方式来处理数据，这种方式也被称为“流式数据处理”。如上图所示，每一个拓扑任务，都像一个大树，树根是拓扑的源头，它负责从kafka接收数据，并进行一些预处理，然后向下游节点分发。下游节点接收到上游分发的数据后，继续对数据进行处理，处理完成后，将处理存入数据库。 上一篇下一篇 |
