从京东618数据井喷看大数据平台峰值处理制胜关键

JDQ实时数据总线服务作为实时数据的中转缓存服务，屏蔽了业务研发对不同数据源的接入难度，同时通过一系列的数据格式使用方式的标准化，打通了实时数据从接入到业务处理的传输环节，实现了京东内部实时数据通道的目标。

实时数据计算

实时数据要想体现业务价值，最终还需要业务研发方进行计算和分析。京东内部主流的实时计算平台是JRC计算平台，该平台脱胎于早期的Storm版本，由平台研发进行了深度的改造和产品化，实现了业务研发用户完全的Web产品任务管理和监控的需求，同时整合了JDQ数据来源，实现了用户在数据计算平台的无缝对接实时数据。本次618达到1.1万亿次日处理次数。

2017年618，JRC基于容器的新架构已经开始支撑部分线上业务，未来容器化的JRC方案会进一步提高Storm平台的稳定性和资源利用率。JRC架构图如图：

该方案的特点如下：

• 通过Kubernetes实现Topology执行节点的容器化，资源随用随申请，提高资源利用率。
• 通过Kubernetes和二级调度的方案，把Topology调度逻辑放在Kubernetes层面和Topology内部，提高了调度的效率，避免了不同Topology之间的干扰。
• 心跳只在Timbus和Topology Master以及Topology Master和Worker之间进行，避免了传统方案任务量大时的心跳压力。

由于实时计算的场景多样，针对不同场景业内提出了多个流行的计算框架。目前京东内部实时计算的场景也趋于多样，我们平台已经开始在线上正式提供Spark Streaming和Flink等多种计算框架的产品化服务。

由于实时计算程序必须由程序代码进行开发，对于传统离线业务，SQL研发人员进行离线需求转实时还有较高的门槛，我们平台正在进行SQL形式和拖曳形式的实时计算产品化研发工作。该方案上线后，将进一步帮助业务方把离线数据处理需求转移到实时数据处理上，帮助京东的业务更快速地服务于广大的用户和商家。

目前京东实时数据解决方案整套流程已经接入了线上的上千张业务表数据流和数百个业务日志数据流，覆盖京东内部所有核心业务系统和大部分实时处理业务，主要面向京东内部各个业务部门的个性化推荐、秒杀、实时运营、商家报表等。未来，离线数据处理需求会越来越多地迁移到实时数据处理上。

离线平台

（编辑：惠州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!