6个人如何维护上千规模的大数据集群呢？

　　饿了么大数据集群每天运行的 Spark&MR 任务 25W+，这些数据详细记录了每一个 Mapper/Reducer 或者 Spark 的 Task 的运行情况，如果能够充分利用，将会产生巨大的价值。即充分利用集群本身数据，数据驱动集群建设。

　　这些数据不仅可以有助于集群管理人员监控集群本身的计算资源、存储资源消耗，任务性能分析，主机运行状态。还可以帮助用户自助分析任务运行失败原因，任务运行性能分析等。

　　饿了么大数据团队开发的 Grace 项目就是在这方面的一个示例。

　　Grace 使用场景

　　你对集群任务运行状况详细数据没有明确认识的话，很容易当出现问题时陷入困境，从监控看到集群异常后将无法继续进一步快速定位问题。

　　当经常有用户找你说，我的任务为什么跑失败了?我的任务为什么跑的这么慢?我的任务能调一下优先级么?不要跟我说看日志，我看不懂。我想大家内心都是崩溃的。

　　当监控发出 NameNode 异常抖动，网络飚高，block 创建增加，block 创建延时增大等告警时，应该如何快速定位集群运行的异常任务?

　　当监控发出集群中 Pending 的任务太多时，用户反馈任务大面积延迟时，如何快速找到问题根本原因?

　　当用户申请计算资源时，到底应该给他们分配多少资源?当用户申请提高任务优先级时如何用数据说话，明确优先级到底应该调到多少?当用户只管上线不管下线任务时，我们如何定位哪些任务是不再需要的?

　　还有，如何通过实时展示各 BU 计算资源消耗，指定 BU 中各用户计算资源消耗，占 BU 资源比例。

　　以及如何从历史数据中分析各 BU 任务数，资源使用比例，BU 内部各用户的资源消耗，各任务的资源消耗等。

　　以下示例展示一些 Grace 产出数据图表，有关 BU、用户、任务级别的数据不方便展示。

　　监控队列

　　从下图可以方便的看到各队列最大最小资源，当前已用资源，当前运行任务数，Pending 任务数，以及资源使用比例等，还可以看到这些数据的历史趋势。

　　各队列任务情况

　　队列资源使用趋势

　　任务监控

　　可以查看指定队列中运行中任务的任务类型，开始时间，运行时长，消耗当前队列资源比例，以及消耗当前 BU 资源比例等。

　　可快速定位计算资源消耗多并且运行时间长的任务，快速找到队列阻塞原因。

　　指定队列任务情况

　　监控主机失败率

　　可以监控集群所有主机上的 Task 执行失败率。已有监控体系会对主机的 CPU，磁盘，内存，网络等硬件状况进行监控。

　　这些硬件故障最直观的表现就是分配在这些有问题的主机上的任务执行缓慢或者执行失败。

（编辑：惠州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!