DataOps是现代数据栈的未来吗？
发布时间：2022-08-02 11:31:11 所属栏目：云计算 来源：互联网
导读：在DevOps席卷软件工程领域之前，一旦他们的应用程序启动并开始运行，应用程序便如黑盒一般，开发人员无从知晓。工程师往往等到客户或者相关使用者抱怨网站访问缓慢或者503页面过多时，才会发现系统何时发生了中断。 不幸的是，这导致相同的错误反复发生，因
|
2、更快乐、更高效的数据团队 平均来说，数据工程师和科学家至少花费30%的时间来解决数据质量问题，而DataOps的一个关键部分是创建一个自动化且可重复的流程，这反过来为数据工程师和数据科学家节省了时间。 将繁琐的工程任务（例如连续代码质量检查和异常检测）自动化可以改善工程流程，同时减少企业内部的技术债务。 DataOps让团队成员更快乐，他们可以将宝贵的时间集中在改进数据产品、构建新功能和优化数据流水线上，以加快企业数据的价值实现的速度。 3、更快地获得分析见解 DataOp可自动执行通常需要花费数小时才能完成的测试和异常检测等工程任务。因此， DataOps为数据团队带来了速度，促进了数据工程和数据科学团队之间更快的协作。更短的数据产品开发周期可以降低成本（就工程时间而言），并允许数据驱动的企业更快地实现其目标。这是可能的，因为多个团队可以在同一个项目上并肩工作以同时交付结果。 根据我的经验， DataOps促进不同团队之间的协作可以带来更准确的洞察和分析，从而改进的决策制定能力，并带来更高的利润。如果充分实现了DataOps，团队就可以实时访问数据并调整他们的决策，而不是等待数据可用或请求临时支持。 4、降低运营和法律风险 当企业努力通过民主化访问来增加数据的价值，道德、技术和法律方面的挑战也将不可避免地增加。通用数据保护条例 (GDPR) 和加州消费者隐私法案 (CCPA) 等政府法规已经改变了公司处理数据的方式，并让公司努力将数据直接交到更多团队这个过程变得更复杂。DataOps——特别是数据可观察性——可以通过提供更多的可见性和透明度来帮助解决这些问题，即用户对数据的操作、数据输入到哪些表以及谁可以访问上游或下游的数据更清楚。 在公司实施DataOps 关于DataOps的好消息是采用现代数据栈和其他最佳实践的公司可能已经将DataOps原则应用到他们的流水线中。例如，越来越多的公司正在招聘DataOps工程师来推动基于数据进行决策—— 但这些职位描述，可能包括了已经由公司的数据工程师在处理的职责。DataOps工程师通常负责： 开发和维护可部署、测试和记录的自动化设计脚本、流程和程序库。 与其他部门合作，将源系统与数据湖和数据仓库进行集成。 创建并实施测试数据流水线的自动化。 在影响下游有关人员之前主动识别和修复数据质量问题。 通过引进自助服务工具或为业务人员执行培训计划，来提高整个企业的数据意识。 熟悉数据转换、测试和数据可观察性平台，以提高数据可靠性。 即使其他团队成员目前正在兼管这些职能，拥有一个专门的角色负责来构建DataOps框架也能提高可靠性，并简化采用这些最佳实践的过程。无论团队成员担任什么职务，就像没有应用可观察性就无法拥有DevOps一样，没有数据可观察性就无法拥有DataOps。数据可观察性工具使用自动监控、警报和分类来识别和评估数据质量和可发现性问题。这会带来更健康的流水线、更高效的团队和更满意的客户。 （编辑：惠州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
