数据专家的晋级之路 大数据中的四大挑战！
发布时间：2022-08-25 11:28:47 所属栏目：大数据 来源：互联网
导读：事实上，这个问题让我思考，因为我的脑海中还没有一个清晰的画面。这只是我对这个话题的想法，在很大程度上，我只是在推测数据管理的当前状态和未来。 根据我的观察，大数据主要存在4大挑战： 大数据中的数据挑战 大数据中的管理挑战 大数据中的分析挑战 大
|
1、数据检索 数据检索系统是一个算法网络，有助于根据用户需求搜索相关数据/文档。 为了对大量数据执行有效的搜索，不建议执行简单的扫描 - 然后会出现各种工具和解决方案。我看到的最常见的工具之一是ElasticSearch。它用于互联网搜索、日志分析和大数据分析。ElasticSearch 更受欢迎，因为它易于安装，无需任何额外软件即可扩展到数百个节点，并且由于其内置的 REST API 易于使用。 此外，著名的工具还有Solr、Sphinx和Lucene。 2、数据治理 数据治理是一种总称，用于表示“我想控制我的数据”。这可能是大数据的重要领域之一，在我看来仍然被低估并且没有好的解决方案。数据治理的目标是建立标准化、集成、保护和存储数据的方法、职责和流程。如果没有有效的数据治理，组织不同系统中的数据不一致将无法消除。这会使数据集成复杂化，并产生影响商业智能、企业报告和分析应用程序准确性的数据完整性问题。 我当然不是这个领域的专家，但我在这里看到的工具是Informatica、Talend、Semarchy。 3、数据安全 由于数据保护水平跟不上数据、供应商和人员的增长，不断增加的数据量给他们的入侵、泄漏和网络攻击防护带来了额外的挑战。全面的端到端保护不仅涉及在数据的整个生命周期（静态和传输中）加密数据，还包括从项目一开始就对其进行保护。正如您所看到的，这会影响我们在本文中讨论的所有方面，并且就像有关信息安全的所有内容一样，很难做到正确。 GDPR、CCPA、LGPD 等隐私法的出现对不合规造成了严重后果。企业必须考虑数据的机密性。这些领域的专家的存在成为必要。 4、数据目录 通常，在公司内部，我们拥有大量不同形式、存储方式、格式的数据，并具有不同程度的访问权限。要查找数据，您需要确切地知道在哪里找到它或知道从哪里开始查找（如果有这样的地方）。这就是所谓的数据目录或数据目录发挥作用的地方。 公司数据源的管理是一个基本过程，它基于公司内各种有限群体已知的信息。但是，收集有关存储在组织内部的数据的所有元数据并进行管理并不容易——人们来来去去，数据被删除和添加。因此，构建数据目录是一项重要但复杂的任务。 （编辑：惠州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
