你的数据仓库还在为企业业务拖后腿吗?
针对Hadoop性能优化的问题,Cloudera提供专为现代数据仓库设计的智能的工作负载管理云服务——Cloudera Workload XM。与传统的性能管理工具不同,Workload XM提供引导式自助服务性能分析,以便在整个生命周期内对工作负载提供可见性和有效控制。Cloudera Workload XM可以在不升级或安装任何软件的情况下工作,这意味着用户可以跳过软件安装部署的步骤立即使用。 徐峰在此举了一个实例: 某个用户想利用WXM诊断当前数据仓库的性能瓶颈。首先,用户通过Cloudera Manager收集大数据平台的日志诊断包,然后单击“开始上传”,WXM页面显示针对该诊断包的后台分析大约需要30分钟。 待后台分析结束后,该用户登录WXM仪表盘,从首页上查看到(8月13日 - 9月1日),总共有676043个查询,失败查询占比为4.9%。仪表盘还会显示其他信息:
该用户比较关心跑得非常慢的查询。他单击“持续时间> 5s的查询分布图”,得到以下摘要信息:
该用户发现大多数慢查询都是元数据查询,因此他增加元数据标识过滤,同时调整时间范围,以便在每小时窗口中查看详细的查询信息。由于元数据查询基本上是管理员提交的,因此再将管理员用户添加到过滤器中。 通过以上操作,该用户最终得出结论:大多数慢查询并非业务查询,而是收集增量统计信息的查询。 某城商行大数据应用案例 传统数仓向大数据技术转型是一项高难度工程,因此借鉴有价值的应用案例是很多企业管理者的共同选择。徐峰例举了国内某大型城市商业银行的大数据技术应用案例,该城商行于2013年购买了Teradata企业数据仓库平台6650C(20TB),通过建立全行级的逻辑数据模型,集合和整合所有内部数据,建立全行统一的单一业务视图。但是,随着业务量的不断增长,原有数据仓库方案架构封闭、性价比低、应用面窄、厂商依赖等诸多问题日益突出。 为了避免每年花费大量经费来扩展Teradata基础设施,该城商行改用运行在X86标准硬件上的Cloudera大数据平台逐步替代Teradata。 (编辑:惠州站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |