你头疼的ELK难题,本文几乎都解决了
发布时间:2019-03-23 06:56:13 所属栏目:建站 来源:alonghub
导读:副标题#e# 一、ELK实用知识点总结 1、编码转换问题 这个问题,主要就是中文乱码。 input中的codec=plain转码: codec=plain{ charset=GB2312 } 将GB2312的文本编码,转为UTF-8的编码。 也可以在filebeat中实现编码的转换(推荐): filebeat.prospectors: -in
在logstash output中使用if:
二、对ELK整体性能的优化 1、性能分析 服务器硬件Linux:1cpu4GRAM 假设每条日志250Byte。 分析: ①logstash-Linux:1cpu 4GRAM
②filebeat-Linux:1cpu 4GRAM
③瓶颈在logstash从Redis中取数据存入ES,开启一个logstash,每秒约处理6000条数据;开启两个logstash,每秒约处理10000条数据(cpu已基本跑满); ④logstash的启动过程占用大量系统资源,因为脚本中要检查java、ruby以及其他环境变量,启动后资源占用会恢复到正常状态。 2、关于收集日志的选择:logstash/filter 没有原则要求使用filebeat或logstash,两者作为shipper的功能是一样的。 (编辑:惠州站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |