你头疼的ELK难题，本文几乎都解决了

发布时间：2019-03-23 06:56:13 所属栏目：建站来源：alonghub

导读：副标题#e# 一、ELK实用知识点总结 1、编码转换问题这个问题，主要就是中文乱码。 input中的codec=plain转码： codec=plain{ charset=GB2312 } 将GB2312的文本编码，转为UTF-8的编码。也可以在filebeat中实现编码的转换(推荐)： filebeat.prospectors: -in

在logstash output中使用if：

if [fields][type] == "WebApiDebugLog_total" { 
    elasticsearch { 
        hosts => ["6.6.6.6:9200"] 
        index => "logstashl-WebApiDebugLog_total-%{+YYYY.MM.dd}" 
        document_type => "WebApiDebugLog_total_logs" 
}

二、对ELK整体性能的优化

1、性能分析

服务器硬件Linux：1cpu4GRAM

假设每条日志250Byte。

分析：

①logstash-Linux：1cpu 4GRAM

每秒500条日志;
去掉ruby每秒660条日志;
去掉grok后每秒1000条数据。

②filebeat-Linux：1cpu 4GRAM

每秒2500-3500条数据;
每天每台机器可处理：24h*60min*60sec* 3000*250Byte=64,800,000,000Bytes，约64G。

③瓶颈在logstash从Redis中取数据存入ES，开启一个logstash，每秒约处理6000条数据;开启两个logstash，每秒约处理10000条数据(cpu已基本跑满);

④logstash的启动过程占用大量系统资源，因为脚本中要检查java、ruby以及其他环境变量，启动后资源占用会恢复到正常状态。

2、关于收集日志的选择：logstash/filter

没有原则要求使用filebeat或logstash，两者作为shipper的功能是一样的。

（编辑：惠州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

6/11

首页

尾页