加入收藏 | 设为首页 | 会员中心 | 我要投稿 惠州站长网 (https://www.0752zz.com.cn/)- 办公协同、云通信、物联设备、操作系统、高性能计算!
当前位置: 首页 > 建站 > 正文

你头疼的ELK难题,本文几乎都解决了

发布时间:2019-03-23 06:56:13 所属栏目:建站 来源:alonghub
导读:副标题#e# 一、ELK实用知识点总结 1、编码转换问题 这个问题,主要就是中文乱码。 input中的codec=plain转码: codec=plain{ charset=GB2312 } 将GB2312的文本编码,转为UTF-8的编码。 也可以在filebeat中实现编码的转换(推荐): filebeat.prospectors: -in

在logstash output中使用if:

  1. if [fields][type] == "WebApiDebugLog_total" { 
  2.     elasticsearch { 
  3.         hosts => ["6.6.6.6:9200"] 
  4.         index => "logstashl-WebApiDebugLog_total-%{+YYYY.MM.dd}" 
  5.         document_type => "WebApiDebugLog_total_logs" 
  6. }  

二、对ELK整体性能的优化

1、性能分析

服务器硬件Linux:1cpu4GRAM

假设每条日志250Byte。

分析:

①logstash-Linux:1cpu 4GRAM

  • 每秒500条日志;
  • 去掉ruby每秒660条日志;
  • 去掉grok后每秒1000条数据。

②filebeat-Linux:1cpu 4GRAM

  • 每秒2500-3500条数据;
  • 每天每台机器可处理:24h*60min*60sec* 3000*250Byte=64,800,000,000Bytes,约64G。

③瓶颈在logstash从Redis中取数据存入ES,开启一个logstash,每秒约处理6000条数据;开启两个logstash,每秒约处理10000条数据(cpu已基本跑满);

④logstash的启动过程占用大量系统资源,因为脚本中要检查java、ruby以及其他环境变量,启动后资源占用会恢复到正常状态。

2、关于收集日志的选择:logstash/filter

没有原则要求使用filebeat或logstash,两者作为shipper的功能是一样的。

(编辑:惠州站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

推荐文章
    热点阅读