链接追踪系列-07.logstash安装json_lines插件

进入docker中的logstash 容器内:

bash 复制代码
jelex@bogon ~ % docker exec -it 7ee8960c99a31e607f346b2802419b8b819cc860863bc283cb7483bc03ba1420 /bin/sh
$ pwd
/usr/share/logstash
$ ls
bin	CONTRIBUTORS  Gemfile	    jdk  logstash-core		   modules   tools   x-pack
config	data	      Gemfile.lock  lib  logstash-core-plugin-api  pipeline  vendor
$ cd bin
$ ls
benchmark.bat	     ingest-convert.bat  logstash-keystore	logstash-plugin.bat  pqrepair.bat
benchmark.sh	     ingest-convert.sh	 logstash-keystore.bat	pqcheck		     ruby
cpdump		     logstash		 logstash.lib.sh	pqcheck.bat	     setup.bat
dependencies-report  logstash.bat	 logstash-plugin	pqrepair	     system-install

安装插件:

bash 复制代码
$ logstash-plugin install logstash-codec-json_lines

logstash优化:官方的建议是提高每次批处理的数量,调节传输间歇时间。当batch.size增大,es处理的事件数就会变少,写入也就越快了

vim /etc/logstash/pipeline.yml

pipeline线程数,官方建议是等于CPU内核数

pipeline.workers: 24

实际output时的线程数

pipeline.output.workers: 24

每次发送的事件数

pipeline.batch.size: 10000

发送延时(ms)

pipeline.batch.delay: 10

相关推荐
二闹2 天前
SLF4J/Logback 配置与 ELK 集成实战指南
后端·elasticsearch·logstash
小韩加油呀12 天前
logstash读取kafka日志写到oss归档存储180天
kafka·logstash
极限实验室21 天前
使用 Logstash 迁移 MongoDB 数据到 Easysearch
mongodb·logstash
玛奇玛丶1 个月前
八股文之JVM 调优:一次 Logstash 性能问题排查记录
jvm·logstash
Elastic 中国社区官方博客3 个月前
如何在不同版本的 Elasticsearch 之间以及集群之间迁移数据
大数据·数据库·elasticsearch·搜索引擎·全文检索·logstash
运维老司机5 个月前
Elasticsearch+Logstash+Kibana可视化集群部署
大数据·elk·elasticsearch·logstash·kibana的使用
小诺大人5 个月前
【超详细】ELK实现日志采集(日志文件、springboot服务项目)进行实时日志采集上报
spring boot·后端·elk·logstash
zfj3216 个月前
学英语学Elasticsearch:04 Elastic integrations 工具箱实现对第三方数据源的采集、存储、可视化,开箱即用
大数据·elasticsearch·搜索引擎·logstash·elastic agent·与第三方集成
zfj3216 个月前
学技术学英语:ELK是什么
elk·elasticsearch·kibana·logstash·elk stack
松岛的枫叶6 个月前
springBoot整合ELK Windowsb版本 (elasticsearch+logstash+kibana)
spring boot·elk·elasticsearch·kibana·logstash