Elasticsearch:将Logstash日志存到elasticsearch中

配置Logstash

TypeScript 复制代码
# cat syslog02.conf
#filename:syslog02.conf #注意这个是要用#号注释掉
input{
    file{
        path => ["/var/log/*.log"]
    }
}
output{
    elasticsearch {
        #建议将搜索引擎不要和应用部署到一台服务器,我们介绍就同台服务器
        hosts => ["192.168.1.1:9200"]  
    }
}

查看配置文件是否有问题:

TypeScript 复制代码
# ../bin/logstash -f syslog02.conf -t
Sending Logstash's logs to /usr/local/logstash/logs which is now configured via log4j2.properties
[2016-12-01T09:54:46,512][FATAL][logstash.runner ] The given configuration is invalid. Reason: Expected one of #, input, filter, output at line 1, column 1 (byte 1) after

在output -> elasticsearch下增加一个index配置:

TypeScript 复制代码
cat syslog02.conf
#filename:syslog02.conf
input{
    file{
        path => ["/var/log/*.log"]
        format => json
    }
}
output{
    elasticsearch {
        hosts => ["192.168.1.1:9200"]
        index => "syslog02_log%{jsonsrt}"
    }
}

再次简测配置文件:

TypeScript 复制代码
# ../bin/logstash -f syslog02.conf -t
Sending Logstash's logs to /usr/local/logstash/logs which is now configured via log4j2.propertiesConfiguration OK
[2016-12-01T11:40:56,791][INFO ][logstash.runner ] Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstash

启动并在后台执行:

TypeScript 复制代码
# ../bin/logstash -f syslog02.conf &

hosts:["127.0.0.1:9200","127.0.0.2:9200"]

action:指定es的行为,index, delete, create, update

默认为index:index a document(该document就是一个来自于logstash的event)

delete:通过id删除一个document(需要指定document_id)

create:index a document(如果该document已经在index中存在,则失败)

update:通过id更新一个document

cacert:验证server合法性的.cer或.pem文件路径

codec:

document_id

document_type

index:默认值:logstash-%{+YYYY.MM.dd}

便于删除老数据

在语法解析的时候,看到+号开头的,会自动认为后面是时间格式,尝试用时间格式来解析后续字符串。所以,之前处理过程中不要给自定义的字段起一个+号开头的名字

索引名中不能有大写字母

有时也会自定义为:logstash-%{servicename}-%{+YYYY.MM.dd}

user:进入es cluster的用户

password:进入es cluster的密码

timeout:Set the timeout for network operations and requests sent Elasticsearch. If a timeout occurs, the request will be retried.

flush_size:默认500,logstash攒够500条数据再一次性向es发送

idle_flush_time:默认1s,如果1s内没攒够500条还是会一次性将攒的数据发出去给es

相关推荐
G皮T13 小时前
【Elasticsearch】深度分页及其替代方案
大数据·elasticsearch·搜索引擎·scroll·检索·深度分页·search_after
G皮T16 小时前
【Elasticsearch】检索排序 & 分页
大数据·elasticsearch·搜索引擎·排序·分页·检索·深度分页
飞询19 小时前
Docker 安装 Elasticsearch 9
elasticsearch·docker
G皮T20 小时前
【Elasticsearch】检索高亮
大数据·elasticsearch·搜索引擎·全文检索·kibana·检索·高亮
大只鹅1 天前
解决 Spring Boot 对 Elasticsearch 字段没有小驼峰映射的问题
spring boot·后端·elasticsearch
HGW6892 天前
基于 Elasticsearch 实现地图点聚合
java·elasticsearch·高德地图
小袁拒绝摆烂2 天前
ElasticSearch快速入门-1
大数据·elasticsearch·搜索引擎
GISer_Jing2 天前
Git协作开发:feature分支、拉取最新并合并
大数据·git·elasticsearch
高山莫衣3 天前
git rebase多次触发冲突
大数据·git·elasticsearch
kobe_OKOK_3 天前
【团队开发】git 操作流程
git·elasticsearch·团队开发