一、安装和下载
官方介绍:Logstash是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的"存储库"中。(我们的存储库当然是 Elasticsearch。)
下载和ES一样的版本(很重要,必须这么做)
解压到指定目录
二、启动与配置
测试启动命令
java
bin/logstash -e 'input {stdin {}}output { stdout {} }'
1.准备下面内容
可以直接抄作业,自己手写的,亲测可用,暂时定时更新,后续会更新配置信息:
jdbc.conf
java
input {
stdin {
}
jdbc {
# 配置数据库信息
jdbc_connection_string => "jdbc:mysql://172.18.8.61:3306/chengqu_eplatform?useunicodetrue&characterEncoding=UTF-8&serverlimezone=Asia/shanghai"
# 驱动包
jdbc_driver_class =>"com.mysql.cj.jdbc.Driver"
# 用户名
jdbc_user => "****"
# 密码
jdbc_password => "****"
# 是否需要分页
jdbc_paging_enabled => "true"
# 分页大小
jdbc_page_size => "50000"
# 时区
jdbc_default_timezone => "Asia/Shanghai"
# 执行 sql 语句文件位置
statement_filepath => "/home/local/escolony/logstash-7.4.2/jdbc.sql"
# 定时字段 各字段含义(由左至右)分、吋、天、月、年,全部为*默认含义为每分钟都更新
schedule => "* * * * *"
# 是否将 sql 中 column 名称转小写(是否转驼峰)
lowercase_column_names=> false
}
}
filter {
json {
source => "message"
remove_field => ["message"]
}
}
output {
elasticsearch {
# 输出位置
hosts => ["127.0.0.1:9200"]
# port => "9200"
# protocol => "http"
# 索引名称
index => "shop"
# 文档 id%{id}意思是取査询出来的id的值,并将其映射到shop的id字段中
# 文档 id,%{goodsId}如果是别名,意思是取查询出来的goodsId的值,并将其映射到shop的 id字段中
document_id => "%{id}"
# cluster => "logstash-elasticsearch"
}
stdout {
codec => json_lines
}
}
jdbc.sql
java
select * from goods
把准备好的mysql驱动包放到/logstash-7.4.2/logstash-core/lib/jars/,另外两个文件放到/logstash-7.4.2/下面
执行之前,测试启动(加-t),检查配置文件是否编写正确(注意中英文,大小写,空格啥的,配置文件要求很高,不能出错)
java
bin/logstash -f /home/local/escolony/logstash-7.4.2/jdbc.conf -t
2.创建新的索引
java
curl -X PUT http://localhost:9200/shop -H 'Content-Type:application/json' -d'{
"settings": {
"number_of_shards": 5,
"number_of_replicas": 1
}
}'
3.分词
java
curl -XPOST http://localhost:9200/shop/_mapping -H 'Content-Type:application/json' -d'{
"properties":{
"t_name":{
"type": "text",
"analyzer":"ik_max_word",
"search_analyzer":"ik_max_word"
}
}
}'
三、关联mysql导入数据
1.连接mysql导数据
测试成功后,建立索引完成(也可以先建),现在就可以从mysql里面导数据了
实际使用中,一般打开了logstash以后就不要动了,每分钟会去数据库取数据,除非你的sql语句发生变化,不然开着不用管就行
启动logstash
java
bin/logstash -f /home/local/escolony/logstash-7.4.2/jdbc.conf
获取数据成功
刷新下索引,就有了
写在最后
注意配置文件,要求很高,不能出错,需要的命令我都粘上面了,后续会改为实时更新
下一节开始用代码操作ES