ES学习日记(九)-------logstash导入数据

一、安装和下载

es官网
下载地址

官方介绍:Logstash是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的"存储库"中。(我们的存储库当然是 Elasticsearch。)

下载和ES一样的版本(很重要,必须这么做)

解压到指定目录

二、启动与配置

测试启动命令

java 复制代码
bin/logstash -e 'input {stdin {}}output { stdout {} }'
1.准备下面内容

可以直接抄作业,自己手写的,亲测可用,暂时定时更新,后续会更新配置信息:

jdbc.conf

java 复制代码
input {
    stdin {
    }
                jdbc {
                # 配置数据库信息
                jdbc_connection_string => "jdbc:mysql://172.18.8.61:3306/chengqu_eplatform?useunicodetrue&characterEncoding=UTF-8&serverlimezone=Asia/shanghai"
                # 驱动包
                jdbc_driver_class =>"com.mysql.cj.jdbc.Driver"
                # 用户名
                jdbc_user => "****"
                # 密码
                jdbc_password => "****"
                # 是否需要分页
                jdbc_paging_enabled => "true"
                # 分页大小
                jdbc_page_size => "50000"
                # 时区
                jdbc_default_timezone => "Asia/Shanghai"
                # 执行 sql 语句文件位置
                statement_filepath => "/home/local/escolony/logstash-7.4.2/jdbc.sql"
                # 定时字段 各字段含义(由左至右)分、吋、天、月、年,全部为*默认含义为每分钟都更新
                schedule => "* * * * *"
                # 是否将 sql 中 column 名称转小写(是否转驼峰)
                lowercase_column_names=> false
    }
}

filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}

output {
    elasticsearch {
        # 输出位置
        hosts => ["127.0.0.1:9200"]
        # port => "9200"
        # protocol => "http"
        # 索引名称
        index => "shop"
        # 文档 id%{id}意思是取査询出来的id的值,并将其映射到shop的id字段中
        # 文档 id,%{goodsId}如果是别名,意思是取查询出来的goodsId的值,并将其映射到shop的 id字段中
        document_id => "%{id}"
        # cluster => "logstash-elasticsearch"
    }
    stdout {
        codec => json_lines
    }
}

jdbc.sql

java 复制代码
select * from goods

把准备好的mysql驱动包放到/logstash-7.4.2/logstash-core/lib/jars/,另外两个文件放到/logstash-7.4.2/下面

执行之前,测试启动(加-t),检查配置文件是否编写正确(注意中英文,大小写,空格啥的,配置文件要求很高,不能出错)

java 复制代码
bin/logstash -f /home/local/escolony/logstash-7.4.2/jdbc.conf -t
2.创建新的索引
java 复制代码
curl -X PUT http://localhost:9200/shop -H 'Content-Type:application/json' -d'{
	"settings": {
		"number_of_shards": 5,
		"number_of_replicas": 1
	}
}'
3.分词
java 复制代码
curl -XPOST http://localhost:9200/shop/_mapping -H 'Content-Type:application/json' -d'{
	"properties":{
		"t_name":{
			"type": "text",
			"analyzer":"ik_max_word",
			"search_analyzer":"ik_max_word"
		}
	}
}'

三、关联mysql导入数据

1.连接mysql导数据

测试成功后,建立索引完成(也可以先建),现在就可以从mysql里面导数据了

实际使用中,一般打开了logstash以后就不要动了,每分钟会去数据库取数据,除非你的sql语句发生变化,不然开着不用管就行

启动logstash

java 复制代码
bin/logstash -f /home/local/escolony/logstash-7.4.2/jdbc.conf

获取数据成功

刷新下索引,就有了

写在最后

注意配置文件,要求很高,不能出错,需要的命令我都粘上面了,后续会改为实时更新

下一节开始用代码操作ES

相关推荐
Francek Chen17 分钟前
【大数据技术基础 | 实验十二】Hive实验:Hive分区
大数据·数据仓库·hive·hadoop·分布式
Red Red2 小时前
网安基础知识|IDS入侵检测系统|IPS入侵防御系统|堡垒机|VPN|EDR|CC防御|云安全-VDC/VPC|安全服务
网络·笔记·学习·安全·web安全
Natural_yz3 小时前
大数据学习17之Spark-Core
大数据·学习·spark
qq_172805593 小时前
RUST学习教程-安装教程
开发语言·学习·rust·安装
一只小小汤圆4 小时前
opencascade源码学习之BRepOffsetAPI包 -BRepOffsetAPI_DraftAngle
c++·学习·opencascade
虾球xz4 小时前
游戏引擎学习第20天
前端·学习·游戏引擎
LateBloomer7774 小时前
FreeRTOS——信号量
笔记·stm32·学习·freertos
legend_jz4 小时前
【Linux】线程控制
linux·服务器·开发语言·c++·笔记·学习·学习方法
Komorebi.py4 小时前
【Linux】-学习笔记04
linux·笔记·学习
Karoku0664 小时前
【企业级分布式系统】ELK优化
运维·服务器·数据库·elk·elasticsearch