logstash同步mysql数据到es(一、es模板问题,请求返回400)

elasticsearch - Failed to install template {:message=>"Got response code '400' contacting Elasticsearch at URL 'http://localhost:9200/_template/ecs-logstash'", :exception=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError,

配置文件:

input {
  jdbc {
    jdbc_driver_library => "/home/test/logstash/mysql-connector-j-8.0.32.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/_test"
    jdbc_user => "root"
    jdbc_password => "root"
    #启用分页,默认false
    jdbc_paging_enabled => "true"
    #页面大小
    jdbc_page_size => "500"
    #是否记录上次运行的结果
    record_last_run => true
    #记录上次运行结果的文件位置
    last_run_metadata_path => "/usr/share/logstash/pipeline/lastvalue.txt"
    #是否使用数据库某一列的值,
    use_column_value => true
    tracking_column => "id"
    #numeric或者timestamp
    #tracking_column_type => "numeric"
    #如果为true则会清除last_run_metadata_path记录,即重新开始同步数据
    clean_run => false
    # sql语句文件,对于复杂的查询,可以放在文件中,如:
    # statement_filepath => "jdbc.sql"这个文件路径要跟jdbc.sql对应上
    #设置监听间隔。可以设置每隔多久监听一次什么的。
    #官方举例:
    #* 5 * 1-3 * 一月到三月的每天凌晨5点每分钟执行一次。
    #0 * * * *   将在每天每小时的第0分钟执行。
    #0 6 * * *   America/Chicago每天早上6:00(UTC / GMT -5)执行。
    #* * * * *   分、时、天、月、年,全部为*默认含义为每分钟查询一次
    schedule => "* * * * *"
    #索引类型
    #type => "jdbc"
    statement => "SELECT * FROM testORDER BY id ASC"
  }
}

output {
   elasticsearch {
                 hosts => "localhost:9200"
                 index => "test"
                 user => "elastic"
                 password => "elastic"
                 timeout => 3000
                 document_id => "%{id}"
                 #template => "/home/test/logstash/config/test.json"
                 }
}

这里由于我的es模板一直创建不上,所以就选择了注释掉,手动创建:

curl -X PUT -u elastic:elastic http://localhost:9200/_template/test-H 'Content-Type: application/json' -d'
{
  "index_patterns": ["test*"],
  "mappings": {
    "properties": {
      "id": { "type": "integer" },
      "accession": { "type": "keyword" },
      "name": { "type": "keyword" },
      "comment_text": { "type": "text" },
      "sequence": { "type": "text" },
      "keyword": { "type": "keyword" }
    }
  }
}
'

看到报错信息请求的模板是:'http://localhost:9200/_template/ecs-logstash', ecs-logstash不是我的模板名字。

在conf文件中增加配置 template_name => "test"

重新运行logstash,发现请求正确了

后续还有一堆logstash问题总结一一奉上(头破血流不夸张~)

相关推荐
Elastic 中国社区官方博客26 分钟前
释放专利力量:Patently 如何利用向量搜索和 NLP 简化协作
大数据·数据库·人工智能·elasticsearch·搜索引擎·自然语言处理
eternal__day43 分钟前
MySQL_聚合函数&分组查询
数据库·mysql
咕哧普拉啦1 小时前
乐尚代驾十订单支付seata、rabbitmq异步消息、redisson延迟队列
java·spring boot·mysql·spring·maven·乐尚代驾·java最新项目
春哥的魔法书2 小时前
数据库基础(5) . DCL
数据库·mysql
鬼才血脉3 小时前
docker+mysql配置
mysql·adb·docker
一个假的前端男3 小时前
mysql 安装 windows
数据库·mysql
矛取矛求6 小时前
高级sql技巧
数据库·sql·mysql
计算机学姐7 小时前
基于Python的影院电影购票系统
开发语言·vue.js·后端·python·mysql·pycharm·pip
是僵尸不是姜丝7 小时前
MySQL基础篇总结
数据库·mysql
Shenqi Lotus7 小时前
ELK-ELK基本概念_ElasticSearch的配置
elk·elasticsearch