INFINI Labs 产品更新 | 发布 Easysearch Java 客户端,Console 支持 SQL 查询等功能

近年来,日志管理平台越来越流行。使用日志管理平台可以实时地、统一地、方便地管理和查看日志,挖掘日志数据价值,驱动运维、运营,提升服务管理效率。

方案架构

  • Beats 是轻量级采集器,包括 Filebeat、Metricbeat 等。
  • Easysearch 是个分布式搜索引擎,提供搜集、分析、存储数据等主要功能。
  • Console 是一个可视化工具,提供可视化查询,制作报表等功能。

本文将搭建一个统一日志管理平台。使用 Filebeat 采集 OS 中的日志(其他日志大同小异),发送到 Easysearch 中。最后通过 Console 进行日志的可视化查询与分析。

操作步骤

  1. 准备工作

    • 部署 Easysearch
      • 编辑 easysearch.yml 文件,打开注释 elasticsearch.api_compatibility: true
    • 部署 Console
  2. 安装并配置 Filebeat

    setup.template.name: "filebeat"
    setup.template.pattern: "system-log*"
    setup.template.fields: "${path.config}/fields.yml"

    output.elasticsearch:
    hosts: ["localhost:9200"]
    protocol: "https"
    ssl.verification_mode: none
    username: "admin"
    password: "4ad8f8f792e81cd0a6de"
    index: "system-log"

  3. 启用 system 模块并导入 pipeline

./filebeat modules enable system
./filebeat setup --pipelines --modules system

  1. 创建索引模板及初始索引,使用 ZSTD+SOURCE_REUSE 技术节省磁盘空间

    PUT template/system_log
    {
    "order": 100,
    "index_patterns": [
    "system_log*"
    ],
    "settings": {
    "index": {
    "format": "7",
    "lifecycle": {
    "name": "ilm
    .infini_metrics-30days-retention",
    "rollover_alias": "system_log"
    },
    "codec": "ZSTD",
    "source_reuse": true,
    "number_of_shards": "1",
    "translog": {
    "durability": "async"
    }
    }
    },
    "mappings": {
    "dynamic_templates": [
    {
    "strings": {
    "mapping": {
    "ignore_above": 256,
    "type": "keyword"
    },
    "match_mapping_type": "string"
    }
    }
    ]
    }
    }

    PUT system-log-00001
    {
    "aliases":{
    "system-log":{
    "is_write_index":true
    }
    }
    }

  2. 启动 filebeat

nohup ./filebeat -c filebeat.yml 2>&1>/dev/null &

  1. 进入 Console 查看、搜索日志
  2. 进入 Console 创建 dashboard 进行日志分析

关于极限科技(INFINI Labs)

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://www.infinilabs.com

相关推荐
云和数据.ChenGuang1 小时前
`neutron router-gateway-set` 操作失败的可能原因及解决方案
运维·gateway·运维技术总结·运维技术
杂雾无尘2 天前
2025 年了,是否该全面拥抱 Swift 6?
ios·swift·客户端
要开心吖ZSH2 天前
【Spring Cloud Gateway 实战系列】终极篇:演进方向与未来架构
spring cloud·gateway
@小了白了兔3 天前
统一服务入口——Spring Cloud Gateway
java·spring cloud·gateway
要开心吖ZSH3 天前
【Spring Cloud Gateway 实战系列】进阶篇:过滤器高级用法、动态路由配置与性能优化
spring cloud·性能优化·gateway·负载均衡
亲爱的非洲野猪3 天前
Spring Cloud Gateway 电商系统实战指南:架构设计与深度优化
java·spring cloud·gateway
[听得时光枕水眠]3 天前
Gateway
java·开发语言·gateway
杂雾无尘4 天前
解决 Xcode 烦人错误:"Build input file cannot be found" 一招搞定!
ios·swift·客户端
Java小白笔记5 天前
Nacos中feign.FeignException$BadGateway: [502 Bad Gateway]
微服务·gateway
勿芮介8 天前
【微服务】Ocelot微服务网关
微服务·c#·gateway