Grafana Loki 入门:高效日志聚合系统

文章目录

    • [Loki 解决了什么问题](#Loki 解决了什么问题)
    • 基础例子看一下
    • 核心好用的特性
    • [哪些场景用 Loki](#哪些场景用 Loki)
    • [Loki 有哪些优缺点](#Loki 有哪些优缺点)
    • [现在 Loki 发展得怎么样](#现在 Loki 发展得怎么样)
    • [现在学 Loki 值得吗](#现在学 Loki 值得吗)

Grafana Loki 是 Grafana Labs 推出的开源日志聚合系统,GitHub 星标超过 2.2 万,主打低成本高效存储日志,和 Grafana 完美集成,现在很多云原生集群都用它存日志。

我在测试集群用 Loki 存过容器日志,确实比 ELK 简单省资源,体验不错。今天聊聊它好用在哪,到底值得学吗。

Loki 解决了什么问题

以前存日志用 Elasticsearch,功能强是强,但资源吃得多,存储成本高,小集群用着挺心疼。Loki 不全文索引,只索引元数据,日志内容压缩存,成本省很多,同样存储能存多好几倍日志。

和 Grafana 是一家,集成完美,你已经用 Grafana 做监控了,直接加 Loki 就能看日志,不用再搭一套 ELK,架构简单多了。

还支持多租户,不同团队分开存日志,权限隔离,大企业用着方便。

基础例子看一下

用 docker-compose 单机启动最快:

yaml 复制代码
version: '3'
services:
  loki:
    image: grafana/loki:2.9.0
    ports:
      - "3100:3100"
    command: -config.file=/etc/loki/local-config.yaml

  grafana:
    image: grafana/grafana:latest
    ports:
      - "3000:3000"

启动之后,在 Grafana 加数据源选 Loki,填地址 http://loki:3100 就好了。

用 Promtail 采集日志,配置很简单:

yaml 复制代码
server:
  port: 9080

clients:
  - url: http://loki:3100/loki/api/v1/push

scrape_configs:
  - job_name: system
    static_configs:
      - targets:
          - localhost
        labels:
          job: varlogs
          __path__: /var/log/*log

Promtail 跑起来就自动采集日志了,在 Grafana 就能搜索查看,就是这么快。

在 Kubernetes 里更简单,用官方 helm 一键安装,每个节点跑 Promtail 采集容器日志,直接存 Loki,Grafana 直接看,一套搞定。

核心好用的特性

索引优化,成本很低

不对日志全文建索引,只对时间戳和标签建索引,日志内容压缩存储,比 Elasticsearch 存储成本低很多,小团队小集群用着特别省资源。

和 Grafana 深度集成

都是 Grafana 出的,直接集成,不用折腾,你已经用 Grafana 做监控,加个数据源就能看日志,监控日志同一个界面搞定,不用切来切去,舒服。

水平扩展

支持多副本,数据多分片,集群大了可以加节点扩展,从单节点到大规模集群都能跑。

多租户支持

原生支持多租户,每个租户数据隔离,权限分开,多个团队共用一个 Loki 集群也没问题,不用搭多个实例。

兼容 Promtail 生态

Promtail 轻量采集,各种日志源都支持,文件、systemd、容器日志都能采,资源占用极小,每个节点跑一个也不心疼。

哪些场景用 Loki

小团队中小集群,存日志不想花太多资源,Loki 成本低,比 ELK 省很多,特别合适。已经在用 Grafana 做监控,想要一体化,监控日志同一个界面,Loki 最合适。Kubernetes 集群存容器日志,搭一套简单日志系统,Promtail + Loki + Grafana 一键搞定,比 ELK 简单太多。开发测试环境,要个日志系统能用就行,Loki 安装简单,资源省,完美。

Loki 有哪些优缺点

优点,真省钱,资源占用比 Elasticsearch 小太多,同样硬件能存更多日志。安装简单,一体化方案,和 Grafana 集成完美,不用拼多个组件,架构简单。操作简单,搜索日志够用,大部分场景满足,不用复杂配置。社区活跃,Grafana 背后公司支持,更新勤快。

缺点,全文搜索功能不如 Elasticsearch 强大,复杂搜索分词什么的比不了。如果你需要全文检索各种复杂查询,那还是 Elasticsearch 功能强。但它定位就是高效聚合日志,就干这个,干得很好,定位清晰。

现在 Loki 发展得怎么样

出来快六年了,现在越来越火,很多公司从 ELK 换到 Loki 省钱,用户增长很快,Grafana Labs 一直在积极开发,功能越来越完善,社区也热闹,版本更新稳定。云原生时代大家都追求简单省资源,Loki 正好踩中这个需求,越来越流行。

现在学 Loki 值得吗

你用 Grafana 做监控,肯定值得学。现在搭日志系统,Loki 是真简单,安装配置都不复杂,半天就能搭好一套能用的日志系统,比搭 ELK 省时间省资源太多。

学会了,中小项目完全够用,成本低很多,出问题排查也方便,在 Grafana 里面直接看日志,不用跳来跳去,体验挺好。投入不大,学会了一直能用,肯定值得。

项目地址:https://github.com/grafana/loki

,成本低很多,出问题排查也方便,在 Grafana 里面直接看日志,不用跳来跳去,体验挺好。投入不大,学会了一直能用,肯定值得。

项目地址:https://github.com/grafana/loki

相关推荐
橙子家16 小时前
Transformer、“训练-微调”范式-AI 相关概念之(核心技术与架构)
其他
查拉图斯特拉面条18 小时前
使用 k6 编写登录与业务场景脚本并进行性能测试及 Grafana 可视化实战
grafana
智塑未来18 小时前
Ranplan:教学资源丰富的工业互联网仿真软件
其他
spider_xcxc19 小时前
Prometheus + Grafana流程搭建总结
grafana·prometheus·云计算运维
c_zyer1 天前
一站式可观测新选择:OpenObserve 深度对标 ELK / Grafana+Prometheus / Netdata,附Docker一键部署实战
elk·grafana·prometheus·netdata·openobserve
小崔聊喷画1 天前
山东室内写真相纸卷材打印技术白皮书:2024年行业趋势与落地实践指南
其他
橙子家1 天前
自然语言处理(NLP)、计算机视觉(Computer Vision, CV)-AI 相关概念之(核心技术与架构)
其他
钢琴美少女2 天前
电钢琴核心技术与选购全攻略
其他
广州市顺风搬家服务有限公司2 天前
实验室搬迁科普专业流程防护标准与合规核心要点
网络·其他·安全
Thomas.Chan2 天前
数据中心动环监控系统架构详解
运维·网络·计算机网络·其他·系统架构·数据中心