loki

入门 | Kafka数据使用vector消费到Loki中使用grafana展示Loki 是由 Grafana Labs 开发的一款水平可扩展、高性价比的日志聚合系统。它的设计初衷是为了有效地处理和存储大量的日志数据，与 Grafana 生态系统紧密集成，方便用户在 Grafana 中对日志进行查询和可视化操作。

K8S日志收集本章主要讲解在 Kubernetes 集群中如何通过不同的技术栈收集容器的日志，包括程序直接输出到控制台日志、自定义文件日志等。

云原生日志LokiLoki是 Grafana Labs 团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。它的设计非常经济高效且易于操作，因为它不会为日志内容编制索引，而是为每个日志流编制一组标签。项目受 Prometheus 启发，官方的介绍就是：Like Prometheus, but for logs，类似于 Prometheus 的日志系统。

四、日志收集loki+ promtail+grafanaLoki是受Prometheus启发由Grafana Labs团队开源的水平可扩展，高度可用的多租户日志聚合系统。开发语言: Google Go。它的设计具有很高的成本效益，并且易于操作。使用标签来作为索引，而不是对全文进行检索，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据签，极大地降低了日志索引的存储。系统架构十分简单，由以下3个部分组成：

分布式日志采集 Loki 配置及部署详细（1）可扩展部署模式 Loki 的简单可扩展部署模式是最简单的部署方式、首选方式。可扩展到每天几TB的日志，但是如果超出这个范围，建议部署微服务模式。简单可扩展部署模式是将执行路径分为读取、写入和后端目标。这些目标可以独立扩展，让您可以自定义 Loki 部署，以满足日志摄取和日志查询的业务需求，从而使您的基础设施成本更好地匹配 Loki 的使用方式。

grafana+prometheus+loki的使用grafana官网：https://grafana.com/zh-cn/grafana/grafana下载：https://grafana.com/grafana/download?pg=graf&plcmt=deploy-box-1

Grafana Loki 日志传输工具有各种不同的工具支持传输日志到Loki，有Grafana开发和第三方开发的工具。Grafana 开发的工具：

Grafana Promtail 配置解析由于目前项目一般都是部署在k8s上，因此这篇文章中的配置只摘录k8s相关的配置，仅供参考，其他的配置建议上官网查询。

loki swift_storage_configThe swift_storage_config block configures the connection to OpenStack Object Storage (Swift) object storage backend. The supported CLI flags <prefix> used to reference this configuration block are:

loki cache_configThe cache block configures the cache backend. The supported CLI flags <prefix> used to reference this configuration block are:

loki azure_storage_configThe azure_storage_config block configures the connection to Azure object storage backend. The supported CLI flags <prefix> used to reference this configuration block are:

loki named_stores_configConfigures additional object stores for a given storage provider. Supported stores: aws, azure, bos, filesystem, gcs, swift. Example: storage_config: named_stores: aws: store-1: endpoint: s3://foo-bucket region: us-west1 Named store from this example can

Linux搭建Promtail + Loki + Grafana 轻量日志监控系统日志监控告警系统，较为主流的是ELK（Elasticsearch 、 Logstash和Kibana核心套件构成），虽然优点是功能丰富，允许复杂的操作。但是，这些方案往往规模复杂，资源占用高，操作苦难。很多功能往往用不上，大多数查询只关注一定时间范围和一些简单的参数（如host、service等），使用这些解决方案就有点杀鸡用牛刀的感觉了。