每天认识一个组件:VictoriaLogs

一、引言

日志系统长期处在一个尴尬位置:它既像搜索系统,需要快速全文检索;又像分析系统,需要聚合、统计、抽取字段;还像存储系统,需要以较低成本保存大量历史数据。

传统方案中,Elasticsearch / OpenSearch 擅长全文搜索,但它们是面向大规模文档检索的通用数据库,并非专门为日志优化,因此在日志场景里常见问题包括内存占用高、磁盘占用高、索引配置复杂、默认配置下单次查询返回数量受限等。Grafana Loki 通过"标签 + 日志流"的方式降低了全文索引成本,但也带来高基数字段使用受限的问题。ClickHouse 也常被用于日志分析,但它更像一套通用分析型数据库,当字段集合和查询模式不能提前确定时效率不高。

可以把 VictoriaLogs 的出现理解为日志系统设计思路的一次"收窄":不追求成为通用搜索引擎或通用 OLAP 数据库,而是围绕日志的写入、压缩、字段检索、时间过滤、流过滤和运维简化做专项优化。

arduino 复制代码
传统日志平台的典型压力
────────────────────────────────────────────
应用 / 中间件 / K8s / 网关 / 安全设备
        │
        ▼
  海量日志持续写入
        │
        ├─ 字段多:trace_id、user_id、ip、pod、namespace
        ├─ 查询散:全文检索、错误排查、聚合统计、上下文查看
        ├─ 成本高:内存、磁盘、索引维护、集群运维
        └─ 结构变:不同系统字段不统一,schema 难提前固定
        │
        ▼
VictoriaLogs 的切入点:
面向日志特征重新设计存储、索引、查询与部署体验

二、VictoriaLogs 是什么

VictoriaLogs 是 VictoriaMetrics 推出的开源日志数据库,定位于资源高效、易部署、面向日志场景优化的日志存储与查询系统。官方将它描述为一个支持单节点与集群部署、可接入常见日志采集器、内置 Web UI、支持 LogsQL 查询语言的日志数据库,并强调其相比 Elasticsearch、Grafana Loki 在部署复杂度、资源占用和日志查询体验上的优势。

它的核心能力可以概括为三件事:

能力 VictoriaLogs 的做法 工程价值
采集 支持多种数据摄入协议和常见日志采集器 便于接入现有日志链路
存储 按字段块存储、压缩、按天分区、按日志流组织 降低存储成本,提高时间范围查询效率
查询 使用 LogsQL,支持全文检索、字段过滤、聚合分析、上下文查询 面向排障和日志分析,学习成本低于通用 SQL/复杂 DSL

官方列出的功能还包括内置 Web UI、Grafana 插件、命令行查询工具、Unix 工具链集成、多租户、乱序日志写入、live tailing、告警,以及适配 RUM 和 SIEM 场景等。

三、核心数据模型

VictoriaLogs 的数据模型围绕三个特殊字段展开:_msg 、_time 和_stream /_stream_id 。VictoriaLogs 同时支持结构化和非结构化日志,每条日志至少需要有日志消息字段,额外字段可以以key=value 形式加入;一条日志可以表示为单层 JSON 对象,key 和 value 都以字符串形式处理。

json 复制代码
一条日志在 VictoriaLogs 中的概念模型
────────────────────────────────────────────
{
  "_time":  "2026-09-20T10:00:00Z",     ← 时间字段,用于时间过滤
  "_msg":   "failed to serve request",  ← 消息字段,用于全文检索
  "level":  "error",                    ← 普通字段,自动索引
  "ip":     "1.2.3.4",                  ← 高基数字段,可作为普通字段
  "trace_id": "abc-123",                ← 高基数字段,可查询
  "_stream": "{job="api",instance="host1"}" ← 日志流
}

_msg 是实际日志消息字段。如果原始日志里的消息字段不是_msg ,可以在摄入时通过_msg_field 查询参数或VL-Msg-Field 请求头指定真实字段;如果仍然为空,VictoriaLogs 会使用-defaultMsgValue 配置的默认值。

_time 是日志时间字段,支持 ISO8601、RFC3339,以及秒、毫秒、微秒、纳秒级 Unix 时间戳;如果缺失、为0 或为- ,VictoriaLogs 会使用数据摄入时间作为日志时间。这对日志接入很友好,因为很多系统日志字段不统一,可以在摄入层映射。

_stream 表示日志流,通常由能唯一标识应用实例的一组稳定字段组成,比如namespace 、pod 、container 、host 、instance 等。建议通过_stream_fields 在摄入时指定日志流字段,以提升压缩率和查询效率;但不要把ip 、user_id 、trace_id 这类高基数字段加入日志流,否则会导致性能、内存、CPU、磁盘和 IO 问题。

arduino 复制代码
_stream_fields 选择原则
────────────────────────────────────────────
适合放入 _stream 的字段:
  namespace / pod / container / host / instance / job
  特征:能标识应用实例,生命周期内相对稳定

不适合放入 _stream 的字段:
  trace_id / user_id / ip / request_id
  特征:每条日志都可能变化,基数极高

推荐理解:
  高基数字段不是不能存,而是不要当作日志流标签使用。

四、架构原理

4.1.单节点架构

VictoriaLogs 的单节点模式强调"一个可执行文件 + 一个数据目录",运行二进制后默认监听9428 端口,存储目录默认为victoria-logs-data ,无需额外依赖和配置文件即可开始写入与查询。

sql 复制代码
VictoriaLogs 单节点逻辑架构
────────────────────────────────────────────

Log Agents / Apps / curl / Fluent Bit / Vector
        │
        │  HTTP / JSON line / collector protocols
        ▼
┌────────────────────────────────────────────┐
│              VictoriaLogs                  │
│                                            │
│  ┌─────────────┐   ┌────────────────────┐  │
│  │ Insert API  │──▶│ Parse & Normalize  │  │
│  └─────────────┘   └────────────────────┘  │
│                         │                  │
│                         ▼                  │
│              ┌────────────────────┐        │
│              │ Index & Compress   │        │
│              └────────────────────┘        │
│                         │                  │
│                         ▼                  │
│              ┌────────────────────┐        │
│              │ Per-day partitions │        │
│              │ Columnar blocks    │        │
│              └────────────────────┘        │
│                         ▲                  │
│                         │                  │
│  ┌─────────────┐   ┌────────────────────┐  │
│  │ Query API   │◀──│ LogsQL execution   │  │
│  └─────────────┘   └────────────────────┘  │
└────────────────────────────────────────────┘
        ▲
        │
Web UI / Grafana / vlogscli / curl

VictoriaLogs 接收 JSON 日志后,会把日志字段存储到不同的数据块中,也就是同一个字段跨多条日志的值会进入同一类数据块;查询时可以只读取需要字段的数据块,从而减少 IO。数据块写入持久化存储前会压缩,较小的数据块会在后台合并为更大的块,查询时数据块可以在多 CPU 核上并行处理。

它还使用多类优化来跳过无关数据:用 Bloom Filter 跳过不包含目标词或短语的数据块;针对不同类型字段使用自定义编码和压缩,例如 IP 地址可编码成 4 字节;把同一日志流的数据在物理存储上尽量放近;并维护日志时间的稀疏索引以加速时间过滤。

scss 复制代码
查询加速路径
────────────────────────────────────────────
LogsQL 查询
   │
   ├─ 时间过滤:通过 _time 与稀疏时间索引缩小范围
   ├─ 流过滤:通过 _stream / _stream_id 缩小日志流
   ├─ 词/短语过滤:通过 Bloom Filter 跳过不相关 block
   ├─ 字段选择:只读取查询需要的字段块
   └─ 并行执行:多个 block 在多 CPU 核上并行处理

4.2.集群架构

当单节点到达单机 CPU、内存、磁盘容量或 IO 的垂直扩展上限时,可以切换到集群模式。如果能通过更强单机满足需求,优先使用单节点,因为单节点更容易配置、管理和排障,同等硬件下也避免了组件间网络传输开销。

VictoriaLogs 集群由三个角色组成:vlinsert 、vlselect 、vlstorage 。vlinsert 接收所有支持协议的日志写入,并将日志均匀分片到vlstorage ;vlselect 接收查询请求,在多个vlstorage 上并行执行查询,合并结果后返回;vlstorage 负责持久化存储日志,并执行来自vlselect 的查询。

markdown 复制代码
VictoriaLogs 集群架构
────────────────────────────────────────────

             写入路径
Apps / Agents / Collectors
        │
        ▼
┌────────────────┐
│    vlinsert    │  可水平扩展
└────────────────┘
        │
        │ shard logs
        ▼
┌────────────┐ ┌────────────┐ ┌────────────┐
│ vlstorage1 │ │ vlstorage2 │ │ vlstorage3 │
└────────────┘ └────────────┘ └────────────┘
        ▲             ▲             ▲
        │ parallel query execution  │
        └─────────────┬─────────────┘
                      │
              ┌────────────┐
              │  vlselect  │  可水平扩展
              └────────────┘
                      ▲
                      │
          Web UI / Grafana / API / vlogscli
             查询路径

需要注意的是,VictoriaLogs 集群里的vlinsert 默认不会在多个vlstorage 节点之间复制日志,而是均匀分片写入。这可以带来更具成本效率的线性扩展,但也建议对所有vlstorage 节点做定期备份;如果需要更强容灾,应通过独立 VictoriaLogs 实例或集群、多可用区写入、vlagent 复制缓冲和vmauth 查询路由来构建高可用方案。

集群模式对写入路径提供高可用,部分vlstorage 暂时不可用时,vlinsert 会把新日志写入剩余可用节点;但查询路径默认会在部分vlstorage 不可用时返回502 Bad Gateway ,以保证查询结果完整性,必要时可以配置返回部分响应。

五、功能特性与优势

  • 部署简单

VictoriaLogs 的单节点版本可以作为一个零配置可执行文件运行,首次试用不需要先设计复杂索引模板、Schema、分片策略或外部依赖。不过生产环境仍然需要规划磁盘、保留周期、备份、监控、安全代理和采集链路,但系统的启动门槛明显较低。

  • 面向日志优化的存储

VictoriaLogs 按字段块组织日志数据,并在写入持久化存储前进行压缩;查询时可只读取所需字段块。它会针对字段类型使用自定义编码和压缩,并将同一日志流的数据尽量物理聚集,从而提升压缩率和查询效率。

这种设计接近列式存储系统的基本思想,即把"读需要的列"作为减少扫描量的核心手段。区别在于 VictoriaLogs 把这种思想包装成面向日志的写入、索引和查询体验,而不是要求用户先设计一张日志明细宽表。

  • 高基数字段友好

VictoriaLogs 支持高基数字段,例如trace_id 、user_id 、ip ,并且会自动索引所有摄入字段。这对微服务排障尤其关键,因为排查链路问题时常常需要直接按trace_id 或request_id 定位日志。

trace_id 可以作为普通字段高效查询,但不要放进_stream_fields ,否则会造成日志流数量爆炸。

  • LogsQL 更贴近日志分析

VictoriaLogs 使用 LogsQL 查询语言。官方示例展示了三类最基础查询:* 返回全部摄入日志,log.level:error 查询 error 级别日志,hello 查询消息中包含hello 的日志。

这类语法适合日志排障场景,因为问题定位经常先按关键词、级别、实例、时间范围缩小问题,再做聚合统计或上下文查看。LogsQL 还支持快速全文搜索、高级分析,以及在查询时进行数据抽取和转换等。

lua 复制代码
典型排障查询路径
────────────────────────────────────────────
1. 先看错误:
   log.level:error

2. 再限定服务或实例:
   {job="payment-api"} log.level:error

3. 再按 trace_id 定位:
   trace_id:="abc-123"

4. 再看上下文:
   围绕匹配日志查看前后相邻日志

5. 最后做统计:
   按 level、service、status_code 聚合
  • 生态集成完整

VictoriaLogs 支持从常见日志采集器接入,可以与 journald、Vector、Fluent Bit 等工具集成,也提供 Docker Compose 示例覆盖 Filebeat、Fluent Bit、Logstash、Vector、Promtail 等采集链路。查询侧则提供内置 Web UI、Grafana 插件、命令行工具和 HTTP API。

这让它既可以作为轻量日志检索工具,也可以嵌入现有可观测性平台。对于已经使用 VictoriaMetrics 做指标存储的团队,VictoriaLogs 还可以在产品栈、运维习惯和监控告警方面形成一致性。

六、适用场景

场景 适配原因 注意事项
中小规模日志平台 单节点部署简单,资源占用低,内置 Web UI 仍需规划保留周期、磁盘容量和备份
Kubernetes 日志检索 支持通过采集器接入,namespace/pod/container 适合作为流字段 不要把 trace_id/user_id 放入 _stream_fields
微服务排障 支持 trace_id、user_id、ip 等高基数字段作为普通字段查询 字段命名需要在采集侧尽量统一
安全与审计日志 适合 SIEM,并支持 Syslog CEF 自动解析 复杂安全关联分析能力需结合外部系统评估
RUM / 宽事件 适合 RUM 和 wide events,并支持数百字段日志 超宽字段和动态 key 仍需治理
Elasticsearch / Loki 替代评估 官方对比了 ES、Loki 在资源和运维复杂度上的问题 性能收益需用本团队真实数据压测确认

VictoriaLogs 相比 Elasticsearch 和 Grafana Loki 可使用更少资源:最多可少用 30 倍 RAM、最多少用 15 倍磁盘空间。当然,这些仅适合作为选型评估的参考,不应直接替代本地压测结论,因为日志结构、字段数量、压缩率、查询模式、保留周期和硬件都会显著影响结果。

七、部署使用

bash 复制代码
mkdir vl-quick-start && cd vl-quick-start

curl -L -O https://github.com/VictoriaMetrics/VictoriaLogs/releases/download/v1.52.0/victoria-logs-linux-amd64-v1.52.0.tar.gz

tar xzf victoria-logs-linux-amd64-v1.52.0.tar.gz

./victoria-logs-prod


//启动后,VictoriaLogs 默认监听9428端口,内置 Web UI 地址如下
http://localhost:9428/select/vmui

写入 JSON Line 日志:_stream_fields 指定日志流字段,用_time_field 指定时间字段,用_msg_field 指定消息字段。

rust 复制代码
echo '{ "log": { "level": "info", "message": "hello world" }, "date": "0", "stream": "stream1" }
{ "log": { "level": "error", "message": "oh no!" }, "date": "0", "stream": "stream1" }
{ "log": { "level": "info", "message": "hello world" }, "date": "0", "stream": "stream2" }
' | curl -X POST -H 'Content-Type: application/stream+json' --data-binary @- \
  'http://localhost:9428/insert/jsonline?_stream_fields=stream&_time_field=date&_msg_field=log.message'

这里date 为"0" 表示使用当前时间作为日志时间。可以在 Web UI 或通过 HTTP API 查询。

bash 复制代码
curl http://localhost:9428/select/logsql/query -d 'query=log.level:*'

VictoriaLogs 默认只保存时间范围在now-7d, now 内的日志,超过范围的日志会被丢弃;保留周期可以通过-retentionPeriod 调整,取值从1d 到100y 。它会按天分区存储日志,并自动删除超出保留周期的分区目录。

ini 复制代码
/path/to/victoria-logs -retentionPeriod=8w

如果希望按磁盘空间控制保留,VictoriaLogs 支持-retention.maxDiskSpaceUsageBytes 和-retention.maxDiskUsagePercent 两种方式,但二者互斥,不能同时配置。需要注意,磁盘空间检查是周期性执行的,如果磁盘太小且写入速率过高,可能在两次检查之间打满磁盘,因此容量规划时应预留足够空间。

监控方面,VictoriaLogs 会在http://localhost:9428/metrics 暴露 Prometheus 格式的内部指标,建议用 VictoriaMetrics、vmagent 或 Prometheus 抓取,并安装 Grafana Dashboard,同时可通过 vmalert 或 Prometheus 配置告警规则。

markdown 复制代码
生产环境最小运维面
────────────────────────────────────────────
1. 存储目录:-storageDataPath
2. 保留周期:-retentionPeriod
3. 磁盘上限:-retention.maxDiskSpaceUsageBytes 或 -retention.maxDiskUsagePercent
4. 指标采集:http://host:9428/metrics
5. 告警:磁盘、写入失败、drop 行数、流数量异常增长
6. 备份:单节点或所有 vlstorage 节点

八、常见问题

  • VictoriaLogs 是否适合生产

VictoriaLogs 从v1.0.0 开始已经 ready for production use,不过正式替换现有日志平台前仍建议用真实日志做写入吞吐、查询延迟、磁盘压缩率、保留周期和故障恢复测试。

  • 日志必须有_msg 字段吗

VictoriaLogs 期望每条日志至少有_msg 字段作为消息字段;如果实际日志使用其他字段名,可以在摄入时通过_msg_field 或VL-Msg-Field 指定。如果没有可用消息字段,VictoriaLogs 会使用-defaultMsgValue 设置默认值。

  • 高基数字段能不能查

可以查。VictoriaLogs 支持trace_id 、user_id 、ip 等高基数字段,并自动索引所有摄入字段,但不要把它们放入_stream_fields ,否则会造成高基数日志流问题。

  • 单条日志大小有什么限制

VictoriaLogs 对10KB 以内的日志记录工作最优,对100KB 以内的记录也可以工作,但超过100KB 效率不佳;数据摄入时最大可接受单条日志大小为2MB ,该限制与数据块大小相关,且硬编码不太可能增加。

  • 字段数量是否有限制

单条日志最多可包含2000 个字段,字段名最长为128 字节;超过字段名长度的日志字段会在摄入时被忽略。如果日志里存在动态 JSON key,例如items.item-1 到items.item-N ,应考虑保留原始 JSON 字段而不是展开成大量不同字段。

九、选型建议

VictoriaLogs 更适合"日志优先"的平台场景,而不是替代所有搜索或分析系统。如果团队的主要需求是应用日志检索、微服务排障、Kubernetes 日志、审计日志、RUM 或 SIEM 数据的高效存储与查询,它的设计方向与这些需求匹配;如果需求是复杂全文相关性搜索、通用文档检索、复杂 SQL 联邦分析或跨多数据源建模,则仍需结合 Elasticsearch、ClickHouse、数据湖或其他分析系统评估。

sql 复制代码
选型判断
────────────────────────────────────────────
适合优先评估 VictoriaLogs:
  ├─ 日志量大,磁盘和内存成本敏感
  ├─ 日志字段多,trace_id / user_id / ip 查询频繁
  ├─ 不想维护复杂索引模板和分片参数
  ├─ 需要快速搭建轻量日志平台
  └─ 已使用 VictoriaMetrics 生态

需要谨慎评估:
  ├─ 依赖复杂全文搜索相关性排序
  ├─ 需要强 SQL 生态和复杂 Join
  ├─ 要求集群内部自动多副本复制
  ├─ 日志字段动态爆炸且缺乏治理
  └─ 已有成熟 ES / Loki 平台且迁移收益不明确
相关推荐
学长毕设3 小时前
基于SpringBoot 博物馆文物租赁及修复管理系统-附源码
大数据·数据库·spring boot
玖米GEO运营王总监5 小时前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
龙腾AI白云7 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
starzy19909 小时前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
大大大大晴天19 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界1 天前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天1 天前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城1 天前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk5551 天前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch