一、引言
日志系统长期处在一个尴尬位置:它既像搜索系统,需要快速全文检索;又像分析系统,需要聚合、统计、抽取字段;还像存储系统,需要以较低成本保存大量历史数据。
传统方案中,Elasticsearch / OpenSearch 擅长全文搜索,但它们是面向大规模文档检索的通用数据库,并非专门为日志优化,因此在日志场景里常见问题包括内存占用高、磁盘占用高、索引配置复杂、默认配置下单次查询返回数量受限等。Grafana Loki 通过"标签 + 日志流"的方式降低了全文索引成本,但也带来高基数字段使用受限的问题。ClickHouse 也常被用于日志分析,但它更像一套通用分析型数据库,当字段集合和查询模式不能提前确定时效率不高。
可以把 VictoriaLogs 的出现理解为日志系统设计思路的一次"收窄":不追求成为通用搜索引擎或通用 OLAP 数据库,而是围绕日志的写入、压缩、字段检索、时间过滤、流过滤和运维简化做专项优化。
arduino
传统日志平台的典型压力
────────────────────────────────────────────
应用 / 中间件 / K8s / 网关 / 安全设备
│
▼
海量日志持续写入
│
├─ 字段多:trace_id、user_id、ip、pod、namespace
├─ 查询散:全文检索、错误排查、聚合统计、上下文查看
├─ 成本高:内存、磁盘、索引维护、集群运维
└─ 结构变:不同系统字段不统一,schema 难提前固定
│
▼
VictoriaLogs 的切入点:
面向日志特征重新设计存储、索引、查询与部署体验
二、VictoriaLogs 是什么
VictoriaLogs 是 VictoriaMetrics 推出的开源日志数据库,定位于资源高效、易部署、面向日志场景优化的日志存储与查询系统。官方将它描述为一个支持单节点与集群部署、可接入常见日志采集器、内置 Web UI、支持 LogsQL 查询语言的日志数据库,并强调其相比 Elasticsearch、Grafana Loki 在部署复杂度、资源占用和日志查询体验上的优势。
它的核心能力可以概括为三件事:
| 能力 | VictoriaLogs 的做法 | 工程价值 |
|---|---|---|
| 采集 | 支持多种数据摄入协议和常见日志采集器 | 便于接入现有日志链路 |
| 存储 | 按字段块存储、压缩、按天分区、按日志流组织 | 降低存储成本,提高时间范围查询效率 |
| 查询 | 使用 LogsQL,支持全文检索、字段过滤、聚合分析、上下文查询 | 面向排障和日志分析,学习成本低于通用 SQL/复杂 DSL |
官方列出的功能还包括内置 Web UI、Grafana 插件、命令行查询工具、Unix 工具链集成、多租户、乱序日志写入、live tailing、告警,以及适配 RUM 和 SIEM 场景等。
三、核心数据模型
VictoriaLogs 的数据模型围绕三个特殊字段展开:_msg 、_time 和_stream /_stream_id 。VictoriaLogs 同时支持结构化和非结构化日志,每条日志至少需要有日志消息字段,额外字段可以以key=value 形式加入;一条日志可以表示为单层 JSON 对象,key 和 value 都以字符串形式处理。
json
一条日志在 VictoriaLogs 中的概念模型
────────────────────────────────────────────
{
"_time": "2026-09-20T10:00:00Z", ← 时间字段,用于时间过滤
"_msg": "failed to serve request", ← 消息字段,用于全文检索
"level": "error", ← 普通字段,自动索引
"ip": "1.2.3.4", ← 高基数字段,可作为普通字段
"trace_id": "abc-123", ← 高基数字段,可查询
"_stream": "{job="api",instance="host1"}" ← 日志流
}
_msg 是实际日志消息字段。如果原始日志里的消息字段不是_msg ,可以在摄入时通过_msg_field 查询参数或VL-Msg-Field 请求头指定真实字段;如果仍然为空,VictoriaLogs 会使用-defaultMsgValue 配置的默认值。
_time 是日志时间字段,支持 ISO8601、RFC3339,以及秒、毫秒、微秒、纳秒级 Unix 时间戳;如果缺失、为0 或为- ,VictoriaLogs 会使用数据摄入时间作为日志时间。这对日志接入很友好,因为很多系统日志字段不统一,可以在摄入层映射。
_stream 表示日志流,通常由能唯一标识应用实例的一组稳定字段组成,比如namespace 、pod 、container 、host 、instance 等。建议通过_stream_fields 在摄入时指定日志流字段,以提升压缩率和查询效率;但不要把ip 、user_id 、trace_id 这类高基数字段加入日志流,否则会导致性能、内存、CPU、磁盘和 IO 问题。
arduino
_stream_fields 选择原则
────────────────────────────────────────────
适合放入 _stream 的字段:
namespace / pod / container / host / instance / job
特征:能标识应用实例,生命周期内相对稳定
不适合放入 _stream 的字段:
trace_id / user_id / ip / request_id
特征:每条日志都可能变化,基数极高
推荐理解:
高基数字段不是不能存,而是不要当作日志流标签使用。
四、架构原理
4.1.单节点架构
VictoriaLogs 的单节点模式强调"一个可执行文件 + 一个数据目录",运行二进制后默认监听9428 端口,存储目录默认为victoria-logs-data ,无需额外依赖和配置文件即可开始写入与查询。
sql
VictoriaLogs 单节点逻辑架构
────────────────────────────────────────────
Log Agents / Apps / curl / Fluent Bit / Vector
│
│ HTTP / JSON line / collector protocols
▼
┌────────────────────────────────────────────┐
│ VictoriaLogs │
│ │
│ ┌─────────────┐ ┌────────────────────┐ │
│ │ Insert API │──▶│ Parse & Normalize │ │
│ └─────────────┘ └────────────────────┘ │
│ │ │
│ ▼ │
│ ┌────────────────────┐ │
│ │ Index & Compress │ │
│ └────────────────────┘ │
│ │ │
│ ▼ │
│ ┌────────────────────┐ │
│ │ Per-day partitions │ │
│ │ Columnar blocks │ │
│ └────────────────────┘ │
│ ▲ │
│ │ │
│ ┌─────────────┐ ┌────────────────────┐ │
│ │ Query API │◀──│ LogsQL execution │ │
│ └─────────────┘ └────────────────────┘ │
└────────────────────────────────────────────┘
▲
│
Web UI / Grafana / vlogscli / curl
VictoriaLogs 接收 JSON 日志后,会把日志字段存储到不同的数据块中,也就是同一个字段跨多条日志的值会进入同一类数据块;查询时可以只读取需要字段的数据块,从而减少 IO。数据块写入持久化存储前会压缩,较小的数据块会在后台合并为更大的块,查询时数据块可以在多 CPU 核上并行处理。
它还使用多类优化来跳过无关数据:用 Bloom Filter 跳过不包含目标词或短语的数据块;针对不同类型字段使用自定义编码和压缩,例如 IP 地址可编码成 4 字节;把同一日志流的数据在物理存储上尽量放近;并维护日志时间的稀疏索引以加速时间过滤。
scss
查询加速路径
────────────────────────────────────────────
LogsQL 查询
│
├─ 时间过滤:通过 _time 与稀疏时间索引缩小范围
├─ 流过滤:通过 _stream / _stream_id 缩小日志流
├─ 词/短语过滤:通过 Bloom Filter 跳过不相关 block
├─ 字段选择:只读取查询需要的字段块
└─ 并行执行:多个 block 在多 CPU 核上并行处理
4.2.集群架构
当单节点到达单机 CPU、内存、磁盘容量或 IO 的垂直扩展上限时,可以切换到集群模式。如果能通过更强单机满足需求,优先使用单节点,因为单节点更容易配置、管理和排障,同等硬件下也避免了组件间网络传输开销。
VictoriaLogs 集群由三个角色组成:vlinsert 、vlselect 、vlstorage 。vlinsert 接收所有支持协议的日志写入,并将日志均匀分片到vlstorage ;vlselect 接收查询请求,在多个vlstorage 上并行执行查询,合并结果后返回;vlstorage 负责持久化存储日志,并执行来自vlselect 的查询。
markdown
VictoriaLogs 集群架构
────────────────────────────────────────────
写入路径
Apps / Agents / Collectors
│
▼
┌────────────────┐
│ vlinsert │ 可水平扩展
└────────────────┘
│
│ shard logs
▼
┌────────────┐ ┌────────────┐ ┌────────────┐
│ vlstorage1 │ │ vlstorage2 │ │ vlstorage3 │
└────────────┘ └────────────┘ └────────────┘
▲ ▲ ▲
│ parallel query execution │
└─────────────┬─────────────┘
│
┌────────────┐
│ vlselect │ 可水平扩展
└────────────┘
▲
│
Web UI / Grafana / API / vlogscli
查询路径
需要注意的是,VictoriaLogs 集群里的vlinsert 默认不会在多个vlstorage 节点之间复制日志,而是均匀分片写入。这可以带来更具成本效率的线性扩展,但也建议对所有vlstorage 节点做定期备份;如果需要更强容灾,应通过独立 VictoriaLogs 实例或集群、多可用区写入、vlagent 复制缓冲和vmauth 查询路由来构建高可用方案。
集群模式对写入路径提供高可用,部分vlstorage 暂时不可用时,vlinsert 会把新日志写入剩余可用节点;但查询路径默认会在部分vlstorage 不可用时返回502 Bad Gateway ,以保证查询结果完整性,必要时可以配置返回部分响应。
五、功能特性与优势
- 部署简单
VictoriaLogs 的单节点版本可以作为一个零配置可执行文件运行,首次试用不需要先设计复杂索引模板、Schema、分片策略或外部依赖。不过生产环境仍然需要规划磁盘、保留周期、备份、监控、安全代理和采集链路,但系统的启动门槛明显较低。
- 面向日志优化的存储
VictoriaLogs 按字段块组织日志数据,并在写入持久化存储前进行压缩;查询时可只读取所需字段块。它会针对字段类型使用自定义编码和压缩,并将同一日志流的数据尽量物理聚集,从而提升压缩率和查询效率。
这种设计接近列式存储系统的基本思想,即把"读需要的列"作为减少扫描量的核心手段。区别在于 VictoriaLogs 把这种思想包装成面向日志的写入、索引和查询体验,而不是要求用户先设计一张日志明细宽表。
- 高基数字段友好
VictoriaLogs 支持高基数字段,例如trace_id 、user_id 、ip ,并且会自动索引所有摄入字段。这对微服务排障尤其关键,因为排查链路问题时常常需要直接按trace_id 或request_id 定位日志。
trace_id 可以作为普通字段高效查询,但不要放进_stream_fields ,否则会造成日志流数量爆炸。
- LogsQL 更贴近日志分析
VictoriaLogs 使用 LogsQL 查询语言。官方示例展示了三类最基础查询:* 返回全部摄入日志,log.level:error 查询 error 级别日志,hello 查询消息中包含hello 的日志。
这类语法适合日志排障场景,因为问题定位经常先按关键词、级别、实例、时间范围缩小问题,再做聚合统计或上下文查看。LogsQL 还支持快速全文搜索、高级分析,以及在查询时进行数据抽取和转换等。
lua
典型排障查询路径
────────────────────────────────────────────
1. 先看错误:
log.level:error
2. 再限定服务或实例:
{job="payment-api"} log.level:error
3. 再按 trace_id 定位:
trace_id:="abc-123"
4. 再看上下文:
围绕匹配日志查看前后相邻日志
5. 最后做统计:
按 level、service、status_code 聚合
- 生态集成完整
VictoriaLogs 支持从常见日志采集器接入,可以与 journald、Vector、Fluent Bit 等工具集成,也提供 Docker Compose 示例覆盖 Filebeat、Fluent Bit、Logstash、Vector、Promtail 等采集链路。查询侧则提供内置 Web UI、Grafana 插件、命令行工具和 HTTP API。
这让它既可以作为轻量日志检索工具,也可以嵌入现有可观测性平台。对于已经使用 VictoriaMetrics 做指标存储的团队,VictoriaLogs 还可以在产品栈、运维习惯和监控告警方面形成一致性。
六、适用场景
| 场景 | 适配原因 | 注意事项 |
|---|---|---|
| 中小规模日志平台 | 单节点部署简单,资源占用低,内置 Web UI | 仍需规划保留周期、磁盘容量和备份 |
| Kubernetes 日志检索 | 支持通过采集器接入,namespace/pod/container 适合作为流字段 | 不要把 trace_id/user_id 放入 _stream_fields |
| 微服务排障 | 支持 trace_id、user_id、ip 等高基数字段作为普通字段查询 | 字段命名需要在采集侧尽量统一 |
| 安全与审计日志 | 适合 SIEM,并支持 Syslog CEF 自动解析 | 复杂安全关联分析能力需结合外部系统评估 |
| RUM / 宽事件 | 适合 RUM 和 wide events,并支持数百字段日志 | 超宽字段和动态 key 仍需治理 |
| Elasticsearch / Loki 替代评估 | 官方对比了 ES、Loki 在资源和运维复杂度上的问题 | 性能收益需用本团队真实数据压测确认 |
VictoriaLogs 相比 Elasticsearch 和 Grafana Loki 可使用更少资源:最多可少用 30 倍 RAM、最多少用 15 倍磁盘空间。当然,这些仅适合作为选型评估的参考,不应直接替代本地压测结论,因为日志结构、字段数量、压缩率、查询模式、保留周期和硬件都会显著影响结果。
七、部署使用
bash
mkdir vl-quick-start && cd vl-quick-start
curl -L -O https://github.com/VictoriaMetrics/VictoriaLogs/releases/download/v1.52.0/victoria-logs-linux-amd64-v1.52.0.tar.gz
tar xzf victoria-logs-linux-amd64-v1.52.0.tar.gz
./victoria-logs-prod
//启动后,VictoriaLogs 默认监听9428端口,内置 Web UI 地址如下
http://localhost:9428/select/vmui
写入 JSON Line 日志:_stream_fields 指定日志流字段,用_time_field 指定时间字段,用_msg_field 指定消息字段。
rust
echo '{ "log": { "level": "info", "message": "hello world" }, "date": "0", "stream": "stream1" }
{ "log": { "level": "error", "message": "oh no!" }, "date": "0", "stream": "stream1" }
{ "log": { "level": "info", "message": "hello world" }, "date": "0", "stream": "stream2" }
' | curl -X POST -H 'Content-Type: application/stream+json' --data-binary @- \
'http://localhost:9428/insert/jsonline?_stream_fields=stream&_time_field=date&_msg_field=log.message'
这里date 为"0" 表示使用当前时间作为日志时间。可以在 Web UI 或通过 HTTP API 查询。
bash
curl http://localhost:9428/select/logsql/query -d 'query=log.level:*'
VictoriaLogs 默认只保存时间范围在now-7d, now 内的日志,超过范围的日志会被丢弃;保留周期可以通过-retentionPeriod 调整,取值从1d 到100y 。它会按天分区存储日志,并自动删除超出保留周期的分区目录。
ini
/path/to/victoria-logs -retentionPeriod=8w
如果希望按磁盘空间控制保留,VictoriaLogs 支持-retention.maxDiskSpaceUsageBytes 和-retention.maxDiskUsagePercent 两种方式,但二者互斥,不能同时配置。需要注意,磁盘空间检查是周期性执行的,如果磁盘太小且写入速率过高,可能在两次检查之间打满磁盘,因此容量规划时应预留足够空间。
监控方面,VictoriaLogs 会在http://localhost:9428/metrics 暴露 Prometheus 格式的内部指标,建议用 VictoriaMetrics、vmagent 或 Prometheus 抓取,并安装 Grafana Dashboard,同时可通过 vmalert 或 Prometheus 配置告警规则。
markdown
生产环境最小运维面
────────────────────────────────────────────
1. 存储目录:-storageDataPath
2. 保留周期:-retentionPeriod
3. 磁盘上限:-retention.maxDiskSpaceUsageBytes 或 -retention.maxDiskUsagePercent
4. 指标采集:http://host:9428/metrics
5. 告警:磁盘、写入失败、drop 行数、流数量异常增长
6. 备份:单节点或所有 vlstorage 节点
八、常见问题
- VictoriaLogs 是否适合生产
VictoriaLogs 从v1.0.0 开始已经 ready for production use,不过正式替换现有日志平台前仍建议用真实日志做写入吞吐、查询延迟、磁盘压缩率、保留周期和故障恢复测试。
- 日志必须有_msg 字段吗
VictoriaLogs 期望每条日志至少有_msg 字段作为消息字段;如果实际日志使用其他字段名,可以在摄入时通过_msg_field 或VL-Msg-Field 指定。如果没有可用消息字段,VictoriaLogs 会使用-defaultMsgValue 设置默认值。
- 高基数字段能不能查
可以查。VictoriaLogs 支持trace_id 、user_id 、ip 等高基数字段,并自动索引所有摄入字段,但不要把它们放入_stream_fields ,否则会造成高基数日志流问题。
- 单条日志大小有什么限制
VictoriaLogs 对10KB 以内的日志记录工作最优,对100KB 以内的记录也可以工作,但超过100KB 效率不佳;数据摄入时最大可接受单条日志大小为2MB ,该限制与数据块大小相关,且硬编码不太可能增加。
- 字段数量是否有限制
单条日志最多可包含2000 个字段,字段名最长为128 字节;超过字段名长度的日志字段会在摄入时被忽略。如果日志里存在动态 JSON key,例如items.item-1 到items.item-N ,应考虑保留原始 JSON 字段而不是展开成大量不同字段。
九、选型建议
VictoriaLogs 更适合"日志优先"的平台场景,而不是替代所有搜索或分析系统。如果团队的主要需求是应用日志检索、微服务排障、Kubernetes 日志、审计日志、RUM 或 SIEM 数据的高效存储与查询,它的设计方向与这些需求匹配;如果需求是复杂全文相关性搜索、通用文档检索、复杂 SQL 联邦分析或跨多数据源建模,则仍需结合 Elasticsearch、ClickHouse、数据湖或其他分析系统评估。
sql
选型判断
────────────────────────────────────────────
适合优先评估 VictoriaLogs:
├─ 日志量大,磁盘和内存成本敏感
├─ 日志字段多,trace_id / user_id / ip 查询频繁
├─ 不想维护复杂索引模板和分片参数
├─ 需要快速搭建轻量日志平台
└─ 已使用 VictoriaMetrics 生态
需要谨慎评估:
├─ 依赖复杂全文搜索相关性排序
├─ 需要强 SQL 生态和复杂 Join
├─ 要求集群内部自动多副本复制
├─ 日志字段动态爆炸且缺乏治理
└─ 已有成熟 ES / Loki 平台且迁移收益不明确