Rust LanceDB 内存不足问题

报错内容:

log 复制代码
thread '<unnamed>' (245) panicked at library/std/src/sys/pal/unix/stack_overflow.rs:231:13:
failed to set up alternative stack guard page: Cannot allocate memory (os error 12)
note: run with `RUST_BACKTRACE=1` environment variable to display a backtrace

thread '<unnamed>' (246) panicked at library/std/src/sys/pal/unix/stack_overflow.rs:231:13:
failed to set up alternative stack guard page: Cannot allocate memory (os error 12)
2026-03-19 15:07:33 [lance_io::local] DEBUG - get_range: range=713265..717361

thread '<unnamed>' (247) panicked at library/std/src/sys/pal/unix/stack_overflow.rs:227:13:
failed to allocate an alternative stack: Cannot allocate memory (os error 12)
2026-03-19 15:07:33 [lance_io::local] DEBUG - open; path=Path { raw: "app/data/lancedb_data/documents.lance/data/3836854-10fc-49da-af99-3315c0982ed4.lance" } block-size=4096 know.
fatal runtime error: failed to initiate panic, error fatal runtime error: failed to initiate panic, error fatal runtime error: failed to initiate panic, error 555, aborting
, aborting
, aborting
memory allocation of 41 bytes failed

猜测一:RAM 不足

从报错可以看到是内存分配失败,启动时监控内存 free -mh,内存变化不大,确认不是 RAM 不足。

猜测二:Docker 容器限制

猜测是 Docker 容器限制了内存使用,修改 docker-compose.yaml

yaml 复制代码
services:
  app:
    image: your-image
    mem_limit: 128g

发现还是不行。

猜测三:虚拟内存不足

根据AI推理,修改 stack 大小

yaml 复制代码
services:
  app:
    ulimits:
      stack: 1024

仍然不行。

尝试增加 swap,依然不行。

猜测四:mmap(实际问题)

因为 lancedb 会把数据读到 mmap 提高访问速度

查询系统允许的最大 mmap 数量

shell 复制代码
> cat /proc/sys/vm/max_map_count
262162 /proc/2440330/maps

查询 mmap 数量

shell 复制代码
pid=$(pgrep -f '/app/htknow|htknow' | head -n1)
wc -l /proc/$pid/maps

临时修改

shell 复制代码
sysctl -w vm.max_map_count=1048576

再启动就 ok 了,确认是该问题。

持久化配置

shell 复制代码
echo 'vm.max_map_count=2097152' | sudo tee /etc/sysctl.d/99-htknow.conf
sudo sysctl --system
相关推荐
Kapaseker13 小时前
Rust 不用写 for 循环?看我怎么写!
rust
奶油话梅糖13 小时前
打开项目 0.9 秒、内存只有 IDEA 的 1/12:OpenIDEA 用 Rust 把 IntelliJ IDEA 重造了一遍
java·rust·github·intellij-idea
Vex2une1 天前
Google Picasa 精神续作:Rust 重写的离线本地相册工具‌
rust·图片管理·picasa·马良·本地照片管理·重复图片检测·maliang
unconditional2 天前
我拆了 sdkm 的自定义 SDK 机制:所谓“内置”,就是官方提前帮你填好的表
rust·开源
Ramble_Naylor3 天前
Rust深度解读:Send 与 Sync 的本质与线程安全边界
python·算法·rust
Ramble_Naylor3 天前
Rust深度解读:异步流(Async Streams)与生成器的处理艺术
开发语言·后端·rust
RobinDevNotes3 天前
Memvid 把 Agent 长期记忆塞进一个文件
人工智能·rust·openresty
miofly4 天前
GitHub 今日推荐|agent-desktop:通过无障碍树让 AI 代理直接操作桌面应用
rust·开源·github
geovindu4 天前
rust:N-Barrier Pattern
开发语言·后端·设计模式·rust·屏障模式·并发型模式
Ramble_Naylor4 天前
Rust深度解读:高性能 Web 网关与 Axum 架构剖析
前端·架构·rust