再开源一款轻量内存池

前两天已开源线程池,开源一款轻量线程池项目,本节继续开源另一个孪生兄弟:内存池。

本节的线程池与内存池代码解析会在我的星球详细讲解。

内存池:https://github.com/Light-City/light-memory-pool

线程池:https://github.com/Light-City/light-thread-pool

基于Arrow的轻量内存池

这个项目的内存池是基于Apache Arrow项目的衍生版本。我们将Arrow项目中复杂的核心结构------内存池------完全剥离出来,形成了这个独立的项目。由于原始的内存池与Arrow项目本身的工具有深度依赖关系,因此我们在这个项目中对内存池进行了一些深度移除和改造,以保持与原始Arrow内存池的基础功能一致。一些改动包括:

  • 分离allocator与memory_pool

  • 移除不需要的LoggingMemoryPool、ProxyMemoryPool

  • 移除jemalloc等第三方malloc库,未来可以支持

通过这些改动,我们的目标是:

  • 使代码更加精简

  • 使内存池更方便地作为其他项目的依赖库使用

  • 提供简单的方式来引入本项目的so库和头文件,以使用内存池功能

此外,这个项目还可以作为深入学习内存池设计与实现的资源。我们欢迎您探索并使用这个经过精心改进的内存池。

1.如何编译

go 复制代码
➜  bazel build //src:memory_pool 
WARNING: Ignoring JAVA_HOME, because it must point to a JDK, not a JRE.
WARNING: Ignoring JAVA_HOME, because it must point to a JDK, not a JRE.
INFO: Analyzed target //src:memory_pool (36 packages loaded, 169 targets configured).
INFO: Found 1 target...
Target //src:memory_pool up-to-date:
  bazel-bin/src/libmemory_pool.a
  bazel-bin/src/libmemory_pool.dylib
INFO: Elapsed time: 1.568s, Critical Path: 1.05s
INFO: 10 processes: 4 internal, 6 darwin-sandbox.
INFO: Build completed successfully, 10 total actions

2.如何使用

所有的用例放在examples目录

2.1 编写一个简单的case

参见:helloworld

go 复制代码
arrow::MemoryPool* pool = arrow::default_memory_pool();

char* val;
arrow::Status status = pool->Allocate(14, reinterpret_cast<uint8_t**>(&val));

if (status.ok()) {
    std::cout << "Memory allocation successful." << std::endl;
    std::strcpy(val, "Hello, World!");
    std::cout << "Filled content: " << val << std::endl;
    pool->Free(reinterpret_cast<uint8_t*>(val), 4);
} else {
    std::cout << "Memory allocation failed." << std::endl;
}

编译:

go 复制代码
➜  bazel build //examples:hello_world 
WARNING: Ignoring JAVA_HOME, because it must point to a JDK, not a JRE.
WARNING: Ignoring JAVA_HOME, because it must point to a JDK, not a JRE.
INFO: Analyzed target //examples:hello_world (0 packages loaded, 2 targets configured).
INFO: Found 1 target...
Target //examples:hello_world up-to-date:
  bazel-bin/examples/hello_world
INFO: Elapsed time: 0.881s, Critical Path: 0.73s
INFO: 7 processes: 5 internal, 2 darwin-sandbox.
INFO: Build completed successfully, 7 total actions

运行:

go 复制代码
➜  bazel-bin/examples/hello_world
Memory allocation successful.
Filled content: Hello, World!

3.如何测试

测试基于catch2编写,所有测试位于tests目录

可以测试tests目录下面的其他测试,只需要替换submit_test为对应的test即可。

go 复制代码
bazel test //tests:memory_pool_test
相关推荐
智码看视界3 小时前
开源大模型追踪:腾讯混元Hy4preview,FP8 770GB 落地企业私有化,Apache 2.0 无字段限制
开源·vllm·开源大模型·apache2.0·fp8量化·腾讯混元hy4·agent推理
分布式存储与RustFS3 小时前
图床搬到自己的对象存储:PicGo 加 S3 插件的完整配置
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
对象存储与RustFS5 小时前
自建对象存储的第一个决定:单机就够,还是必须上分布式
后端·rust·开源
分布式存储与RustFS5 小时前
在 Kubernetes 里跑对象存储的三个方案:Helm、Operator、以及什么时候别用 K8s
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
OpenCSG6 小时前
OpenCSG Agentic-27B 正式开源:27B Dense 模型,Agent 执行能力实现全面跃升
人工智能·开源·opencsg
OpenCSG7 小时前
CSGLite v0.9.82 开源版本更新
开源
caoerzhong7 小时前
跨境海外仓怎么管:JeeWMS 开源 Java 仓库管理系统打通头程、海外仓与尾程
java·开发语言·开源
鬓戈8 小时前
开源中文输入法技术调研与自建方案
学习·开源
liferecords8 小时前
笔记本硬跑 744B 大模型:GitHub 上的『蜂鸟』把 SSD 当显存用
人工智能·开源·大模型·推理优化
ting94520008 小时前
深度拆解|Dif.Sh 开源特性开关(Feature Flags)技术架构与工程落地全解析
人工智能·架构·开源