Last Week in Milvus

What's New

Core Updates

#26676 #26725 #26835 #26881 随着2.3.0发布后,Milvus代码迎来了新一轮的小重构。包括代码耦合、参数传递不当、错误处理等,都在有序进行中。

#26839 来自intel的 bjzhjing 通过profiling发现热点代码,位于storage.MergeInsertData(),它通过创建一个新的'InsertData'实例并将旧的buffer.buffer和addedBuffer合并到其中来更新buffer.buffer。当调用golang runtime.memmove移动具有大尺寸(>1M)的buffer.buffer时,会出现热点。为了避免上述开销,将addedBuffer追加到buffer.buffer中。解决了热点 函数'runtime.memmove'。此外"upload + index"时间(vector-db-benchmark的一项性能指标)减少了约60%。

#26246 在此之前Milvus只支持将Etcd作为元数据存储。Etcd有很多不错的功能,但它在水平扩展性方面存在限制。我们希望支持更具可扩展性的元数据存储,为此引入TiKV作为新的元数据存储。

#25852 Milvus正在积极探索FP32、binary之外的向量格式。此pr开始支持FP16向量,相对与FP32存储开销和内存开销更小,在很多AI场景中有着广泛的应用,未来Milvus还会支持BF16向量。此pr当前只是在外层支持了FP16,Milvus内核及索引尚不支持FP16,内部在计算时会将FP16转换成 FP32。

Knowhere

#48 修复COSINE metric爆搜失败的问题 #56 调整索引MMap的参数,此改进MMap加载的数据可以翻倍而性能下降在合理范围内 #39 移出了IVF_FLAT_NM 索引 #60 IVFFLAT索引支持在cosine函数下返回原始向量

Backup

#192 增加homebrew支持,Mac环境可以通过brew 安装backup工具 #194 增加check命令,检查对象存储是否能连通

New Contributor

Welcome bjzhjing peckjon yuhaowin yuyu-wy

What's Up Next

下周会发布2.3.1,2.3.1是bugfix版本没有引入什么新功能。

Did you know

Milvus 的coordinator节点支持active-standby模式下的高可用,具体详见 https://milvus.io/docs/coordinator_ha.md

本文由mdnice多平台发布

相关推荐
一条咸鱼_SaltyFish1 小时前
[Day14] 微服务开发中 `contract - common` 共享库的问题排查与解决
程序人生·微服务·架构·开源软件·ddd·个人开发·ai编程
郝学胜-神的一滴8 小时前
图形学中的纹理映射问题:摩尔纹与毛刺的深度解析
c++·程序人生·unity·游戏引擎·图形渲染·unreal engine
开发者导航10 小时前
【开发者导航】完全免费且灵活的域名注册与托管平台:FreeDomain
服务器·程序人生·开源软件
郝学胜-神的一滴11 小时前
Linux 读写锁深度解析:原理、应用与性能优化
linux·服务器·c++·程序人生·性能优化
DeepNoMind1 天前
AI 智能体高可靠设计模式:代理装配线
程序人生
郝学胜-神的一滴1 天前
深入理解Linux中的Try锁机制
linux·服务器·开发语言·c++·程序人生
一条咸鱼_SaltyFish1 天前
[Day12] 合同审查引擎开发中的技术挑战与解决之道 contract-review-engine
开发语言·人工智能·程序人生·开源软件·ddd·个人开发·ai编程
郝学胜-神的一滴1 天前
深入浅出:Python类变量与实例变量的核心差异与应用实践
开发语言·python·程序人生
坚持学习前端日记2 天前
个人小作坊适合的项目类型分析
程序人生·职场和发展·创业创新
天才测试猿2 天前
自动化测试基础知识总结
自动化测试·软件测试·python·测试工具·程序人生·职场和发展·测试用例