技术栈
daft
代码不会写
14 天前
multimodal
·
daft
Daft 快速入门：从 DataFrame 到 Swordfish、Flotilla 与 Ray
Daft 是面向 AI 与多模态工作负载的高性能数据处理引擎。它提供 Python DataFrame 和 SQL 接口，让图片、音频、视频、文本、Embedding 与普通结构化数据进入同一条声明式流水线；底层由 Rust 执行引擎负责向量化、流式执行和内存控制，并能从单机扩展到分布式集群。
我不介意孤独
6 个月前
数据挖掘
·
数据分析
·
分布式计算
·
ray
·
lancedb
·
daft
·
大规模数据分析
Ray + LanceDB + Daft 构建大规模向量数据分析管道
在大模型时代，向量数据的规模正在爆炸式增长。一个典型的图文检索系统可能需要管理数十亿条 Embedding 向量，同时还要支持高效的过滤、聚合和相似度检索。传统方案要么用 Milvus/Qdrant 等专用向量数据库但缺乏灵活的分析能力，要么用 Spark 做分析但向量检索性能差。本文介绍一套新兴的技术栈：Ray + LanceDB + Daft，兼顾大规模分布式计算与高性能向量存储分析。
我是有底线的