资料date:202610222
spark连接lancedb
spark可以向量加速:
在 Spark SQL 里走 Lance 向量索引做检索,支持 nprobes、refine_factor、filter 和 prefilter 等参数。最适合你们的是 spark.sql.lance.search.distributed.enabled=true:开启后,各个 executor 会并行检索各自的索引分段和还没建索引的 fragment,最后再做全局 top-k 合并。这正好就是社区版缺的分布式查询。
用 VECTOR_SEARCH 之前,要先启用 Lance Spark SQL 扩展。表必须通过 namespace catalog 访问(比如 lance.default.items),不能直接写数据集路径。named 参数需要 Spark 3.5 以上。这个功能是 2026 年 6 月才合并(https://github.com/lance-format/lance-spark/pull/582)的,记得用新版本。
presto连接lancedb
https://prestodb.io/docs/current/connector/lance.html
presto不支持向量加速
Presto Lance 连接器文档(https://prestodb.io/docs/current/connector/lance.html):文档里没有任何向量检索或索引相关的函数,向量列只能当 ARRAY 读出来,所以我说它用不上索引。这个结论是从文档里"没有这项功能"推出来的,不是官方明说不支持