技术栈
faiss
kanhao100
5 天前
faiss
Armv7l或树莓派32位RPI 4B编译faiss
当然找不到预编译的包这是最关键也最容易出错的一步。Faiss 依赖于:sudo apt-get install libatlas-base-dev libatlas3-base
SHIPKING393
21 天前
embedding
·
faiss
·
向量数据库
·
阿里百炼
【嵌入模型与向量数据库】
目录一、什么是向量?二、为什么需要向量数据库?三、向量数据库的特点四、常见的向量数据库产品FAISS 支持的索引类型 vs 相似度
扉间798
1 个月前
faiss
Faiss 索引深度解析:从基础到实战
在处理高维数据的相似性搜索时,Faiss(Facebook AI Similarity Search)无疑是一款强大且高效的工具。它为我们提供了多种索引类型,适用于不同规模和需求的数据场景。本文将结合代码实例,深入剖析 Faiss 中常见索引的原理、特点及应用。
tangjunjun-owen
1 个月前
langchain
·
llm
·
word
·
faiss
·
rag
第三章:langchain加载word文档构建RAG检索教程(基于FAISS库为例)
如果你已有了向量embed模型,该如何构建一个检索方法呢?本节就是一个完整的构建教程,使用word文档载入到分块再到向量化,并利用数据库进行检索。我们使用FAISS库来实现这个功能,依然使用langchain款就爱来完成。该代码实现是比较简单的,但这仅仅是给初学者学习的。我们会进一步从底层源码进行解读,给出更深入讲解。
BB_CC_DD
1 个月前
深度学习
·
聚类
·
faiss
五. 以聚类和搜图方式清洗图像数据集,采用Pickle和Faiss(百万数据集,ms级响应)快速搜图(附完整代码)
一. 总结Faiss 和 Pickle 优缺点和适用场景。 二. 将图像特征打包成 pickle 文件(Python 的序列化格式),匹配搜图(附完整代码)。 三. 将图像特征打包成faiss的index索引文件,匹配搜图(附完整代码)。 四. 先用Pickle保存图像特征,再用Faiss构建索引(更灵活)(附示例代码)。
邴越
2 个月前
数据库
·
faiss
不同向量数据库(FAISS / Pinecone / Weaviate)在 RAG 中的优缺点
在 RAG(Retrieval-Augmented Generation) 任务中,向量数据库用于高效存储和检索文本向量。FAISS、Pinecone 和 Weaviate 是当前主流的向量数据库,它们各有优缺点,适用于不同的应用场景。本文将详细比较它们的特性,并分析在 RAG 任务中的适用性。
maxmaxma
2 个月前
langchain
·
faiss
·
rag
检索增强生成RAG with LangChain、OpenAI and FAISS
参考:RAG with LangChain — BGE documentationAPI keys - OpenAI APIhttps://platform.openai.com/api-keys
maxmaxma
2 个月前
数据库
·
milvus
·
faiss
LLM之向量数据库Chroma milvus FAISS
以下是 Chroma、Milvus 和 FAISS 的核心区别,从功能定位、架构设计、性能及应用场景等维度进行对比:
tortorish
3 个月前
faiss
faiss-gpu安装方法
我们若直接用pip安装faiss-gpu,会提示登录网站:https://anaconda.org/ , 然后搜索faiss-gpu会进入如下界面,或者直接点击faiss-gpu
MMMMMMMay Love Code
3 个月前
学习
·
聚类
·
faiss
大模型工程师学习日记(十一):FAISS 高效相似度搜索和密集向量聚类的库
Facebook AI Similarity Search (Faiss /Fez/) 是一个用于高效相似度搜索和密集向量聚类的库。它包含了在任意大小的向量集合中进行搜索的算法,甚至可以处理可能无法完全放入内存的向量集合。它还包含用于评估和参数调整的支持代码。
橙子小哥的代码世界
5 个月前
数据库
·
人工智能
·
深度学习
·
神经网络
·
elasticsearch
·
milvus
·
faiss
打造RAG系统:四大向量数据库Milvus、Faiss、Elasticsearch、Chroma 全面对比与选型指南
在当今信息爆炸的时代,检索增强生成(Retrieval-Augmented Generation,简称RAG)系统已成为自然语言处理(NLP)领域的重要工具。RAG 系统通过结合生成模型和信息检索技术,能够在大规模数据中高效地获取相关信息,生成更为精准和有针对性的内容。而在构建 RAG 系统时,选择合适的向量数据库是确保系统性能和可扩展性的关键一步。本文将深入对比四大主流向量数据库——Milvus、Faiss、Elasticsearch 和 Chroma,并提供在 RAG 系统中的选型建议,帮助开发者做出
报名搜谷安
6 个月前
milvus
·
faiss
·
iotdb
OSCP:我理解的Web环境知识
你需要特别关注以下模块所涵盖的知识点,因为它们在考试中出现的概率很高。1、SQL 注入(SQL Injection)
报名搜谷安
6 个月前
milvus
·
faiss
·
iotdb
23年8月我通过OSCP考试
一、备考前的基本能力●扎实的 TCP/IP 网络知识:能够理解基础网络协议和数据通信原理。●Windows 和 Linux 管理经验:熟悉常见操作系统的基本操作和管理。
狂奔solar
6 个月前
faiss
简单测试下faiss 检索速度
在NLP的应用中,经常需要用到对向量的搜索,如果向量的数量级非常大,比如1千万,甚至上亿条,普通的方式就满足不了生产需要了,falcebook开源的faiss框架能够解决“海量向量搜索”的问题。faiss是为稠密向量提供高效相似度搜索和聚类的框架。由Facebook AI Research研发。 具有以下特性。
为什么每天的风都这么大
6 个月前
开发语言
·
c++
·
faiss
编译faiss的C++ API
主参考:https://github.com/facebookresearch/faiss/blob/main/INSTALL.md 其他资料:https://blog.csdn.net/weixin_44684139/article/details/123417681
Jacob_AI
6 个月前
faiss
faiss VS ChromaDB
faiss 是一个开源的机器学习库,由Facebook AI Research(FAIR)开发,主要用于高效的大规模向量搜索和聚类。
多吃轻食
7 个月前
数据库
·
faiss
向量数据库FAISS之二:基础进阶版
Faiss 使用了欧几里得 (L2) 距离的平方,避免了平方根。这仍然与欧几里德距离一样单调,但如果需要精确距离,则需要结果的额外平方根。
多吃轻食
7 个月前
数据库
·
faiss
向量数据库FAISS之六:如何让FAISS更快
通过 faiss.index_factory() 调用实例化索引是很常见的。但这种实例化方式将索引参数设置为安全值,同时存在许多与速度相关的参数。许多 Faiss 组件可以利用:
多吃轻食
7 个月前
数据库
·
人工智能
·
深度学习
·
语言模型
·
自然语言处理
·
faiss
向量数据库FAISS之五:原理(LSH、PQ、HNSW、IVF)
左侧是字典,右侧是 LSH。目的是把足够相似的索引放在同一个桶内。LSH 有很多的版本,很灵活,这里先介绍第一个版本,也是原始版本
多吃轻食
7 个月前
数据库
·
faiss
向量数据库FAISS之四:向量检索和 FAISS
公式Jaccard ( A , B ) = 1 − ∣ A ∩ B ∣ ∣ A ∪ B ∣ \text{Jaccard}(A, B) = 1 - \frac{|A \cap B|}{|A \cup B|} Jaccard(A,B)=1−∣A∪B∣∣A∩B∣