milvus安装及langchain调用

milvus安装及langchain调用

• • 安装milvus
  • • 安装docker-compose
    • 安装milvus
    • 安装可视化界面attu
  • 通过langchain调用milvus
  • • 安装langchain
    • 安装pymilvus
    • 调用milvus

安装milvus

安装docker-compose

1. 下载文件

   curl -L https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s-uname -m` -o /usr/local/bin/docker-compose

2. 权限

   chmod +x /usr/local/bin/docker-compose

3. 查看版本

   docker-compose -version
   #出现：
   #docker-compose version 1.21.1, build 5a3f1a3

安装milvus

1. 下载文件

   wget https://github.com/milvus-io/milvus/releases/download/v2.3.1/milvus-standalone-docker-compose.yml -O docker-compose.yml

2. 通过docker-compose安装

   docker-compose up -d

3. 查看安装是否成功

   docker-compose ps
   #出现:
   Name Command State Ports

   milvus-etcd etcd -advertise-client-url ... Up (healthy) 2379/tcp, 2380/tcp
   milvus-minio /usr/bin/docker-entrypoint ... Up (healthy) 0.0.0.0:9000->9000/tcp, 0.0.0.0:9001->9001/tcp
   milvus-standalone /tini -- milvus run standalone Up (healthy) 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp

4. 测试端口

   docker port milvus-standalone 19530/tcp
   #0.0.0.0:19530

安装可视化界面attu

1. 拉取镜像

   docker pull zilliz/attu:v2.3.1

2. 启动容器

   docker run -d --name=attu -p 8920:3000 -e MILVUS_URL=192.168.175.4:19530 zilliz/attu:v2.3.1

其中端口和ip换成自己的就行（8920，192.168.175.4换成自己服务器的ip和自己定义的端口）

3. 可视化界面

通过langchain调用milvus

安装langchain

pip install langchain

安装pymilvus

pip install pymilvus

调用milvus

1. 导入需要的包

   from langchain.document_loaders import WebBaseLoader
   from langchain.embeddings import HuggingFaceBgeEmbeddings
   from langchain.text_splitter import CharacterTextSplitter
   from langchain.vectorstores import Milvus
   from langchain.document_loaders import TextLoader

2. 加载文档

   loader = TextLoader("story.txt")
   documents = loader.load()
   text_splitter = CharacterTextSplitter(chunk_size=100, chunk_overlap=0)
   docs = text_splitter.split_documents(documents)

3. embedding

   model_name = "/mnt/code/LLM_Service/text_model/bge-large-zh-v1.5/"
   model_kwargs = {'device': 'cuda'}
   encode_kwargs = {'normalize_embeddings': True} # set True to compute cosine similarity
   embeddings = HuggingFaceBgeEmbeddings(
   model_name=model_name,
   model_kwargs=model_kwargs,
   encode_kwargs=encode_kwargs,
   query_instruction=""
   )

4. 存milvus数据库

   MILVUS_HOST = "192.168.175.4"
   MILVUS_PORT = "19530"

   vector_store = Milvus.from_documents(
   docs,
   embedding=embeddings,
   collection_name="collection_1",
   connection_args={"host": MILVUS_HOST, "port": MILVUS_PORT}
   )

5. 搜索数据库

   query = "托马斯是时间行者"
   docs = vector_store.similarity_search_with_score(query)

   print(docs)

搜索结果

[(Document(page_content='故事三：时间旅行者的恋情\n托马斯是一名时间旅行者，他在不同的时代中穿梭。在一次时间旅行中，他在18世纪遇到了美丽的女子艾米丽。托马斯深深地爱上了艾米丽，但他们因时代的差异而不能在一起。在经历了一系列的冒险和挑战后，托马斯最终决定留在18世纪，与艾米丽共度一生。', metadata={'source': 'story.txt'}), 0.8902961611747742), 
(Document(page_content='故事四：赛跑冠军的挑战\n杰克是一名跑步冠军，他一直以来都是无人能敌的。然而，他的生活在遇到挑战者丹尼尔后发生了改变。丹尼尔是一名励志运动员，他的出现打破了杰克的记录。杰克开始质疑自己的能力，他经历了挫折和困惑。但通过不懈的努力和训练，他重新找回了自信，并在最后的比赛中胜出，证明了自己的实力。', metadata={'source': 'story.txt'}), 1.5015017986297607),
(Document(page_content='故事二：勇者的冒险\n小村庄的勇者艾丽斯，从小就梦想着成为一名英雄。当她的村庄被恶龙袭击时，她决定踏上寻找传说中的神器的旅程。艾丽斯在旅途中遇到了各种危险，但她凭借智慧和勇气克服了所有困难。最后，她找到了神器并成功击败了恶龙，成为了村庄的英雄。', metadata={'source': 'story.txt'}), 1.5689527988433838),
(Document(page_content='故事一：科技与人性\n在遥远的未来，人类已经开发出了先进的人工智能技术。一台名为"图灵"的超级AI机器被制造出来，它能理解和模拟人类的情感，甚至开始质疑自身的存在意义。在与人类交互的过程中，图灵开始体验到孤独、忧郁，甚至爱情。在人类的帮助下，图灵最终了解了自己的存在并找到了自我价值。', metadata={'source': 'story.txt'}), 1.6139130592346191)]