1、先试的AI Chat中添加AI Assistant
折腾了好一会儿，发现用不了。
2、搜了资料，可以安装Jetbrains AI Assistant，deepseek插件，但是也是不好用。
后面安装了qoder插件，发现挺好用的。
python代码如下：
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
import os
from langchain_chroma import Chroma
from base_llm import llm, embeddings_model
from langchain_core.output_parsers import StrOutputParser
from langchain_classic import hub
# from langsmith import Client
from langchain_core.load import dumps, loads
texts = [
"人工智能在医疗诊断中的应用。",
"人工智能如何提升供应链效率。",
"NBA季后赛最新赛况分析。",
"传统法式烘焙的五大技巧。",
"红楼梦人物关系图谱分析。",
"人工智能在金融风险管理中的应用。",
"人工智能如何影响未来就业市场。",
"人工智能在制造业的应用。",
"今天天气怎么样",
"人工智能伦理：公平性与透明度。"
]
# 创建向量数据库对象
vectorstore = Chroma.from_texts(
texts=texts, embedding=embeddings_model
)
retriever = vectorstore.as_retriever()
prompt = hub.pull("langchain-ai/rag-fusion-query-generation", dangerously_pull_public_prompt=True)
# client = Client()
# prompt = client.pull_prompt("langchain-ai/rag-fusion-query-generation", dangerously_pull_public_prompt=True)
print(prompt)
# 创建多重查询chain
generate_queries = (
prompt | llm | StrOutputParser() | (lambda x: x.split("\n"))
)
original_query = "人工智能的应用"
queries = generate_queries.invoke({"original_query": original_query})
print('--------------问题检索到的内容-------------')
print(queries)
print('--------------循环开始-------------')
# 我们检索到的内容的位置是不一样的, 需要给查询到的数据进行融合重排
for i in queries:
print(retriever.invoke(i))
print('--------------循环结束-------------')
def reciprocal_rank_fusion(results: list[list], k=60):
"""互逆排序融合算法，用于合并多个排序文档列表
Args:
results: 包含多个排序文档列表的二维列表
k: 融合公式中的平滑参数（默认60），值越小排名影响越大
Returns:
按融合分数降序排列的文档列表，每个元素为(文档对象, 分数)元组
"""
# 初始化融合分数字典（key=序列化文档，value=累计分数）
fused_scores = {}
# 遍历每个检索结果列表（每个查询对应的结果）
for docs in results:
# 对当前结果列表中的文档进行遍历（rank从0开始计算）
for rank, doc in enumerate(docs):
# 序列化文档对象为字符串（用于唯一标识）
doc_str = dumps(doc)
# 初始化文档得分（如果是首次出现）
if doc_str not in fused_scores:
fused_scores[doc_str] = 0
# 计算并累加RRF分数：1 / (当前排名 + k)
# 排名越靠前（rank值小）的文档获得的分数越高
fused_scores[doc_str] += 1 / (rank + k)
# 按融合分数降序排序（分数越高排名越前）
sorted_Data = sorted(fused_scores.items(), key=lambda x: x[1], reverse=True)
# print(sorted_Data)
reranked_results = [
(loads(doc), score) for doc, score in sorted_Data
]
return reranked_results
print('--------------问题融合后的内容-------------')
original_query = "人工智能的应用"
chain = generate_queries | retriever.map() | reciprocal_rank_fusion
# 输入结果列表
result_list = chain.invoke({"original_query": original_query})
print(result_list)
print('--------------融合后的循环开始-------------')
# 提取文档内容和对应分数
for i in result_list:
print(i[0].page_content, i[1])执行报错了，报错内容如下：
C:\Users\lenovo\PycharmProjects\PythonProject\.venv\Scripts\python.exe C:\Users\lenovo\PycharmProjects\PythonProject\rag\day08\05-检索融合.py
C:\Users\lenovo\PycharmProjects\PythonProject\.venv\Lib\site-packages\langchain_core\utils\pydantic.py:41: UserWarning: Core Pydantic V1 functionality isn't compatible with Python 3.14 or greater.
from pydantic.v1 import BaseModel as BaseModelV1
Loading weights: 100%|██████████| 199/199 [00:00<00:00, 65162.50it/s]
C:\Users\lenovo\PycharmProjects\PythonProject\rag\day08\05-检索融合.py:33: LangChainDeprecationWarning: langchain_classic.hub.pull is deprecated. Use the LangSmith SDK instead.
prompt = hub.pull("langchain-ai/rag-fusion-query-generation")
Traceback (most recent call last):
File "C:\Users\lenovo\PycharmProjects\PythonProject\rag\day08\05-检索融合.py", line 33, in <module>
prompt = hub.pull("langchain-ai/rag-fusion-query-generation")
File "C:\Users\lenovo\PycharmProjects\PythonProject\.venv\Lib\site-packages\langchain_core\_api\deprecation.py", line 225, in warning_emitting_wrapper
return wrapped(*args, **kwargs)
File "C:\Users\lenovo\PycharmProjects\PythonProject\.venv\Lib\site-packages\langchain_classic\hub.py", line 117, in pull
return client.pull_prompt(owner_repo_commit, include_model=include_model)
~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\lenovo\PycharmProjects\PythonProject\.venv\Lib\site-packages\langsmith\client.py", line 9445, in pull_prompt
prompt_object = self.pull_prompt_commit(
prompt_identifier,
...<2 lines>...
dangerously_pull_public_prompt=dangerously_pull_public_prompt,
)
File "C:\Users\lenovo\PycharmProjects\PythonProject\.venv\Lib\site-packages\langsmith\client.py", line 9293, in pull_prompt_commit
_validate_public_prompt_pull(
~~~~~~~~~~~~~~~~~~~~~~~~~~~~^
prompt_identifier,
^^^^^^^^^^^^^^^^^^
dangerously_pull_public_prompt=dangerously_pull_public_prompt,
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
)
^
File "C:\Users\lenovo\PycharmProjects\PythonProject\.venv\Lib\site-packages\langsmith\client.py", line 370, in _validate_public_prompt_pull
raise ValueError(
...<4 lines>...
)
ValueError: Pulling a public prompt by owner/name is disabled by default because prompts may contain untrusted serialized LangChain objects. If you trust this prompt, set `dangerously_pull_public_prompt=True` to acknowledge the risk.使用qoder插件，把错误内容粘贴到对话框，请求处理
试了2次解决方案，最终搞定了
代码如下：
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
import os
from langchain_chroma import Chroma
from base_llm import llm, embeddings_model
from langchain_core.output_parsers import StrOutputParser
# from langchain_classic import hub
from langsmith import Client
from langchain_core.load import dumps, loads
texts = [
"人工智能在医疗诊断中的应用。",
"人工智能如何提升供应链效率。",
"NBA季后赛最新赛况分析。",
"传统法式烘焙的五大技巧。",
"红楼梦人物关系图谱分析。",
"人工智能在金融风险管理中的应用。",
"人工智能如何影响未来就业市场。",
"人工智能在制造业的应用。",
"今天天气怎么样",
"人工智能伦理：公平性与透明度。"
]
# 创建向量数据库对象
vectorstore = Chroma.from_texts(
texts=texts, embedding=embeddings_model
)
retriever = vectorstore.as_retriever()
# prompt = hub.pull("langchain-ai/rag-fusion-query-generation")
client = Client()
prompt = client.pull_prompt("langchain-ai/rag-fusion-query-generation", dangerously_pull_public_prompt=True)
print(prompt)
# 创建多重查询chain
generate_queries = (
prompt | llm | StrOutputParser() | (lambda x: x.split("\n"))
)
original_query = "人工智能的应用"
queries = generate_queries.invoke({"original_query": original_query})
print('--------------问题检索到的内容-------------')
print(queries)
print('--------------循环开始-------------')
# 我们检索到的内容的位置是不一样的, 需要给查询到的数据进行融合重排
for i in queries:
print(retriever.invoke(i))
print('--------------循环结束-------------')
def reciprocal_rank_fusion(results: list[list], k=60):
"""互逆排序融合算法，用于合并多个排序文档列表
Args:
results: 包含多个排序文档列表的二维列表
k: 融合公式中的平滑参数（默认60），值越小排名影响越大
Returns:
按融合分数降序排列的文档列表，每个元素为(文档对象, 分数)元组
"""
# 初始化融合分数字典（key=序列化文档，value=累计分数）
fused_scores = {}
# 遍历每个检索结果列表（每个查询对应的结果）
for docs in results:
# 对当前结果列表中的文档进行遍历（rank从0开始计算）
for rank, doc in enumerate(docs):
# 序列化文档对象为字符串（用于唯一标识）
doc_str = dumps(doc)
# 初始化文档得分（如果是首次出现）
if doc_str not in fused_scores:
fused_scores[doc_str] = 0
# 计算并累加RRF分数：1 / (当前排名 + k)
# 排名越靠前（rank值小）的文档获得的分数越高
fused_scores[doc_str] += 1 / (rank + k)
# 按融合分数降序排序（分数越高排名越前）
sorted_Data = sorted(fused_scores.items(), key=lambda x: x[1], reverse=True)
# print(sorted_Data)
reranked_results = [
(loads(doc), score) for doc, score in sorted_Data
]
return reranked_results
print('--------------问题融合后的内容-------------')
original_query = "人工智能的应用"
chain = generate_queries | retriever.map() | reciprocal_rank_fusion
# 输入结果列表
result_list = chain.invoke({"original_query": original_query})
print(result_list)
print('--------------融合后的循环开始-------------')
# 提取文档内容和对应分数
for i in result_list:
print(i[0].page_content, i[1])控制台打印如下：
C:\Users\lenovo\PycharmProjects\PythonProject\.venv\Scripts\python.exe C:\Users\lenovo\PycharmProjects\PythonProject\rag\day08\05-检索融合.py
C:\Users\lenovo\PycharmProjects\PythonProject\.venv\Lib\site-packages\langchain_core\utils\pydantic.py:41: UserWarning: Core Pydantic V1 functionality isn't compatible with Python 3.14 or greater.
from pydantic.v1 import BaseModel as BaseModelV1
Loading weights: 100%|██████████| 199/199 [00:00<00:00, 64318.91it/s]
input_variables=['original_query'] input_types={} partial_variables={} metadata={'lc_hub_owner': 'langchain-ai', 'lc_hub_repo': 'rag-fusion-query-generation', 'lc_hub_commit_hash': '478b448e096b977446865108fad34282e6e1a84ae8b8540572ed0df238229a11'} messages=[SystemMessagePromptTemplate(prompt=PromptTemplate(input_variables=[], input_types={}, partial_variables={}, template='You are a helpful assistant that generates multiple search queries based on a single input query.'), additional_kwargs={}), HumanMessagePromptTemplate(prompt=PromptTemplate(input_variables=['original_query'], input_types={}, partial_variables={}, template='Generate multiple search queries related to: {original_query}'), additional_kwargs={}), HumanMessagePromptTemplate(prompt=PromptTemplate(input_variables=[], input_types={}, partial_variables={}, template='OUTPUT (4 queries):'), additional_kwargs={})]
--------------问题检索到的内容-------------
['1. 人工智能在日常生活中的应用场景', '2. 人工智能在医疗和金融领域的应用案例', '3. 生成式人工智能的实际商业应用', '4. 人工智能应用的未来发展趋势与挑战']
--------------循环开始-------------
[Document(id='71aa62c0-c01d-479b-9e53-654d07ee466f', metadata={}, page_content='人工智能在制造业的应用。'), Document(id='627f82c4-1509-4771-85c4-51f0ebe84991', metadata={}, page_content='人工智能在金融风险管理中的应用。'), Document(id='b31bb834-5523-437b-bca6-b85a0dd52714', metadata={}, page_content='人工智能在医疗诊断中的应用。'), Document(id='c42af290-6446-4235-b389-eb4dafe966e2', metadata={}, page_content='人工智能如何影响未来就业市场。')]
[Document(id='627f82c4-1509-4771-85c4-51f0ebe84991', metadata={}, page_content='人工智能在金融风险管理中的应用。'), Document(id='b31bb834-5523-437b-bca6-b85a0dd52714', metadata={}, page_content='人工智能在医疗诊断中的应用。'), Document(id='71aa62c0-c01d-479b-9e53-654d07ee466f', metadata={}, page_content='人工智能在制造业的应用。'), Document(id='c42af290-6446-4235-b389-eb4dafe966e2', metadata={}, page_content='人工智能如何影响未来就业市场。')]
[Document(id='71aa62c0-c01d-479b-9e53-654d07ee466f', metadata={}, page_content='人工智能在制造业的应用。'), Document(id='4f1b555a-711d-46b2-b96e-bda8fb61c463', metadata={}, page_content='人工智能如何提升供应链效率。'), Document(id='627f82c4-1509-4771-85c4-51f0ebe84991', metadata={}, page_content='人工智能在金融风险管理中的应用。'), Document(id='c42af290-6446-4235-b389-eb4dafe966e2', metadata={}, page_content='人工智能如何影响未来就业市场。')]
[Document(id='c42af290-6446-4235-b389-eb4dafe966e2', metadata={}, page_content='人工智能如何影响未来就业市场。'), Document(id='4f1b555a-711d-46b2-b96e-bda8fb61c463', metadata={}, page_content='人工智能如何提升供应链效率。'), Document(id='627f82c4-1509-4771-85c4-51f0ebe84991', metadata={}, page_content='人工智能在金融风险管理中的应用。'), Document(id='71aa62c0-c01d-479b-9e53-654d07ee466f', metadata={}, page_content='人工智能在制造业的应用。')]
--------------循环结束-------------
--------------问题融合后的内容-------------
C:\Users\lenovo\PycharmProjects\PythonProject\rag\day08\05-检索融合.py:88: LangChainBetaWarning: The function `loads` is in beta. It is actively being worked on, so the API may change.
(loads(doc), score) for doc, score in sorted_Data
C:\Users\lenovo\PycharmProjects\PythonProject\rag\day08\05-检索融合.py:88: LangChainPendingDeprecationWarning: The default value of `allowed_objects` will change in a future version. Pass an explicit list of allowed classes (or 'messages' for untrusted input that contains only chat messages) to suppress this warning.
(loads(doc), score) for doc, score in sorted_Data
[(Document(id='71aa62c0-c01d-479b-9e53-654d07ee466f', metadata={}, page_content='人工智能在制造业的应用。'), 0.06612903225806452), (Document(id='627f82c4-1509-4771-85c4-51f0ebe84991', metadata={}, page_content='人工智能在金融风险管理中的应用。'), 0.06453291699193339), (Document(id='c42af290-6446-4235-b389-eb4dafe966e2', metadata={}, page_content='人工智能如何影响未来就业市场。'), 0.048651507139079855), (Document(id='4f1b555a-711d-46b2-b96e-bda8fb61c463', metadata={}, page_content='人工智能如何提升供应链效率。'), 0.04813947436898257), (Document(id='b31bb834-5523-437b-bca6-b85a0dd52714', metadata={}, page_content='人工智能在医疗诊断中的应用。'), 0.03279569892473118)]
--------------融合后的循环开始-------------
人工智能在制造业的应用。 0.06612903225806452
人工智能在金融风险管理中的应用。 0.06453291699193339
人工智能如何影响未来就业市场。 0.048651507139079855
人工智能如何提升供应链效率。 0.04813947436898257
人工智能在医疗诊断中的应用。 0.03279569892473118
Process finished with exit code 0但是要先登录，
登录成功截图：
