NVIDIA Hands-on Lab——Building RAG Agents with LLMs

NVIDIA DLI RAG课程(Course Detail | NVIDIA ),并获得该课程证书。

1 07的ipynb文件中设定,使用这两个模型配置

embedder = NVIDIAEmbeddings(model="nvidia/nv-embed-v1", truncate="END")
# ChatNVIDIA.get_available_models()
instruct_llm = ChatNVIDIA(model="mistralai/mixtral-8x7b-instruct-v0.1")

大约会在Part3的 Task3出错,否则会早早出错。

08不用改

运行完 所有cell后,点击下面的绿色的 Link To Gradio Frontend 文字,跳转到我们服务启动的页面

35的ipynb文件脚本需要修改几处:

从07/08两个脚本中复制代码出来

从07 Part3复制如下

chat_prompt = ChatPromptTemplate.from_messages([("system",
    "You are a document chatbot. Help the user as they ask questions about documents."
    " User messaged just asked: {input}\n\n"
    " From this, we have retrieved the following potentially-useful info: "
    " Conversation History Retrieval:\n{history}\n\n"
    " Document Retrieval:\n{context}\n\n"
    " (Answer only from retrieval. Only cite sources that are used. Make your response conversational.)"
), ('user', '{input}')])


embedder = NVIDIAEmbeddings(model="nvidia/nv-embed-v1", truncate="END")

08 Part3 Task1 复制如下

from langchain_nvidia_ai_endpoints import NVIDIAEmbeddings
from langchain_community.vectorstores import FAISS

docstore = FAISS.load_local("docstore_index", embedder, allow_dangerous_deserialization=True)
docs = list(docstore.docstore._dict.values())

再手写补充如下

add_routes(
    app,
    docstore.as_retriever(),
    path="/retriever",
)


add_routes(
    app,
    chat_prompt | llm,
    path="/generator",
)

然后将 08 中的问题复制粘贴到 到输入框中,运行即可。

相关推荐
chencjiajy19 小时前
向量模型Jina Embedding: 从v1到v3论文笔记
论文阅读·embedding·向量模型
韬小志1 天前
【LLaMa-Factory】监督微调训练方法
人工智能·深度学习·llama
waiting不是违停1 天前
LangChain Ollama实战文献检索助手(二)少样本提示FewShotPromptTemplate示例选择器
langchain·llm·ollama
Y24834908911 天前
05LangChain实战课 - 提示工程与FewShotPromptTemplate的应用
人工智能·langchain
花千树-0101 天前
Milvus - GPU 索引类型及其应用场景
运维·人工智能·aigc·embedding·ai编程·milvus
大拨鼠2 天前
【多模态读论文系列】LLaMA-Adapter V2论文笔记
论文阅读·人工智能·llama
科研小达人2 天前
Langchain调用模型使用FAISS
python·chatgpt·langchain·faiss
Hoper.J3 天前
PyTorch nn.Embedding() 嵌入详解
pytorch·embedding·嵌入向量·嵌入层
努力的光头强3 天前
太炸裂了,Ollama跑本地模型已成为历史,现在都在使用这个工具,而且还能集成本地知识库
人工智能·ai·pdf·产品经理·llama
小陈phd3 天前
大语言模型及LangChain介绍
人工智能·语言模型·langchain