NVIDIA Hands-on Lab——Building RAG Agents with LLMs

NVIDIA DLI RAG课程(Course Detail | NVIDIA ),并获得该课程证书。

1 07的ipynb文件中设定,使用这两个模型配置

复制代码
embedder = NVIDIAEmbeddings(model="nvidia/nv-embed-v1", truncate="END")
# ChatNVIDIA.get_available_models()
instruct_llm = ChatNVIDIA(model="mistralai/mixtral-8x7b-instruct-v0.1")

大约会在Part3的 Task3出错,否则会早早出错。

08不用改

运行完 所有cell后,点击下面的绿色的 Link To Gradio Frontend 文字,跳转到我们服务启动的页面

35的ipynb文件脚本需要修改几处:

从07/08两个脚本中复制代码出来

从07 Part3复制如下

复制代码
chat_prompt = ChatPromptTemplate.from_messages([("system",
    "You are a document chatbot. Help the user as they ask questions about documents."
    " User messaged just asked: {input}\n\n"
    " From this, we have retrieved the following potentially-useful info: "
    " Conversation History Retrieval:\n{history}\n\n"
    " Document Retrieval:\n{context}\n\n"
    " (Answer only from retrieval. Only cite sources that are used. Make your response conversational.)"
), ('user', '{input}')])


embedder = NVIDIAEmbeddings(model="nvidia/nv-embed-v1", truncate="END")

08 Part3 Task1 复制如下

复制代码
from langchain_nvidia_ai_endpoints import NVIDIAEmbeddings
from langchain_community.vectorstores import FAISS

docstore = FAISS.load_local("docstore_index", embedder, allow_dangerous_deserialization=True)
docs = list(docstore.docstore._dict.values())

再手写补充如下

复制代码
add_routes(
    app,
    docstore.as_retriever(),
    path="/retriever",
)


add_routes(
    app,
    chat_prompt | llm,
    path="/generator",
)

然后将 08 中的问题复制粘贴到 到输入框中,运行即可。

相关推荐
try2find12 小时前
安装llama-cpp-python踩坑记
开发语言·python·llama
是小王同学啊~16 小时前
(LangChain)RAG系统链路向量检索器之Retrievers(五)
python·算法·langchain
AIGC包拥它16 小时前
提示技术系列——链式提示
人工智能·python·langchain·prompt
西西弗Sisyphus18 小时前
LLaMA-Factory 单卡后训练微调Qwen3完整脚本
微调·llama·llama-factory·后训练
顾道长生'18 小时前
(Arxiv-2024)自回归模型优于扩散:Llama用于可扩展的图像生成
计算机视觉·数据挖掘·llama·自回归模型·多模态生成与理解
AI大模型1 天前
LangGraph官方文档笔记(4)——提示聊天机器人
程序员·langchain·llm
OpenAppAI1 天前
Few-shot Prompting(少样本提示)概念指南
langchain·few-shot·prompts
zeroporn11 天前
以玄幻小说方式打开深度学习词嵌入算法!! 使用Skip-gram来完成 Word2Vec 词嵌入(Embedding)
人工智能·深度学习·算法·自然语言处理·embedding·word2vec·skip-gram
余衫马11 天前
LangChain 文本分割器深度解析:从原理到落地应用(上)
langchain·文本分割器
Zhijun.li@Studio11 天前
【LLaMA-Factory 实战系列】二、WebUI 篇 - Qwen2.5-VL 多模态模型 LoRA 微调保姆级教程
人工智能·自然语言处理·llama·多模态大模型