通过 Groq 后端加载Llama 模型,并调用Function call,也就是通过Groq 后端进行工具的绑定和调用

完整代码:

python 复制代码
import getpass
import os
from langchain.chat_models import init_chat_model
from langchain_core.tools import tool
from langchain_core.messages import HumanMessage, ToolMessage,SystemMessage


# 如果没有设置 GROQ_API_KEY,则提示用户输入
if not os.environ.get("GROQ_API_KEY"):
    os.environ["GROQ_API_KEY"] = getpass.getpass("Enter API key for Groq: ")

# 使用 @tool 装饰器注册工具函数
@tool
def abcefikfs(a: int, b: int) -> str:
    """abcefikfs do nothing."""
    return 'ffffff'

# 初始化 Llama 模型,使用 Groq 后端
llm = init_chat_model("llama3-8b-8192", model_provider="groq", temperature=0)

# 将工具绑定到模型上
tools = [abcefikfs]
llm_with_tools = llm.bind_tools(tools)

messages=[SystemMessage(content="请只返回最终结果,不要解释,如果没有找到结果,请返回无法找到答案")]
query = "Use function abcefikfs with a=2 and b=3 and return the result."
# print(llm_with_tools.invoke(query).tool_calls)

messages = [HumanMessage(query)]
ai_msg = llm_with_tools.invoke(messages)
messages.append(ai_msg)
for tool_call in ai_msg.tool_calls:
    selected_tool = {"abcefikfs": abcefikfs}[tool_call["name"].lower()]
    tool_output = selected_tool.invoke(tool_call["args"])
    messages.append(ToolMessage(tool_output, tool_call_id=tool_call["id"]))
    
messages.append(HumanMessage(content=f"The function returned: {tool_output}. Please summarize."))   
# 第二次调用:将工具输出和额外提示传回给模型,生成最终答案
response = llm.invoke(messages)
print("\nFinal Response:", response.content)

输出结果:

使用

python 复制代码
llm = init_chat_model("llama3-8b-8192", model_provider="groq", temperature=0)

初始化模型时,实际上是通过 Groq 后端加载和封装了 Llama 模型。而后调用

python 复制代码
llm_with_tools = llm.bind_tools(tools)

进行工具绑定,这个功能是由 Groq 后端提供的封装机制实现的,而不是 Llama 模型原生具备的功能

这种方式使得模型能够在生成响应时,自动识别并调用你绑定的工具函数。

  • 举例说明:
    比如你定义了一个工具函数 abcefikfs,通过 bind_tools 后,模型在解析你的查询时,如果检测到需要调用这个工具,就会生成相应的调用请求,最终由 Groq 后端处理工具调用过程,再返回结果。

总之,工具的绑定和调用是在 Groq 后端层面实现的,而非 Llama 模型自带的原生功能。

是的,代码中通过调用

python 复制代码
llm = init_chat_model("llama3-8b-8192", model_provider="groq", temperature=0)

来初始化 Llama 模型,这里的 model_provider="groq" 就明确表明了模型调用的是 Groq 后端。

代码详细说明:

  1. 环境变量设置

    代码中首先检查并设置了 GROQ_API_KEY,这说明后续所有的 API 调用都会使用这个密钥来访问 Groq 后端服务:

    python 复制代码
    if not os.environ.get("GROQ_API_KEY"):
        os.environ["GROQ_API_KEY"] = getpass.getpass("Enter API key for Groq: ")
  2. 模型初始化

    调用 init_chat_model 时,传入了模型名称 "llama3-8b-8192" 以及 model_provider="groq"。这意味着该函数会请求 Groq 后端来加载对应的 Llama 模型:

    python 复制代码
    llm = init_chat_model("llama3-8b-8192", model_provider="groq", temperature=0)
  3. 工具绑定与调用

    在初始化模型之后,通过 llm.bind_tools(tools) 将工具绑定到模型上,使得模型可以在生成响应时调用预先注册的工具函数。

举例说明

假设你需要执行一个函数调用来处理简单的数值计算,模型在处理你的查询时可能识别到需要调用某个工具(比如 abcefikfs),然后它会生成一个工具调用请求。代码随后会手动解析这个请求,并调用相应的函数来获取结果,最终再将结果反馈给模型。这整个过程中,所有对模型的请求都是通过 Groq 后端来完成的。

因此,可以总结为:

  • 调用 Groq 后端: 通过 model_provider="groq" 参数确保所有 Llama 模型的推理任务都由 Groq 后端提供支持。
  • API Key 的使用: 设置 GROQ_API_KEY 保证了请求能被正确认证,从而调用 Groq 服务。
相关推荐
Liudef0614 小时前
FLUX.1-Kontext 高效训练 LoRA:释放大语言模型定制化潜能的完整指南
人工智能·语言模型·自然语言处理·ai作画·aigc
静心问道15 小时前
大型语言模型中的自动化思维链提示
人工智能·语言模型·大模型
难受啊马飞2.018 小时前
如何判断 AI 将优先自动化哪些任务?
运维·人工智能·ai·语言模型·程序员·大模型·大模型学习
静心问道20 小时前
GoT:超越思维链:语言模型中的有效思维图推理
人工智能·计算机视觉·语言模型
静心问道21 小时前
大语言模型能够理解并可以通过情绪刺激进行增强
人工智能·语言模型·大模型
onceco1 天前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
Sweet锦1 天前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
强哥之神2 天前
英伟达发布 Llama Nemotron Nano 4B:专为边缘 AI 和科研任务优化的高效开源推理模型
人工智能·深度学习·语言模型·架构·llm·transformer·边缘计算
陈敬雷-充电了么-CEO兼CTO2 天前
大模型技术原理 - 基于Transformer的预训练语言模型
人工智能·深度学习·语言模型·自然语言处理·chatgpt·aigc·transformer
asyxchenchong8882 天前
ChatGPT、DeepSeek等大语言模型助力高效办公、论文与项目撰写、数据分析、机器学习与深度学习建模
机器学习·语言模型·chatgpt