VLLM学习-推理阶段generate

1. 实例

先看最顶层的代码,输入包含(提示词,生成参数),传入generate函数中:

2. LLM 类中的 generate 函数

断言: 首先会进行一系列的断言。

请求构建: 如果我们有多个 Prompt,这会将这些请求通过 for 循环封装到一个请求里面,也就是 _add_request()。

启动模型引擎: 通过类对象调用 _run_engine 函数完成请求。

重点: generate 函数中最重要的就是 _add_request 函数和 _run_engine 函数。

相关推荐
GISer_Jing1 分钟前
AI Agent 智能体的“深度思考”与“安全防线”
人工智能·学习·安全·aigc
我命由我123452 小时前
充血模型与贫血模型
java·服务器·后端·学习·架构·java-ee·系统架构
时间会给答案scidag2 小时前
Spring AI Alibaba 学习day01
人工智能·学习·spring
风送雨2 小时前
FastAPI 学习教程 · 第4部分
学习·fastapi
binbinaishijie883 小时前
ANSYS Workbench完全入门教程|0基础学习路线图
学习·其他
半夏知半秋4 小时前
kcp学习-通用的kcp lua绑定
服务器·开发语言·笔记·后端·学习
曾浩轩4 小时前
图灵完备Turing Complete 2
学习·图灵完备
A小码哥5 小时前
跟着AI学习谷歌最新的通用商业协议(UCP)实操步骤
人工智能·学习
科技林总5 小时前
【系统分析师】4.2 网络体系结构
学习
且去填词5 小时前
深入理解 GMP 模型:Go 高并发的基石
开发语言·后端·学习·算法·面试·golang·go