VLLM学习-推理阶段generate

1. 实例

先看最顶层的代码,输入包含(提示词,生成参数),传入generate函数中:

2. LLM 类中的 generate 函数

断言: 首先会进行一系列的断言。

请求构建: 如果我们有多个 Prompt,这会将这些请求通过 for 循环封装到一个请求里面,也就是 _add_request()。

启动模型引擎: 通过类对象调用 _run_engine 函数完成请求。

重点: generate 函数中最重要的就是 _add_request 函数和 _run_engine 函数。

相关推荐
边境悍匪12 分钟前
蜗牛学苑 Java 学习 Day23|SpringBoot 思维导图复盘
学习
xx~t22 分钟前
嵌入式学习22
数据结构·学习·算法·排序算法
Linux-lucky9 小时前
21-Linux学习之旅之HTTPS和安全加固
linux·运维·学习·ubuntu·https
学运维的Kysan11 小时前
暑假运维学习打卡第二十六天8.17
学习
dear_bi_MyOnly11 小时前
AI人工智能分类识别——机器如何学习
人工智能·学习·分类
启雀AI14 小时前
培训平台移动端离线学习方案设计与实现:视频缓存、断点续传与进度同步的工程实践
android·学习·缓存·音视频·企业lms
Bruce_Liuxiaowei16 小时前
从零到可运行:基于 Vue3 + FastAPI + DeepSeek-V3 的 AI 英语单词学习系统全栈实战
人工智能·python·学习·fastapi·全栈·智能体
zhangrelay16 小时前
ROS 2 Lyrical 第9章 计算机视觉与摄像头应用
linux·笔记·学习·ubuntu·机器人·ros2
雪的季节17 小时前
OPENCV学习(补充1)
人工智能·opencv·学习
zjnlswd18 小时前
C#学习笔记2 刘铁锰
笔记·学习