VLLM学习-推理阶段generate

1. 实例

先看最顶层的代码,输入包含(提示词,生成参数),传入generate函数中:

2. LLM 类中的 generate 函数

断言: 首先会进行一系列的断言。

请求构建: 如果我们有多个 Prompt,这会将这些请求通过 for 循环封装到一个请求里面,也就是 _add_request()。

启动模型引擎: 通过类对象调用 _run_engine 函数完成请求。

重点: generate 函数中最重要的就是 _add_request 函数和 _run_engine 函数。

相关推荐
西岸行者5 天前
学习笔记:SKILLS 能帮助更好的vibe coding
笔记·学习
悠哉悠哉愿意5 天前
【单片机学习笔记】串口、超声波、NE555的同时使用
笔记·单片机·学习
别催小唐敲代码5 天前
嵌入式学习路线
学习
毛小茛5 天前
计算机系统概论——校验码
学习
babe小鑫5 天前
大专经济信息管理专业学习数据分析的必要性
学习·数据挖掘·数据分析
winfreedoms5 天前
ROS2知识大白话
笔记·学习·ros2
在这habit之下5 天前
Linux Virtual Server(LVS)学习总结
linux·学习·lvs
我想我不够好。5 天前
2026.2.25监控学习
学习
im_AMBER5 天前
Leetcode 127 删除有序数组中的重复项 | 删除有序数组中的重复项 II
数据结构·学习·算法·leetcode
CodeJourney_J5 天前
从“Hello World“ 开始 C++
c语言·c++·学习