VLLM学习-推理阶段generate

1. 实例

先看最顶层的代码,输入包含(提示词,生成参数),传入generate函数中:

2. LLM 类中的 generate 函数

断言: 首先会进行一系列的断言。

请求构建: 如果我们有多个 Prompt,这会将这些请求通过 for 循环封装到一个请求里面,也就是 _add_request()。

启动模型引擎: 通过类对象调用 _run_engine 函数完成请求。

重点: generate 函数中最重要的就是 _add_request 函数和 _run_engine 函数。

相关推荐
盐焗西兰花1 天前
鸿蒙学习实战之路-Reader Kit构建阅读器最佳实践
学习·华为·harmonyos
深蓝海拓1 天前
PySide6从0开始学习的笔记(二十七) 日志管理
笔记·python·学习·pyqt
慎独4131 天前
科学赋能,让孩子专注高效爱上学习
学习
LGL6030A1 天前
Java学习历程26——线程安全
java·开发语言·学习
学历真的很重要1 天前
【系统架构师】第二章 操作系统知识 - 第二部分:进程管理(详解版)
学习·职场和发展·系统架构·系统架构师
Nebula_g1 天前
线程进阶: 无人机自动防空平台开发教程(更新)
java·开发语言·数据结构·学习·算法·无人机
星期五不见面1 天前
机器人学习!(二)ROS2-节点(7)2026/02/03
学习
狂奔蜗牛飙车1 天前
Python学习之路-循环语句学习详解
python·学习·python学习·#python学习笔记·循环语句详解
电饭叔1 天前
Jupyter学习中的问题--FileNotFoundError
ide·学习·jupyter
峥嵘life1 天前
Android16 【CTS】CtsMediaCodecTestCases等一些列Media测试存在Failed项
android·linux·学习