VLLM学习-推理阶段generate

1. 实例

先看最顶层的代码,输入包含(提示词,生成参数),传入generate函数中:

2. LLM 类中的 generate 函数

断言: 首先会进行一系列的断言。

请求构建: 如果我们有多个 Prompt,这会将这些请求通过 for 循环封装到一个请求里面,也就是 _add_request()。

启动模型引擎: 通过类对象调用 _run_engine 函数完成请求。

重点: generate 函数中最重要的就是 _add_request 函数和 _run_engine 函数。

相关推荐
min(a,b)2 小时前
学习第 4 天:面向对象与异常处理
python·学习·学习方法
一只小菜鸡..2 小时前
南京大学 操作系统 (JYY) 学习笔记:进程地址空间与内存“外挂”魔法
笔记·学习
tju新生代魔迷2 小时前
Verilog语言学习(一)
学习
一只小菜鸡..3 小时前
南京大学 操作系统 (JYY) 学习笔记:访问操作系统的对象与“一切皆文件”
笔记·学习
IT空门:门主6 小时前
Python 基础语法学习路线图
网络·python·学习
寒月小酒8 小时前
第五章 生成集成 和第六章 RAG评估(all-in-rag学习)
数据库·学习
魔城烟雨8 小时前
从零开始学习betaflight《5-坐标系》
学习
笔夏8 小时前
【移芯平台CAT1模组】烧写固件
stm32·单片机·学习
憧憬成为java架构高手的小白8 小时前
黑马八股--spring框架学习
java·学习·spring
晓梦林9 小时前
[极客大挑战 2019]PHP学习笔记
笔记·学习·php