VLLM学习-推理阶段generate

1. 实例

先看最顶层的代码,输入包含(提示词,生成参数),传入generate函数中:

2. LLM 类中的 generate 函数

断言: 首先会进行一系列的断言。

请求构建: 如果我们有多个 Prompt,这会将这些请求通过 for 循环封装到一个请求里面,也就是 _add_request()。

启动模型引擎: 通过类对象调用 _run_engine 函数完成请求。

重点: generate 函数中最重要的就是 _add_request 函数和 _run_engine 函数。

相关推荐
知识分享小能手42 分钟前
Redis入门学习教程,从入门到精通, Redis Stack 完整语法知识点及使用指南(7)
数据库·redis·学习
C羊驼2 小时前
C语言学习笔记(十一):数据在内存中的存储
c语言·经验分享·笔记·学习
观书喜夜长2 小时前
大模型应用开发学习-基于langchain框架做一个个人文档问答助手
python·学习·idea
承渊政道2 小时前
【优选算法】(实战体验滑动窗口的奇妙之旅)
c语言·c++·笔记·学习·算法·leetcode·visual studio
huohuopro2 小时前
UML的概念和主图学习
学习·uml
C羊驼2 小时前
C语言学习笔记(十):操作符
c语言·开发语言·经验分享·笔记·学习
鹭天2 小时前
RAG学习笔记
笔记·学习
arvin_xiaoting3 小时前
OpenClaw学习总结_I_核心架构_6:Compaction详解
学习·系统架构·学习总结·ai agent·compaction·openclaw
存储服务专家StorageExpert3 小时前
NetApp NVME SSD 盘的学习笔记
运维·服务器·笔记·学习·存储维护·emc存储·netapp
无聊大侠hello world3 小时前
黑马大模型 RAG 与 Agent 实战学习笔记
笔记·学习