VLLM学习-推理阶段generate

1. 实例

先看最顶层的代码,输入包含(提示词,生成参数),传入generate函数中:

2. LLM 类中的 generate 函数

断言: 首先会进行一系列的断言。

请求构建: 如果我们有多个 Prompt,这会将这些请求通过 for 循环封装到一个请求里面,也就是 _add_request()。

启动模型引擎: 通过类对象调用 _run_engine 函数完成请求。

重点: generate 函数中最重要的就是 _add_request 函数和 _run_engine 函数。

相关推荐
爱上好庆祝2 小时前
svg图片
前端·css·学习·html·css3
嵌入式小企鹅2 小时前
蓝牙学习系列(八):BLE L2CAP 协议详解
网络·学习·蓝牙·ble·协议栈·l2cap
jiayong233 小时前
第 8 课:开始引入组合式函数
前端·javascript·学习
格鸰爱童话4 小时前
向AI学习项目技能(五)
java·学习
技术人生黄勇4 小时前
拆解 Hermes Agent:开源 Agent 里唯一的闭环学习系统
学习
凉、介4 小时前
别再把 PCIe 的 inbound/outbound、iATU 和 eDMA 混为一谈
linux·笔记·学习·嵌入式·pcie
speop5 小时前
TASK01 | Reasoning Kindom
学习
2301_822703205 小时前
鸿蒙flutter三方库实战——教育与学习平台:Flutter Markdown
学习·算法·flutter·华为·harmonyos·鸿蒙
码喽7号6 小时前
vue学习四:Axios网络请求
前端·vue.js·学习
星幻元宇VR6 小时前
VR科普行走平台适用哪些科普教育主题
科技·学习·安全·vr·虚拟现实