VLLM学习-推理阶段generate

1. 实例

先看最顶层的代码,输入包含(提示词,生成参数),传入generate函数中:

2. LLM 类中的 generate 函数

断言: 首先会进行一系列的断言。

请求构建: 如果我们有多个 Prompt,这会将这些请求通过 for 循环封装到一个请求里面,也就是 _add_request()。

启动模型引擎: 通过类对象调用 _run_engine 函数完成请求。

重点: generate 函数中最重要的就是 _add_request 函数和 _run_engine 函数。

相关推荐
糕......2 小时前
Java异常处理完全指南:从概念到自定义异常
java·开发语言·网络·学习
好奇龙猫2 小时前
【人工智能学习-AI-MIT公开课-第5. 搜索:最优、分支限界、A**】
人工智能·学习
stars-he2 小时前
FPGA学习笔记(7)以太网UDP数据报文发送电路设计(一)
笔记·网络协议·学习·fpga开发·udp
峥嵘life3 小时前
2026 Android EDLA 认证相关资源网址汇总(持续更新)
android·java·学习
熬夜造bug3 小时前
LeetCode非Hot100高频题(2)——常见LeetCode手撕
学习
Aliex_git3 小时前
Vue2 - Watch 侦听器源码理解
前端·javascript·vue.js·笔记·学习
程芯带你刷C语言简单算法题3 小时前
Day37~求组合数
c语言·开发语言·学习·算法·c
zhangfeng11333 小时前
大语言模型llm学习路线电子书 PDF、开源项目、数据集、视频课程、面试题、工具镜像汇总成一张「一键下载清单」
学习·语言模型·pdf
Fairy要carry4 小时前
VLLMs学习-LLMEngine(模型初始化)
学习