VLLM学习-推理阶段generate

1. 实例

先看最顶层的代码,输入包含(提示词,生成参数),传入generate函数中:

2. LLM 类中的 generate 函数

断言: 首先会进行一系列的断言。

请求构建: 如果我们有多个 Prompt,这会将这些请求通过 for 循环封装到一个请求里面,也就是 _add_request()。

启动模型引擎: 通过类对象调用 _run_engine 函数完成请求。

重点: generate 函数中最重要的就是 _add_request 函数和 _run_engine 函数。

相关推荐
知识分享小能手1 小时前
Flask入门学习教程,从入门到精通,数据库操作 — 知识点详解与案例代码(4)
数据库·学习·flask
wubba lubba dub dub7503 小时前
第四十八周学习周报
学习
生成论实验室3 小时前
用事件关系网络重新理解AI(三):激活函数、微调与元学习
人工智能·学习·算法·语言模型·可信计算技术
辰海Coding3 小时前
MiniSpring框架学习-为什么一个请求访问 /helloworld,最后能调用到某个 Controller 方法?原始 MVC实现
java·学习·程序人生·spring·mvc
凉、介3 小时前
深入理解 ARMv7-A|异常/中断处理
笔记·学习·嵌入式·arm
wxytxdy4 小时前
通过猜数字游戏学习Shell脚本的分支、循环编写
linux·学习
我想我不够好。4 小时前
观察对方打野的动向,预判下一次gank的时机
学习
java小吕布4 小时前
Hermes Agent:自带学习闭环的开源 AI 智能体,一键部署全平台可用
人工智能·学习·开源
东风破1375 小时前
达梦DEM和DFM的介绍、搭建学习记录
数据库·学习·dm达梦数据库
希冀1235 小时前
【CSS学习第十二篇】
css·学习·tensorflow