【vLLM 学习】Reproduciblity

vLLM 是一款专为大语言模型推理加速而设计的框架,实现了 KV 缓存内存几乎零浪费,解决了内存管理瓶颈问题。

更多 vLLM 中文文档及教程可访问 →vllm.hyper.ai/

*在线运行 vLLM 入门教程:零基础分步指南

源码 examples/offline_inference/reproduciblity.py

bash 复制代码
# SPDX-License-Identifier: Apache-2.0
import os

from vllm import LLM, SamplingParams

# 为了性能考虑,vllm 不能保证结果的默认情况下可重复性,
# 您需要做以下事情才能实现
# 可复现结果:
# 1.关闭多处理以使计划确定性。
# Note (Woosuk) :这是不需要的,对于 V0而言,这将被忽略。
os.environ["VLLM_ENABLE_V1_MULTIPROCESSING"] = "0"
# 2.修复五十年据种子以获得可重复性。默认种子为 None,不可复现。
SEED = 42


# Note (Woosuk) :即使使用上述两个设置,vLLM 也仅提供
# 当它在相同的硬件和相同的 vLLM 版本上运行时,它的可重复性。
# 此外,在线服务 API ( "vLLM 服务") 不支持可重复性
# 因为几乎不可能在在线服务设置。

llm = LLM(model="facebook/opt-125m", seed=SEED)

prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

outputs = llm.generate(prompts, sampling_params)
for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")
相关推荐
VIP_CQCRE5 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷6 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我6 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁016 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn7 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄8 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下8 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码9 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下9 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩9 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek