推理

vLLM调优：从原理到Ubuntu 22.04实践作者：吴业亮博客：wuyeliang.blog.csdn.netvLLM是由UC伯克利等机构开发的高性能LLM推理/服务框架，核心优势是超高吞吐、低延迟、显存利用率高，其性能优势源于核心技术创新，调优也需围绕这些核心机制展开。本文将从原理入手，逐步讲解Ubuntu 22.04下的vLLM环境搭建、全维度调优策略及实战案例。

Nano-vLLM-Ascend参考 https://github.com/linzm1007/nano-vllm-ascendnano-vllm是开源的一个gpu推理项目，基于开源版本弄的一个ascend npu版本推理小demo，旨在帮助初学者了解推理的整体流程，区别于vllm，nano-vllm体量更小，麻雀虽小五脏俱全，更有助于初学者学习。

DeepSeek V3.1 的推理解析之前仔细学习过大模型的推理解析，但只是针对通用的早期大模型，并没有针对目前流行的MoE的在模型的推理进行解析。比如：DeepSeek。也就是针对通用的早期Transformer架构进行了学习。

TensorRT 推理 YOLO Demo 分享（Python）TensorRT 8.6.1；CUDA 11.8；cuDNN 8.6.0；Python：3.11；pytorch-cuda：11.8

OpenVINO 推理 YOLO Demo 分享（Python）OpenVINO 2025.3；Python：3.11；1、YOLOv5 以后的新模型都可以正常推理，可以通用（只要是模型输出的数据定义不变即可），框架是按YOLOv13写的，模型使用yolov12s.pt；

天数智芯MR50推理卡测试图1是一只虎猫（tiger cat）。我们通过resnet18模型的resnet18.onnx（onnx是一种跨平台的通用模型文件格式），来对这张图片进行推理最终得到这张图片是什么动物。

一个处女座的程序猿

LLMs之Deployment：guidellm的简介、安装和使用方法、案例应用之详细攻略LLMs之Deployment：guidellm的简介、安装和使用方法、案例应用之详细攻略目录guidellm的简介

【每天一个知识点】训推一体机训推一体机一般指集“模型训练（Training）+ 推理部署（Inference Serving/推理服务）”于一体的智能计算设备。这种一体机的设计思路是，把 AI 模型从研发到应用的全过程（数据准备 → 训练 → 验证 → 部署 → 推理）都封装在一台硬件平台里，便于企业、科研机构或高校快速落地 AI 应用。

Gradio全解10——Streaming：流式传输的多模态应用（3）——HF Inference：在服务器运行推理在学习更高级聊天机器人示例之前，需要先学习一下要用到的两个知识点：HF Inference和ZeroGPU。本节学习HF Inference，推理（Inference）是指使用训练好的模型对新数据进行预测的过程。由于该过程可能涉及大量计算，所以最好运行在专用服务或外部服务上。关于在服务上运行推理请参阅HuggingFace说明文档： Run Inference on servers🖇️链接10-6。

SgLang代码细读-3. Cache因为kv cache有MHA，MLA，DoubleSparse 等多种自定义类型，需要进行一步抽象将框架和cache类型做隔离, 所以有了2级内存池的设计. 一级保存和cache类型无关的数据(token位置)，跟具体业务隔离，二级给出抽象类接口, 不同的cache类型按需继承实现interface, 就能通过配置来进行管理.

EXO分布式部署deepseek r1EXO 是一个支持分布式 AI 计算的框架，可以用于在多个设备（包括 Mac Studio）上运行大语言模型（LLM）。以下是联调 Mac Studio 512GB 的步骤：

SgLang代码细读-2.forward过程Forward的主要过程围绕着 run_batch->TPModelWorker->ModelRunner->Model->layer->AttentionBackend->process_batch_result 这个链条展开

SgLang代码细读-1.从req到batchsglang/python/sglang/srt/entrypoints/http_server.py launch_server 主要分4个步骤:

文慧的科技江湖

图文结合 - 光伏系统产品设计PRD文档 -（慧哥）慧知开源充电桩平台‌版本号‌：1.0 ‌修订日期‌：2023年10月 ‌作者‌：‌功能描述‌：实时采集并展示电站运行数据

OpenBayes 一周速览｜1分钟生成完整音乐，DiffRhythm人声伴奏一键搞定； Stable Virtual Camera重塑3D视频创作5 个数据集：* 302 例罕见病病例数据集* DRfold2 RNA 结构测试数据集* NaturalReasoning 自然推理数据集

文慧的科技江湖

AI平台如何实现推理？数算岛是一个开源的AI平台（主要用于管理和调度分布式AI训练和推理任务。）数算岛是一个开源的AI平台，主要用于管理和调度分布式AI训练和推理任务。它基于Kubernetes构建，支持多种深度学习框架（如TensorFlow、PyTorch等）。以下是数算岛实现模型推理的核心原理、架构及具体实现步骤：

AI学习第二天--大模型压缩（量化、剪枝、蒸馏、低秩分解）目录1. 量化：压缩大象的“脂肪”比喻技术逻辑2. 剪枝：修剪大象的“无效毛发”比喻技术逻辑3. 知识蒸馏：让大象“师从巨象”

【论文解读】人大发表《Search-o1 — Agentic Search-Enhanced Large Reasoning Models》近年来，大规模推理模型（Large Reasoning Models, LRMs）如 OpenAI-o1 展现出长链式思考（chain-of-thought）能力，能够通过分步推理解决复杂问题。然而，这些模型在长链推理过程中常常因知识不足而产生不确定性和错误，尤其是在遇到专业领域知识空缺时。为此，论文提出了 Search-o1 框架，其核心思想是：

＜论文＞DeepSeek-R1：通过强化学习激励大语言模型的推理能力本文跟大家来一起阅读DeepSeek团队发表于2025年1月的一篇论文《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning | Papers With Code》，新鲜的DeepSeek-R1推理模型，作者规模属实庞大。

RK3588-NPU pytorch-image-models 模型编译测试