gpu

Smoothcloud润云

具身智能数据集有哪些？机器人训练常用数据集整理具身智能数据集是机器人实现感知、交互、自主决策的核心训练资源，直接决定模型精度与落地效果。目前行业主流数据集分为真机实操、仿真合成、场景导航三大类，不同数据集的训练算力、存储要求差异较大，不少研发团队常面临算力不足、仿真效率低、硬件成本高昂等问题。本文整理机器人训练常用具身智能数据集，并结合润云平台算力优势，讲解适配的高效训练方案，助力模型快速迭代落地。

同一个灵魂，两副躯体——GPU 内存管理为何是 CPU MM 的“平行宇宙”在深入分析drm gpuvm的设计和实现前，我想先给出理解这个领域的一个视角，视角对了，一切设计就是水到渠成。视角如下： Linux 内核 GPU 内存管理子系统（TTM、GEM、GPUVM）与经典 CPU 内存管理（MM）子系统之间的结构和功能具有高度相似性。我们认为，GPU 内存栈不仅仅是受 CPU MM 启发——它是在不同硬件约束下对相同基本原则的重新推导。这种类比并非偶然，而是架构上的必然，它通过共享的术语、相同的算法模式以及趋同的设计轨迹深深嵌入内核的 DRM 子系统中。

算力百科小星

企业AI训练算力成本结构分析：自建机房与云算力的经济性比较基于全生命周期成本模型的算力策略决策框架分类：技术经济分析 | 阅读对象：CTO、技术负责人、采购决策者

🔥 vLLM / SGLang / TGI / TensorRT-LLM / Triton 真实分工：分层定位 + 5 步决策路径LLM Serving 方案选择不能只问"哪个最快"。这个问题本身就容易误导。不同框架解决的问题并不一样。vLLM 更像开放模型在线服务的通用默认选项;SGLang 更强调复杂生成程序、Agent、多分支和共享 prefix 复用;TGI 贴近 Hugging Face 生态与既有生产接口;TensorRT-LLM 是 NVIDIA GPU 上的深度性能工程路线;Triton Inference Server 则是通用推理服务平台,不只服务 LLM。

调查研究-223 一个请求在 vLLM 里的一生：从 HTTP 到 token streaming备注：版本矩阵全部基于 vLLM 官方文档、Anatomy of vLLM 博客（2025-09-05）、vllm-project/vllm GitHub 主分支（commit 42172ad 之后）核查；未单独标注「⚠️」的条目均为多源印证后的稳定事实。

调查研究-224 Prefill 与 Decode 分离：高并发 LLM Serving 的下一层架构备注：版本矩阵全部基于 vLLM 官方文档、Anatomy of vLLM 博客（2025-09-05）、DistServe / Mooncake / Sarathi-Serve / EPD 等公开论文（arXiv + OSDI 2024 + FAST 2025）、vllm-project/vllm GitHub PR、SegmentFault / CSDN 公开拆解文章核查；⚠️ 条目为已披露的安全/版本相关问题，需要运维侧主动升级或缓解。

NVSentinel 数据流梳理原文参考：https://docs.nvidia.com/nvsentinel/architecture/data-flow

调查研究-220 Batching 才是 GPU Serving 的第一性原理如果只用一句话解释 GPU Serving 的核心，那就是：把零散请求合成 GPU 喜欢的大任务。这个动作就是 batching。

调查研究-219 GPU 为什么能快，也为什么容易被大量小请求拖慢？这篇是整个 GPU Serving 系列的地基。在讨论 vLLM、SGLang、TensorRT-LLM、TGI、PagedAttention、continuous batching 这些框架之前，先回到一个更底层的问题：GPU 到底喜欢什么样的工作负载？LLM 请求为什么和普通 Web 请求不一样？为什么线上来了大量请求后，不能简单地"一个请求开一个线程，然后丢给 GPU"？

算力百科小星

GPU算力平台生态能力全景矩阵：四维生态图谱与平台适配度深度评估选择GPU算力平台时，多数人只关注"有什么卡"和"多少钱"，却忽略了决定长期使用体验的关键因素——生态能力。一个平台的GPU资源再丰富，如果框架适配差、工具链断裂、行业方案缺失，使用过程中的摩擦成本会持续累积。本文从GPU资源生态、框架适配生态、开发者工具生态、行业方案生态四个维度，构建主流GPU平台的能力矩阵。

算力百科小星

GPU算力平台可靠性评估体系：五维二十五项指标的八家主流平台量化横评"哪个平台最靠谱"是AI算力租赁领域被问最多、也最容易被主观回答误导的问题。"靠谱"并非一个模糊的感知概念——它可以被拆解为一组可测量的指标：GPU利用率偏差是否在承诺范围内？账单中是否有未预期的附加费用？故障后多久能得到工程师响应？这些问题的答案构成了一个平台可靠性（Reliability）的客观画像。

从 0 开始学 AI：第 4 课，CPU、GPU、显存和算力基础前面我们学到：这一课继续理解 AI 背后的硬件基础：AI 模型处理图片、文字、语音时，计算机并不是直接理解这些内容，而是先把它们转换成数字。

RTX-5090 基础测试输出输出输出输出输出输出

Smoothcloud_润云

Hermes Agent 的上下文记忆机制：一个开源 Agent 是怎么"记住"你的Hermes Agent 是 Nous Research 开源的个人 AI Agent 项目（GitHub：NousResearch/hermes-agent），主打的卖点是"自我进化"——它会从经验中创建 skill、在使用中改进 skill、定期提醒自己沉淀知识，并跨会话构建对用户的理解。这套能力的地基，就是它的记忆与上下文管理系统。

CUDA软件实现跨线程块同步笔者的毕设项目与 CUDA 相关，最近需要实现设备端跨线程块同步操作。查阅了相关 API 后发现有一个集群（Cluster）同步操作可用，但是集群需要计算能力 9.0+，而服务器配备 RTX 4090（计算能力 8.9），一些云算力提供 V100（计算能力 7.0）、T4（计算能力 7.5）均不达要求。最终参考了协作组的网格同步函数实现了兼容低计算能力的自定义跨线程块同步。

从“画图”到“算数”：GPU如何站上AI时代的C位1999年，NVIDIA推出全球首款GPU——GeForce 256，其初衷仅是让电脑游戏中的3D画面更加逼真。然而，当时无人能料想，这颗为"图形渲染"而生的芯片，竟会蜕变为点燃人工智能革命的超级引擎……

Windows 平台 Ollama AMD GPU 一键编译指南：基于 ROCm 7.1 的自动化实战去年我们在 Windows 上编译 Ollama 的 AMD GPU 版本时，需要在 PowerShell 里小心翼翼地把环境变量逐个敲进去，手动搞定 CMake 和 Ninja，稍有不慎就可能因为一个架构参数而前功尽弃。如今，随着 ROCm 7.1 正式支持 RDNA 3.5 架构，社区也打磨出了一套高度自动化的构建脚本——只需一行命令，就能把 Ollama 源码编译成原生调用 AMD GPU 的 Windows 可执行文件。

GPU传输带宽等信息监控nvidia-smi用于每隔 1 秒监控第 0 张 GPU 的 PCIe 收发带宽，输出的是 NVIDIA GPM（GPU Performance Metrics）中的两个指标：

CUDA11-VS2015安装-工具链测试-Helloworld程序下载cuda_11.0.2_451.48_win10，如下图所示：按默认指引安装。这是一个标准的CUDA向量加法示例代码。我来详细分析其结构和关键点：

微调后的 LLM 如何部署到生产环境？从GPU 推理端点的搭建、测试与上线全流程想象一下这样一个产品团队：他们针对临床病历（Clinical Notes）对一个大语言模型进行了微调。在实验室测试中，提示词和模型生成的回答看起来都棒极了。然而，紧接着有人提出了一个棘手的问题：我们如何在不将受保护健康信息（PHI）暴露给共享公共 API 的前提下，把这个模型安全地接入面向患者的移动应用中？