技术栈
h100
数据与后端架构提升之路
2 小时前
gpu算力
·
vllm
·
h100
四个模型,四条路:一份来自生产环境的 LLM 部署横评与选型框架
写在前面我们不打算教你"怎么跑起一个 vLLM"——这类教程已经够多了。我们想回答一个更前置、也更贵的问题:当你决定上线一个模型时,你实际上在为哪些东西付费?
七宝大爷
1 年前
运维
·
服务器
·
架构
·
h100
·
h200
GPU服务器深度解析:H100/H200的“机头”与“模组”架构详解
在高端AI服务器的世界里,NVIDIA的DGX系列服务器(如A100、H100、H200)采用了一种高度集成的模块化架构。理解这种架构对于AI基础设施的规划、运维和优化至关重要。本文将深入解析“机头”和“模组”这两个核心概念,以及完整GPU服务器的各个组成部分。
HuggingFace
3 年前
nvidia
·
h100
·
dgx cloud
在 NVIDIA DGX Cloud 上使用 H100 GPU 轻松训练模型
今天,我们正式宣布推出 DGX 云端训练 (Train on DGX Cloud) 服务,这是 Hugging Face Hub 上针对企业 Hub 组织的全新服务。
我是有底线的