gpu

云上工程笔记4 天前
网络·gpu算力·gpu
RDMA / IB 高速互联 GPU 云对比:多机训练网络性能与价格多机 GPU 训练变慢,很多人先怀疑 GPU 不够快,最后才发现瓶颈在网络。单机内看 PCIe、NVLink 和 NVSwitch,跨机看 RDMA。RDMA 是能力,InfiniBand 和 RoCE 是两种常见承载方式。云厂商写“支持 RDMA”,只说明具备低延迟、高吞吐的数据通路,不说明是否有独立 IB 网络、是否无损、是否 rail-optimized,也不说明价格里是否包含交换网络。
XLYcmy5 天前
论文阅读·ai·gpu·asr·论文分享·speechbrain·wespeaker
ASR识别任务两篇论文阅读分析与系统方案技术报告 上论文阅读 · 技术分析 · 方案设计ASR识别任务两篇论文阅读分析与系统方案技术报告━━━━━━━━━━━━━━━━━━━━━━━━━━━━
深蓝AI5 天前
人工智能·gpu
英伟达换帅当天,我先跑了一遍 GPU 环境体检:版本矩阵比人事更值得盯先说结论:不管谁坐进 CEO 办公室,你集群里 nvidia-smi 的输出一个字都不会变;会变的,是你下一次升级驱动和容器的窗口。
weiwei228447 天前
gpu·mineru
MinerU 4.0.12 实战笔记:从PDF到可用的Markdown我用MinerU 4.0.12在一台Rocky 8.10的老服务器上跑了几个月的试卷和杂志解析。MinerU是OpenDataLab开源的文档解析工具,能把 PDF、Office文档和图片转成Markdown与结构化JSON。网上能搜到的教程大多还停留在3.x,命令和输出格式都变了,照着敲会踩一串坑。这篇把真正影响使用的部分整理出来:怎么装、选哪档、图和JSON在哪、API怎么调、以及几个不会自愈的运维问题。
GPUStack14 天前
开源·gpu
官方说不支持?但我还是用 GPUStack 在 DGX Spark 上跑通了 Qwen-Image-2.1一台 2025 年底上市的 ARM 小盒子。121GB 统一内存,一块 GB10,官方文档里写着这类模型跑不了它的架构。
XLYcmy15 天前
git·llm·cpu·gpu·反编译·反汇编·safetensors
实验报告分析评价文档——《第四次阶段汇报:模型产物的仓库瘦身、云端部署与评测链路打通》评析实验报告分析评价文档——《第四次阶段汇报:模型产物的仓库瘦身、云端部署与评测链路打通》评析评析对象16 页阶段实验报告
Eloudy15 天前
llm·transformer·gpu
全文 - LLaMA v2 - Llama 2: Open Foundation and Fine-Tuned Chat Models这篇论文介绍的是 Llama 2。它的核心并不是重新发明 Transformer,而是将 Llama 1 的 Decoder-only、Pre-RMSNorm、RoPE、SwiGLU 架构延续下来,主要把上下文从 2K 扩展到 4K,并在较大模型上引入 GQA。
cyf3115 天前
vmware·gpu·仿真·simai·ai大模型训练
用 VMware 虚拟机跑通阿里 SimAI:不买 GPU 服务器,也能研究大模型训练(超详细版)面向初学者:只要你有一台普通 Windows 电脑,就能在虚拟机里把"大模型分布式训练"的性能仿真跑起来。
Smoothcloud润云17 天前
服务器·人工智能·深度学习·gpu算力·gpu
GPU算力平台推荐:复现实验时,如何判断租用资源是否合适?在GPU算力平台上复现论文,能成功运行 nvidia-smi 并不代表资源真正适合项目。科研训练经常同时受显存、CPU供数、磁盘读取和通信效率影响。如果只按显卡型号选择GPU服务器租用方案,可能出现GPU利用率低、单步耗时波动或中断后无法恢复等问题。本文给出一套“小规模试跑—定位瓶颈—扩大负载”的验收方法。
Eloudy19 天前
gpu
从源码 安装sglangpip install -e “python” --index-url https://download.pytorch.org/whl/cu128 --extra-index-url https://pypi.tuna.tsinghua.edu.cn/simple --no-build-isolation -v
Eloudy19 天前
llm·gpu·sglang
SGLang 的组成结构与基本工作原理SGLang 可以理解为两部分:用于编写复杂 LLM 程序的前端语言,以及负责高吞吐、低延迟推理的运行时 SRT(SGLang Runtime)。两者可以独立使用;现在大多数部署场景主要使用 SRT,通过 OpenAI 兼容接口提供模型服务,并不需要使用前端 DSL。
Eloudy20 天前
网络·gpu·rdma
`ibv_get_device_list` 实现分析基于 rdma-core 2410mlnx54 源码(libibverbs/)。ibv_get_device_list() 是 libibverbs 向用户程序暴露的入口,用于返回当前系统上所有可用的 RDMA 设备列表。它本身并不直接打开设备,而是:
蒸鱼Yuzheng20 天前
性能优化·gpu·renderdoc·overdraw·移动端渲染
移动端 Overdraw 治理:从单帧热图到屏幕空间预算Overdraw 不是“颜色越红越差”的截图结论。透明层、粒子、UI、植被和后处理会在不同屏幕区域重复写入像素,真实成本还取决于覆盖面积、Shader 复杂度、分辨率和带宽。本文建立可回归的屏幕空间预算。
Eloudy20 天前
gpu·rdma
MLNX_OFED 源码补齐、Debug/Release 构建命令与修改记录以下按用途合并整理,便于在新环境复用。需要用户在本机输入 sudo 密码执行。本次未构建这两个可选项目。若后续需要,可安装:
Smoothcloud润云20 天前
人工智能·深度学习·安全·gpu算力·gpu·数据库管理员
远程纳管GPU怎么安全升级?驱动、组件灰度与回滚实战远程纳管节点需要更新驱动、系统补丁或管理组件时,直接全量升级风险很高。版本不兼容可能让GPU从AI算力平台离线,也可能中断大模型训练和推理部署任务。更稳妥的做法是先盘点依赖、设置维护窗口、灰度验证,再逐步扩大范围。本文给出一套可执行的升级流程。
鲨鱼辣钊21 天前
gpu·kvm·vfio
KVM显卡直通实战_RTX4090分时复用作者: 杨显钊 版本: 1.0 日期: 2026年10月27日 标签: KVM、GPU直通、VFIO、IOMMU、libvirt、NVIDIA、虚拟化 适合人群: 虚拟化运维、AI 环境搭建、Linux 系统工程师
Eloudy21 天前
llm·gpu·rdma
从 huggingFace 下载大模型命令备忘假设是为2张 2080Ti显卡 (11GB/GPU)下载一个10GB左右的模型需要hf的tokenCUDA_VISIBLE_DEVICES=0,1 python3 -m sglang.launch_server –model-path /data/models/Qwen2.5-14B-Instruct-AWQ –tp 2 –dtype float16 –host 0.0.0.0 –port 30000 –context-length 8192 –mem-fraction-static 0.80
Smoothcloud润云21 天前
服务器·网络·人工智能·安全·gpu算力·gpu
GPU远程纳管安全吗?最小权限、网络边界与日志审计实战将闲置GPU接入AI算力平台进行远程纳管时,技术团队最关心的通常不是安装速度,而是权限边界是否清晰。纳管组件如果使用过高权限、开放不必要入站端口或把密钥写进脚本,会增加运维风险。本文从账户、网络、目录和审计四个层面,给出适合开发者落地的安全配置流程。
小毕超21 天前
pytorch·yolo·gpu·intel
从推理到训练:Intel Ultra 核显 GPU 加速 YOLO 模型训练在本专栏的前面文章中,介绍了使用 OpenVINO 在 Intel Ultra 处理器的 CPU、NPU、核显 GPU 上加速 YOLO12 模型的推理:
墨抒颖 msy.plus23 天前
人工智能·llm·gpu·源码解析·1024程序员节·deepseek
矩阵、注意力与 GPU:拆解 DeepGEMM 与 FlashMLALLM 推理的时间几乎都花在矩阵乘上。一层 Transformer 里,Q/K/V/O 四个投影是四个 GEMM,MLP 的两个线性层是两个 GEMM,注意力本身还是两个 GEMM。一个 token 走完一层,绝大多数 FLOPs 都在做 C = A × B C = A \times B C=A×B。