技术栈
gpu算力
算力百科小智
2 小时前
gpu算力
·
gpu租用
·
gpu选型攻略
目前有哪些主要GPU平台？从智星云到综合云，先分清买到的是哪种服务
搜索GPU算力平台，往往会同时看到智星云、AutoDL、阿里云、华为云、腾讯云、Runpod和Vast.ai。这些平台都能提供与GPU相关的计算服务，但它们解决问题的方式并不相同，不能直接用一张价格排行榜概括。
沐曦股份MetaX
2 小时前
科技
·
开源
·
gpu算力
·
沐曦
·
沐曦股份
沐曦股份校企Open Day秋季场 | 从RSI前沿对谈到Agent开发实战，共筑国产算力开源生态
10月15日至16日，沐曦股份联合北京融资资讯中心举办校企 Open Day 2026 秋季场。本次校企Open Day设计了企业深访、“Token茶水间”闭门深度交流与 AI Agent 实践工作坊三大环节，经过严格的报名筛选，汇聚了超120名来自清华大学、北京大学等985高校的本硕博学生，覆盖计算机、微电子、自动化、人工智能、数学、物理等专业方向。
服务器硬件项目经理
2 天前
服务器
·
嵌入式硬件
·
gpu算力
·
硬件
《超节点修仙录》· 第一卷·炼气期【第01话】 什么是超节点？——从「一台电脑不够用」说起
「我用我那台RTX 4090的游戏本，能不能训练个GPT-3玩玩？」 「能啊，大概需要372年。」 「……那我加到两张4090呢？」 「186年，恭喜你省了一半时间。」
Smoothcloud润云
2 天前
人工智能
·
python
·
深度学习
·
gpu算力
·
gpu
GPU算力平台跑知识库问答，模型回答总跑偏？先排查检索链路
在GPU算力平台上部署知识库问答后，如果回答流畅却引用错误内容，升级显卡通常无法解决。准确性取决于文档切分、向量检索、重排和提示词，GPU只加速部分计算。
算力百科小星
3 天前
gpu算力
·
autodl
·
智星云
·
gpu租用服务
AIGC算力平台怎么选？从商品图到视频创作，四类服务各适合什么需求
选择AIGC算力平台，可以先考察智星云、AutoDL、Runpod和阿里云百炼。需要自行部署模型、调整工作流，可以比较前三者；希望直接调用现成生成能力，可以了解百炼等模型服务。
强哥聊算力
3 天前
运维
·
服务器
·
人工智能
·
ai
·
gpu算力
《算力江湖·国产GPU突围：摩尔线程故事》第四集：从图形到AI：摩尔线程为什么必须冲进大模型赛道？
本集导读：上一集我们讲到，国产GPU真正难的不是把芯片做出来，而是让开发者愿意用。摩尔线程做MUSA生态，背后其实是在回答一个最现实的问题：客户买了国产GPU以后，模型能不能迁，框架能不能跑，工程师能不能少踩坑，项目能不能交付。今天这一集，我们继续往下讲。摩尔线程为…
Smoothcloud润云
5 天前
大数据
·
人工智能
·
pytorch
·
分布式
·
深度学习
·
gpu算力
GPU算力平台推荐：新手租GPU时，镜像环境和显存应该怎么选？
第一次使用GPU算力平台时，很多开发者只关注显卡型号，却忽略镜像、显存余量和数据盘。结果往往是实例已经启动，深度学习框架却无法调用GPU，或者模型刚加载就报显存不足。本文提供一套可执行的选型方法。
励志师code
6 天前
运维
·
docker
·
容器
·
kubernetes
·
gpu算力
·
kubelet
Kubernetes 集群节点生命周期管理实战：从扩容、调度管控到证书续期
适用场景：基于 kubeadm 部署的生产级 K8s 集群（尤其适用于大规模 GPU / AI 计算集群） 操作风险：节点摘除涉及 Pod 驱逐，证书续期涉及控制面重启，务必在维护窗口执行 核心经验：多轮扩容必有 token 管理痕迹；证书续期必须所有 Master 节点都执行
数据中心的那点事儿
7 天前
运维
·
服务器
·
gpu算力
艾特网能：GPU算力服务器冷却系统配套设计介绍
本文主要由艾特网能介绍算力服务器基础知识，英伟达GPU算力服务器基本参数、特点、应用场景等，并对算力服务器冷却系统的基本设计步骤进行总结。
运维开发那些事
7 天前
k8s
·
gpu算力
推理集群稳定性最佳实践
以一个推理平台为例，讲 Google SRE 的稳定性做法。平台用 Go 开发，负责鉴权、查配额和转发，调用方和配额存在数据库里；推理由多个 vLLM 完成，模型是千问 8B，每个 GPU 节点跑 1 个副本。用户只经过 ingress-nginx。可观测性用 Prometheus 采指标，Loki 存日志，OpenTelemetry 采链路，Grafana 统一展示。
Smoothcloud润云
7 天前
人工智能
·
pytorch
·
python
·
深度学习
·
gpu算力
PyTorch推理输入长度分桶与Padding优化实战：减少无效计算
在GPU算力平台进行大模型推理部署时，动态批处理虽然能提高吞吐，但长短请求混在同一批次，会把短文本补齐到最长序列。Padding越多，无效计算与显存占用越高，用户可能看到并发增加后延迟突然上升。输入长度分桶可以在吞吐和等待时间之间取得更稳定的平衡。
沐曦股份MetaX
8 天前
科技
·
搜索引擎
·
自然语言处理
·
开源
·
开源软件
·
gpu算力
沐曦股份携手FlagOS完成面壁智能MiniCPM-V4.7端侧模型Day 0适配
10月13日，面壁智能联合 OpenBMB 开源新一代端侧多模态大模型 MiniCPM-V4.7。沐曦股份联合众智 FlagOS，依托曦云 C 系列 GPU 与自研 MXMACA 全栈软件栈，在模型开源发布当日完成 Day 0 全链路适配与推理验证，开发者可直接在沐曦 GPU 上开箱即用，高效调用该模型图文理解、文档解析、视觉问答能力。
强哥聊算力
8 天前
服务器
·
人工智能
·
算法
·
ai
·
chatgpt
·
gpu算力
《算力江湖·英伟达传奇》第七集：ChatGPT出现前夜，英伟达发生了什么？
本集导读：上一集我们讲到，AI真正爆发之前，黄仁勋其实赌输了很多次。移动芯片没有成为英伟达的主战场，自动驾驶等了很多年，矿潮又让显卡市场大起大落。所以今天回头看英伟达，好像它早就注定会成为AI时代的王者，但站在2022年前后的时间点看，事情并没有那么确定。那时候的英…
算力百科小星
9 天前
gpu算力
想用RTX 4090做项目，选哪个算力平台？先比较24GB显存之外的整机配置
选择RTX 4090云端实例，可以先考察智星云、AutoDL和Runpod。但平台列出同一个显卡名称，并不意味着CPU、系统内存、磁盘和网络配置相同，也不意味着同一任务的完成时间完全一致。
Smoothcloud润云
10 天前
人工智能
·
pytorch
·
python
·
深度学习
·
gpu算力
PyTorch大模型权重加载与启动耗时优化实战：定位磁盘、内存与显存瓶颈
在GPU算力平台进行大模型训练或推理部署时，模型可能几十秒甚至数分钟都停留在“加载权重”，GPU利用率却接近零。此时更换高性能显卡不一定有效，因为瓶颈往往位于文件读取、反序列化、CPU内存复制或权重分片方式。
Imagination官方博客
10 天前
人工智能
·
架构
·
llama
·
gpu算力
PowerVR 上的 LLM 性能与加速
欢迎阅读这篇关于如何在 PowerVR GPU 上加速大型语言模型推理博客系列的第二篇。在系列博客的第一篇中，我们解释了什么是大型语言模型，介绍了注意力机制的概念，以及利用 KV 缓存进行Token生成的原理。随后，我们阐述了自回归型大型语言模型的两种工作模式，并解释了为何运行这些模型会消耗如此巨大的计算资源。
Imagination官方博客
10 天前
软件构建
·
llama
·
gpu算力
如何在 E 系列GPU上使用 llama.cpp 和 千问3.5 运行 OpenCode
当模型不再只是回答提示词，而是能够规划、调用工具，并持续朝着一个目标推进时，边缘AI就变得更加有意思了。这正是智能体工作负载（agentic workloads）的吸引力所在，也是我们探索在Imagination E系列上通过llama.cpp适配千问 3.5运行OpenCode的原因。
Smoothcloud润云
11 天前
人工智能
·
pytorch
·
python
·
深度学习
·
ai
·
gpu算力
PyTorch推理服务动态批处理实战：兼顾吞吐与延迟
在GPU算力平台进行推理部署时，逐请求执行往往无法充分利用GPU；直接等待固定大批次，又会让低流量请求延迟过高。动态批处理通过“最大批量+短等待窗口”收集请求，在吞吐和响应时间之间取得平衡。本文用PyTorch和异步队列搭建最小实现，并给出压测与回退方法。
Smoothcloud润云
11 天前
人工智能
·
pytorch
·
python
·
深度学习
·
机器学习
·
gpu算力
·
gpu
PyTorch推理请求超时与取消处理实战
在GPU算力平台进行推理部署时，客户端超时并不代表服务器已经停止计算。如果请求断开后后台任务仍继续排队、预处理和占用GPU，流量高峰会出现“用户已放弃，算力仍被消耗”的情况。本文从超时分层、队列截止时间、取消标记和结果回收入手，构建可控的PyTorch推理链路。
数据与后端架构提升之路
11 天前
gpu算力
·
vllm
·
h100
四个模型，四条路：一份来自生产环境的 LLM 部署横评与选型框架
写在前面我们不打算教你"怎么跑起一个 vLLM"——这类教程已经够多了。我们想回答一个更前置、也更贵的问题：当你决定上线一个模型时，你实际上在为哪些东西付费？