技术栈
大模型服务
Java后端的Ai之路
8 天前
服务器
·
网络
·
数据库
·
npu
·
大模型服务
昇腾NPU显存管理避坑指南:从npu-smi输出精准识别空闲卡的底层逻辑与实战
在人工智能飞速发展的今天,大语言模型(LLM)的参数规模不断攀升,从早期的几亿参数到如今动辄几百亿甚至上千亿参数。为了支撑这些庞然大物的推理和训练,企业对底层算力的需求呈现指数级增长。在这个过程中,华为昇腾(Ascend)系列NPU凭借其强大的算力和本土化生态优势,成为了众多企业构建AI基础设施的重要选择。
XMoyas
9 个月前
大模型部署
·
大模型服务
·
英伟达显卡驱动安装
·
openai sdk访问
大模型服务:个人工作学习中关于模型部署、访问等常用资源的整理
【202601更新】记录大模型推理服务部署和使用过程中的一些资源,包括但不限于部署环境、部署框架常用优化、模型调用、多模态对话模型、多模态向量模型等(非特殊说明,均为Linux环境、Nvidia显卡)
打不了嗝 ᥬ᭄
10 个月前
大模型服务
远控软件实测网易UU远程:免费无广,4K高刷体验碾压付费款
远程传文件被限速到龟速,高清画质得充值才能解锁,免费版一打开就被弹窗广告狂轰滥炸?这是不是你用远程控制软件的日常?“连接总掉线、画质糊到看不清、付费门槛还高”,早已成了多数用户的扎心三大痛点。
我是有底线的