百度百舸

百度智能云技术站19 天前
人工智能·开源·vllm·百度百舸
百度百舸 Day0 完成昆仑芯和智谱 GLM-5 适配,实现「发布即可用」今日,智谱正式发布新一代大模型 GLM-5。与此同时,百度百舸 Day0 完成昆仑芯 P800 和 GLM-5 适配,用户可以在 vLLM、SGLang 等推理框架上第一时间进行业务部署。
百度智能云技术站22 天前
百度·开源·vllm·百度百舸·sglang
百度百舸基于昆仑芯 XPU 完成 GLM-4.x 在 SGLang 与 vLLM 上的适配落地近日,百度百舸基于 SGLang 与 vLLM 主流推理框架,成功完成智谱 GLM-4.x 系列语言模型(GLM-4.5 / GLM-4.5-Air / GLM-4.6 / GLM-4.7)在昆仑芯 XPU 平台上的适配与验证。
百度智能云技术站3 个月前
芯片·vllm·百度百舸
百度百舸 X 昆仑芯 | 开源 vLLM-Kunlun Plugin,快速适配新模型、跑出极致性能为解决国产芯片部署开源大模型的效率与性能瓶颈,百度百舸联合昆仑芯正式推出 vLLM-Kunlun Plugin —— 一款面向百度昆仑芯 XPU 的高性能 vLLM 平台插件,该 Plugin 现已全面开源。
百度智能云技术站1 年前
百度百舸·deepseek·专有云
百度百舸 DeepSeek 一体机发布,支持昆仑芯 P800 单机 8 卡满血版开箱即用在私有云环境中成功部署 DeepSeek 满血版并实现性能调优,并不是一件容易的事情。选择合适的 GPU 配置、安装相应的环境、成功部署上线业务、加速推理任务加速、支撑多用户并发 …… 完成业务测试,成功融入生产业务中。
百度智能云技术站2 年前
transformer·llama·百度智能云·百度百舸·训练加速
如何定量分析 Llama 3,大模型系统工程师视角的 Transformer 架构读完全文后,你将获得回答以下问题的能力(参考答案,请见最后一章节):Llama 3 技术博客说 70B 模型、最长序列 8K、15T Tokens,训练了 640w GPU 时,这发挥了 H100 理论算力(989TFlops)的百分之多少?
我是有底线的