腾讯混元 Hy3-preview 模型解读:姚顺雨领衔,295B 参数主打落地场景

摘要

2026年4月,腾讯正式发布了其新一代旗舰AI模型 Hy3-preview 。这是自前OpenAI研究员 姚顺雨 加入腾讯并领导基础AI研发以来的首个重要成果。该模型以仅 2950亿参数 的"小规模"逆势突围,在元宝、ima及CodeBuddy中均已上线。本文将结合官方架构文档与最新报道,剖析其技术亮点与落地逻辑。


体验Demo :https://huggingface.co/spaces/tencent/Hy3-preview
和竞品的指标对比:

一、 研发背景与战略定位:姚顺雨首秀

据《南华早报》报道,Hy3-preview 是腾讯自 姚顺雨 加盟并执掌混元团队基础模型研发后的首次亮相。这位前 OpenAI 研究员的加入,标志着腾讯在大模型底层技术上的进一步聚焦。

关键信息梳理:

  • 性能定位:腾讯官方表示,Hy3-preview 是目前最强大的闭源模型,与中国本土顶尖模型持平,但仍落后于 OpenAI、Google DeepMind 等美国顶尖模型。
  • 逆势缩参 :与业界动辄万亿参数的潮流不同,Hy3-preview 的参数量仅为 2950亿,远低于腾讯于2025年12月发布的上一代旗舰 HY 2.0(参数超4000亿)。
  • 核心逻辑 :参数减少并非降级,而是为了 适配真实商业场景。较小的参数量显著降低了推理计算成本与延迟,使其能够大规模部署于高并发消费端产品。

二、 模型架构核心解析

Hy3-preview 由腾讯混元团队开发,在 Hugging Face 上的架构文档揭示了其高效运行的秘密。

  1. Dense-MoE 混合架构
    • 第一层使用标准 Dense FFN 保证输入特征稳定性。
    • 后续所有层均为 MoE 层,拥有 192 个路由专家1 个始终激活的共享专家。推理时仅需激活 Top-K(默认 K=8)专家,实现高效稀疏计算。
  2. Sigmoid 路由与无辅助损失
    • 采用 Sigmoid 函数替代 Softmax 进行路由打分,决策更独立。
    • 引入专家偏置校正负载均衡,无需计算辅助负载均衡损失,简化训练流程。
  3. QK-Norm 稳定机制:对 Query 和 Key 应用 RMSNorm,提升长文本训练稳定性。

三、 代码调用示例

开发者可通过 Hugging Face Transformers 库调用:

python 复制代码
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "tencent/Hy3-preview"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="auto"
)

inputs = tokenizer("人工智能的未来是", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=64)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

四、 普通用户体验入口:元宝 App、网页端 与 ima

根据官方表态,Hy3-preview 的开发强调 产品需求与底层技术的无缝对齐。目前该模型已部署在腾讯系核心应用中:

平台 可用性说明 场景优势
腾讯元宝 App / 网页 在对话界面的模型切换栏中,可选择 "Hy3-preview" 版本。 复杂逻辑推理、长文总结、实时对话。
ima.copilot 作为智能工作台的底层算力支持,处理上传的 PDF、Word 等文档。 基于 295B MoE 架构,长文档解析速度更快,显存/算力消耗更经济。
CodeBuddy 已集成 Hy3-preview,辅助编程代码生成。 代码补全与 Debug 推理。

五、 总结

Hy3-preview 的发布不仅是技术的迭代,更反映了腾讯在大模型策略上的务实转变------以 295B 的"小身材"换取在元宝、ima 等亿级用户产品中的流畅体验。对于普通用户而言,无需关注参数大小,打开元宝 App 或 ima,体验的便是由姚顺雨团队带来的最新 AI 能力。

参考资料

  1. Hugging Face Transformers Documentation - Hy3-preview.
  2. South China Morning Post - Tencent unveils first flagship AI model since former OpenAI researcher took helm.
  3. https://huggingface.co/docs/transformers/main/en/model_doc/hy_v3
  4. https://www.scmp.com/tech/big-tech/article/3351101/tencent-unveils-first-flagship-ai-model-former-openai-researcher-helm
相关推荐
般若-波罗蜜1 天前
MinerU高级用法,避坑指南(持续更新)
人工智能·python·语言模型·自然语言处理
QN1幻化引擎1 天前
DalinX V8 — 整体能力地图与 AGI 阶段评估
人工智能·神经网络·目标检测·语言模型·数据挖掘·agi
cxr8281 天前
大语言模型上下文缓存命中率测试全场景清单
人工智能·python·算法·缓存·语言模型·自然语言处理·llm
phltxy1 天前
LangChain从模型调用到应用编排
人工智能·深度学习·语言模型·langchain
m0_738120721 天前
AI安全实战系列(四):Lab04 Multi-Agent——多智能体攻击分析
服务器·开发语言·人工智能·安全·网络安全·语言模型
蓦然回首却已人去楼空2 天前
Build a Large Language Model (From Scratch) 第三章 编码注意力机制
人工智能·深度学习·语言模型
Databuff2 天前
个人用的桌面级开源智能体有哪些?OpenOcta 八爪鱼上手与对比
人工智能·ai·语言模型·开源·开源软件
Zzj_tju2 天前
LLM for Code Research:程序合成、自动调试与软件工程评测
人工智能·语言模型·软件工程
AndrewHZ2 天前
【LLM技术全景】混合精度与分布式训练:训练大模型的工程奥秘
人工智能·分布式·深度学习·算法·ai·语言模型·llm
CIO_Alliance3 天前
企业级AI化转型基础认知(2):大语言模型、RAG、Agent与微调核心概念一次厘清
人工智能·深度学习·机器学习·语言模型·ipaas·系统集成·企业cio联盟