简介

Hy3 preview是腾讯混元团队于2026年4月23日发布并开源的快慢思考融合MoE大语言模型。总参数295B，激活参数21B，MTP层参数3.8B，支持最高256K上下文长度。这是混元重建预训练与强化学习基础设施之后训练的首个模型，官方称其为迄今最智能的Hy模型。

技术原理

采用Dense-MoE Hybrid架构，首层使用Dense FFN，其余层采用专家路由结构，通过192个路由专家与共享专家协同工作，top-8激活，仅激活21B参数即可完成推理任务。创新性地引入Sigmoid路由机制与偏差校正实现负载均衡，并在注意力层加入QK-Norm机制提升长上下文稳定性。支持快慢思考融合：单模型支持no_think（直接回答）、low、high（深度思维链）三档推理努力度切换。配备MTP（Multi-Token Predictor）层实现推测解码加速推理。

发展历程

2026年2月，腾讯混元重建了预训练和强化学习的基础设施，确立了能力体系化、评测真实性、性价比追求三大原则。2026年4月23日，Hy3 preview正式发布并开源，模型权重在GitHub、Hugging Face、ModelScope、GitCode四个平台同步开放。发布后迅速获得社区支持，vLLM、SGLang、LLaMA-Factory等主流推理和训练框架均已适配。

应用趋势

Hy3 preview已在元宝、CodeBuddy、WorkBuddy、QQ、ima、QQ浏览器、腾讯文档、腾讯乐享等腾讯系产品上线，并支持OpenClaw、OpenCode、KiloCode等主流Agent框架。在CodeBuddy和WorkBuddy上，首token延迟降低54%、端到端时长降低47%、成功率提升至99.99%+，已稳定驱动最长495步的复杂Agent工作流。