腾讯重磅开源7700亿参数大模型Hy4预览版，瞄准多场景生产力突破

中国科技巨头腾讯近日发布了Hy4预览版，这是一款开源的大型语言模型，专为代码开发、办公协作、科学研究及其他多种生产力任务而设计。

腾讯在8月28日的一份公告中指出，这款采用专家混合（Mixture-of-Experts, MoE）架构的模型拥有7700亿总参数量，每个token激活490亿参数，并支持超过100万token的上下文窗口。根据模型技术文档显示，其上下文长度确认为100万token，且模型权重已在Apache 2.0许可下开放。

Hy4预览版是腾讯Hy3模型的继任者，标志着模型规模的显著提升。此前，Hy3模型的总参数量为2950亿，激活参数量210亿，上下文长度最高达256000个token。

腾讯表示，Hy4预览版的训练数据整合了其内部软件工程师、游戏开发者、金融分析师及安全专家的专业知识。公司将该模型定位于长期软件开发任务、数据分析、文档撰写、跨文档协作、游戏原型设计以及科学问题解决等领域。

该模型采用了78个骨干层。其中大部分层级均采用专家混合（MoE）结构，包含256个路由专家和一个共享专家，每个token将激活八个路由专家和一个共享专家。模型技术文档同时指出，腾讯还为推测解码（speculative decoding）集成了一个独立的多token预测层。

Hy4预览版已可通过腾讯旗下产品获取，包括“工作助手”（WorkBuddy）、“代码助手”（CodeBuddy）、“元宝”（Yuanbao）以及“ima”。此外，腾讯还提供了通过腾讯云TokenHub和OpenRouter的应用程序编程接口（API）访问方式。“工作助手”和“代码助手”在发布后的两周内免费开放了该模型，同时腾讯也将Hy3在这两项服务上的免费访问权限延长至9月30日。

开发者可以下载完整模型及其低精度FP8版本。腾讯同步发布了使用vLLM和SGLang部署模型的指南、微调指导以及AngelSlim压缩工具包。这些资源的开放使得该模型可在腾讯自有托管产品之外使用，尽管运营者仍需自行提供基础设施并评估部署成本。

腾讯透露，163名内部专家针对203项工程任务对模型输出进行了比较评估。Hy4预览版取得了平均2.99分（总分4分），而GLM-5.3和Kimi K3的得分分别为2.92和2.94。

这些测试结果均来自内部评估，尚未经过独立验证。同时，这些评估仅覆盖了部分选定的工程任务，而非企业可能应用该模型的全部工作负载。模型技术文档中列出了已知局限性，并建议用户根据自身具体应用场景对系统进行全面评估。

腾讯同时指出，Hy4预览版参与了其自身开发过程中的部分环节，包括训练方法、数据策略、评估框架以及底层算子的自动化工作。公司将此描述为一个早期递归自改进循环，但尚未提供对该方法的独立评估。

本次开放发布让开发者得以获取模型权重、微调指南、部署说明及量化工具。其遵循Apache 2.0许可协议，在遵守许可条款的前提下，允许广泛的商业用途。然而，鉴于模型庞大的规模，自行部署将需要大量的计算和内存资源。

此次发布使中国又一个大型模型加入了日益壮大的开源权重系统阵营，争夺开发者和企业级工作负载。对于腾讯而言，Hy4预览版也进一步拓展了其产品策略，将底层模型与办公应用、云服务接入以及第三方开发者平台紧密连接。