腾讯混元官方账号 @TencentHunyuan 11 月 18 日宣布 Hy4 flash 开放权重,同时放出 FP8 量化版和预训练 Base 版,可在 Hugging Face、ModelScope 和 GitCode 下载,许可证为 Tencent Hy License。模型卡显示它是 MoE 架构,总参数 220B(含 64B Engram 参数),每个 token 激活约 12B,原生支持文本和图像输入、最长 1M 上下文。vLLM 和 SGLang 提供了官方镜像,另有 GGUF 版本可用于测试。

核心要点速览

  • ✓三个版本:Hy4 flash 指令版、Hy4 flash-FP8 量化版、Hy4 flash-base 预训练版,均可下载
  • ✓规模:总参数 220B(其中 Engram 参数 64B),每 token 激活约 12B,1M(1,048,576)token 上下文
  • ✓架构:稀疏注意力与滑窗注意力 1:3 混合,512 个路由专家每次激活 16 个,内置 0.85B 的 DFly2 投机解码草稿模型
  • ✓部署:vLLM 官方镜像 vllm/vllm-openai:hy4-flash 和 SGLang 镜像,官方示例为 8 卡张量并行跑 FP8 版
  • ✓许可证为 Tencent Hy License(非 Apache/MIT),商用前需读条款
腾讯混元开源 Hy4 flash 权重:含 FP8 与 Base 版,220B 总参数、约 12B 激活、1M 上下文,vLLM 与 SGLang 首日支持
🖼️要闻配图
点击全屏高清查看
⚡

关键决策指标一览

一眼结论
🧭

本地显存不够?先比较云端 API 与自部署的实际成本

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

Hy4 flash 在 11 月 16 日以 API 形式上线,主打日常办公和 Agent 任务的低成本。很多团队希望把这类便宜又快的模型放到自己的机器上跑,避免数据外流和按量计费,这次开放权重正好补上这一步。

架构亮点与底层机制

按模型卡,Hy4 flash 有 42 层主干(1 层稠密 + 41 层 MoE),稀疏注意力和 512 token 滑窗注意力按 1:3 交替;路由专家在低维潜空间里计算,每个 token 从 512 个专家中选 16 个;还加了二元、三元组的 Engram 嵌入。视觉部分来自 SigLIP2,另带 0.85B 的 DFly2 草稿模型做长上下文投机解码。

权威 Benchmark 与实测跑分对比

官方 Base 模型对比中,Hy4 flash Base 的 MMLU 为 88.7、MMLU-Pro 71.1、SuperGPQA 57.8。官方内部 WorkIndex 上 Hy4 flash 得 42.1,高于 Hy4 preview 的 39.7,单任务成本约为后者的 1/13。这些都是腾讯自测数据,尚无第三方复现。

开发者实战落地与开箱指南

可直接用 vLLM 或 SGLang 官方镜像起一个 OpenAI 兼容服务,官方示例为 8 卡跑 FP8 版;Transformers 主线支持还在合并中。显存不够可以先试 AngelSlim 提供的 GGUF 版。注意许可证是 Tencent Hy License,商用前要看清条款。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读Thinking Machines 兑现承诺开源 Inkling 2 Small:594B 总参 / 17B 激活 MoE 权重上架 Hugging Face,Apache 2.0 可商用,原生 NVFP4 两张 B300 即可跑,SGLang、vLLM、Cloudflare 等首日支持
立即阅读→