混元语言开源模型

模型列表

  • HY3
  • HY-1.8B-2Bit
  • HY-MT1.5-1.8B
  • Hunyuan-MT-7B
  • Hunyuan-MT-Chimera-7B
  • Hunyuan-0.5B
  • Hunyuan-1.8B
  • Hunyuan-4B
  • Hunyuan-7B
  • Hunyuan-A13B

HY-1.8B-2Bit

混元混合推理开源2Bit模型

极致端侧部署,等效参数量0.3B

开源时间:2026年2月09日

模型特性

  • 极致压缩
    通过2Bit量化技术,等效参数量仅有0.3B大小

  • 同SIZE下效果SOTA
    对比相同内存占用模型,开源测试集效果领先

  • 端侧部署
    支持2Bit端侧部署,速度与显存极致优化

  • 混合推理支持
    同时支持快思考和慢思考两种模式,支持用户灵活选择

技术细节

HY-1.8B-2Bit基于Hunyuan-1.8B-Instruct模型通过QAT训练产出。通过低比特QAT技术提高模型性能,使用户可以再资源受限的场景下也可以使用高性能模型。QAT过程中,为了规避高比特QAT 中常见方案在超低比特下导致的精度崩塌,我们结合前序研究,应用了“弹性拉伸量化”(SEQ)策略,解决 2-bit 下有效能级受限的问题,最大化动态范围的覆盖能力。

Benchmark

HY-1.8B-2Bit将模型Hunyuan-1.8B-Instruct压缩至2bit,且保持了和PTQ-int4几乎持平的模型性能,紧追全精度模型性能。与Hunyuan-0.5B-Instruct全精度模型相比指标全面超越。