混元语言开源模型
模型列表
- HY3
- HY-1.8B-2Bit
- HY-MT1.5-1.8B
- Hunyuan-MT-7B
- Hunyuan-MT-Chimera-7B
- Hunyuan-0.5B
- Hunyuan-1.8B
- Hunyuan-4B
- Hunyuan-7B
- Hunyuan-A13B
HY-1.8B-2Bit
混元混合推理开源2Bit模型
极致端侧部署,等效参数量0.3B
开源时间:2026年2月09日
模型特性
极致压缩
通过2Bit量化技术,等效参数量仅有0.3B大小同SIZE下效果SOTA
对比相同内存占用模型,开源测试集效果领先端侧部署
支持2Bit端侧部署,速度与显存极致优化混合推理支持
同时支持快思考和慢思考两种模式,支持用户灵活选择
技术细节
HY-1.8B-2Bit基于Hunyuan-1.8B-Instruct模型通过QAT训练产出。通过低比特QAT技术提高模型性能,使用户可以再资源受限的场景下也可以使用高性能模型。QAT过程中,为了规避高比特QAT 中常见方案在超低比特下导致的精度崩塌,我们结合前序研究,应用了“弹性拉伸量化”(SEQ)策略,解决 2-bit 下有效能级受限的问题,最大化动态范围的覆盖能力。
Benchmark
HY-1.8B-2Bit将模型Hunyuan-1.8B-Instruct压缩至2bit,且保持了和PTQ-int4几乎持平的模型性能,紧追全精度模型性能。与Hunyuan-0.5B-Instruct全精度模型相比指标全面超越。