360智脑团队与北大联合发布Tiny-R1：以5%参数量逼近行业顶尖性能

小哪吒

         2025年2月24日，360智脑团队联合北京大学正式发布中等量级推理模型Tiny-R1-32B-Preview。该模型仅以5%的参数量，成功逼近Deepseek-R1-671B的性能，展现出显著的技术突破。

         Tiny-R1的核心优势在于其高效性能和多领域应用能力。在数学领域，该模型以78.1分的成绩逼近原版R1模型（79.8分），远超Deepseek-R1-Distill-Llama-70B的70.0分。此外，在编程（LiveCodeBench 61.6分）和科学（GPQA-Diamond 65.0分）领域，Tiny-R1也全面领先于最佳开源70B模型。通过仅5%的参数量实现原版R1 95%以上的性能，Tiny-R1大幅降低了推理成本，提升了模型的实用性和经济性。
         技术层面，研发团队采用了“分治-融合”策略。基于DeepSeek-R1生成的海量领域数据，分别训练数学、编程、科学三大垂直模型，并通过Arcee团队的Mergekit工具进行智能融合，突破单一模型性能上限，实现多任务均衡优化。这一策略不仅提升了模型的性能，还为未来模型开发提供了新的思路。
         360智脑团队与北大团队表示，Tiny-R1的成功得益于开源社区的支持和现有技术的积累。未来，他们将继续探索更轻量、更强大的模型，并持续推动AI技术的普惠化进程。为践行开源精神，Tiny-R1的模型仓库已上线HuggingFace（https://huggingface.co/qihoo360/TinyR1-32B-Preview），完整技术报告、训练代码及部分数据集也将陆续公开，助力AI社区共筑高效推理新生态。