北大联合360发布蒸馏新模型！5%参数量逼近deepseek-尊龙凯时官方app下载

北大联合360发布蒸馏新模型！

5%参数量逼近deepseek-r1满血性能！

2025年2月24日——由360与北京大学联合研发的中等量级推理模型tiny-r1-32b-preview正式亮相，仅以5%参数，逼近deepseek-r1-671b满血性能！

团队人员：

360 团队: lin sun, guangxiang zhao, xiaoqi jian, weihong lin, yongfu zhu, change jia, linglin zhang, jinzhu wu, sai-er hu, xiangzheng zhang

北大团队: yuhan wu, zihan jiang, wenrui liu, junting zhou, bin cui, tong yang

• 模型参数

• 核心突破：小模型，大能量

•  数学领域：以78.1分（aime 2024评测）逼近原版r1模型（79.8分），远超deepseek-r1-distill-llama-70b（70.0分）；
•  综合性能：在编程（livecodebench 61.6分）、科学（gpqa-diamond 65.0分）领域全面领先最佳开源70b模型deepseek-r1-distill-llama-70b；
• 效率跃迁：仅需5%参数量，性能达原版r1的95%以上，推理成本大幅降低。

• 技术革新：领域专精 模型融合

研究团队使用「分治-融合」策略：

•  基于deepseek-r1生成海量领域数据，分别训练数学、编程、科学三大垂直模型；  
• 通过arcee团队mergekit工具智能融合，突破单一模型性能上限，实现多任务均衡优化。  

• 开源承诺：推动技术普惠

• 模型仓库：https://huggingface.co/qihoo360/tinyr1-32b-preview
• 即将公开完整技术报告、训练代码及部分数据集；  
•  践行开源精神，助力ai社区共筑高效推理新生态。

研发团队表示：tiny-r1-32b-preview是蒸馏技术的里程碑，未来将持续探索更轻量、更强大的通用模型，推动ai技术普惠化进程。

北京大学数据与智能实验室（data and intelligence research lab at peking univeristy，pku-dair实验室）由北京大学计算机学院崔斌教授领导，长期从事数据库系统、大数据管理与分析、人工智能等领域的前沿研究，在理论和技术创新以及系统研发上取得多项成果，已在国际顶级学术会议和期刊发表学术论文200余篇，发布多个开源项目。课题组同学曾数十次获得包括ccf优博、acm中国优博、北大优博、微软学者、苹果奖学金、谷歌奖学金等荣誉。pku-dair实验室持续与工业界展开卓有成效的合作，与腾讯、阿里巴巴、苹果、微软、百度、快手、中兴通讯等多家知名企业开展项目合作和前沿探索，解决实际问题，进行科研成果的转化落地。