推广 热搜:

小米开源“XiaomiMiMo”大模型:以7B参数超越OpenAIo1-mini具体真相是什么

   更新时间: 2025-04-30 18:04  发布时间: 4小时前   324
核心提示:ZAKER 科技 4 月 30 日消息," MiMo" 公众号今日发文宣布,小米开源首个 " 为推理而生 " 的大模型MiMo,联动预训练到后训练,全面提升推理能力。据介绍,MiMo 是来自全新成立不久的 " 小米大模型 Core 团队 " 的初步尝试。在数学推理(AIME 24-25)和代码竞赛( v5)公开测评集上,MiMo 仅用 7B 的参数规

ZAKER 科技 4 月 30 日消息," MiMo" 公众号今日发文宣布,小米开源首个 " 为推理而生 " 的大模型 MiMo,联动预训练到后训练,全面提升推理能力。据介绍,MiMo 是来自全新成立不久的 " 小米大模型 Core 团队 " 的初步尝试。

在数学推理(AIME 24-25)和代码竞赛( v5)公开测评集上,MiMo 仅用 7B 的参数规模,超越了 的闭源推理模型 o1-mini 和阿里 Qwen 更大规模的开源推理模型 QwQ-32B-。

官方表示,MiMo 推理能力的提升,由预训练和后训练阶段中数据和算法等多层面的创新联合驱动,包括:

预训练:核心是让模型见过更多推理模式数据:着重挖掘富推理语料,并合成约 200B 推理数据。训练:进行了三阶段训练,逐步提升训练难度,总训练 25T 。

后训练:核心是高效稳定的强化学习算法和框架算法:提出 Test 来缓解困难算法问题中的奖励稀疏问题,并引入 Easy Data Re- 策略,以稳定 RL 训练。框架:设计了 系统,使得 RL 训练加速 2.29 倍,验证加速 1.96 倍。

 
举报 收藏
 
更多>同类生活资讯
推荐图文
推荐生活资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  赣ICP备2024040164号-4