小米开源首个推理大模型Xiaomi MiMo,股价应声上涨近5%‌

日期:2025-05-04 16:52:08 / 人气:12



在科技日新月异的今天,每一步创新都可能成为行业变革的催化剂。4月30日,小米集团宣布了一项重大决策:开源其首个推理大模型——Xiaomi MiMo。这一消息如同石子投入平静的湖面,瞬间在科技界掀起了波澜,并直接反映在小米集团的股价上,截至午间休市,股价上涨4.74%,总市值达到1.29万亿港元(约合人民币1.21万亿元)。

小米此次开源的MiMo系列模型,是其新成立的大模型Core团队的初步尝试。该团队通过从零开始的训练,以及预训练和后训练阶段中数据和算法等多层面的创新,成功提升了模型的推理能力。其中,经强化学习训练形成的MiMo-7B-RL模型,在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)公开测评集上,仅用7B参数量,得分就超过了OpenAI的闭源推理模型o1-mini和阿里Qwen开源推理模型QwQ-32B-Preview。这一成绩,无疑是对小米大模型Core团队创新能力的有力证明。

在预训练阶段,小米团队着重挖掘富推理语料,并合成了约200B tokens的推理数据。同时,采用三阶段数据混合策略,逐步提升训练难度,确保模型能够见过更多推理模式。而在后训练阶段,团队则专注于高效稳定的强化学习算法和框架的研发。他们提出了Test Difficulty Driven Reward算法来缓解奖励稀疏问题,并引入了Easy Data Re-Sampling策略以稳定强化学习训练。此外,他们还设计了Seamless Rollout系统,以最大限度地减少GPU空闲时间,使得强化学习训练和验证过程得以加速。

得益于这些创新举措,MiMo-7B系列模型在数学、代码和通用任务上都展现了出色的推理能力。在与Llama-3.1-8B、Gemma-2-9B、Qwen2.5-7B等规模相当的开源基础模型的比较中,MiMo-7B-Base在所有基准和评估的k值上都取得了高于其他对比模型的pass@k分数。特别是在数学基准测试AIME 2025和代码基准测试LiveCodeBench v6中,MiMo-7B-RL的得分更是超过了OpenAI的o1-mini模型。

小米此次开源MiMo系列模型,不仅展示了其在人工智能领域的深厚积累和创新实力,也为行业内的其他企业提供了宝贵的参考和借鉴。更重要的是,这一举措顺应了当前大模型领域的热门风向——开源和推理。同时,MiMo-7B系列模型的小巧参数规模也贴合了大模型的另一大趋势——从卷参数规模转向追求经济高效。这使得模型在满足高性能需求的同时,也能够更好地适应端侧设备的本地运行需求。

展望未来,随着人工智能技术的不断发展和普及,小米集团有望借助其在人工智能领域的深厚积累和创新实力,在更多领域实现突破和引领。而MiMo系列模型的开源,也将为整个行业带来更多的机遇和挑战。我们期待小米能够继续秉承创新精神,为人工智能领域的发展贡献更多的智慧和力量。

作者:天富娱乐




现在致电 5243865 OR 查看更多联系方式 →

COPYRIGHT 天富娱乐 版权所有