小米发布最新MiMo大模型小米在2025年12月16日深夜闪电开源了全新MoE大

名人聊 2025-12-17 11:51:11

小米发布最新MiMo大模型小米在2025年12月16日深夜闪电开源了全新MoE大模型MiMo-V2-Flash,凭借3090亿总参数和150亿活跃参数的“瘦身”设计,一举实现150 token/秒的极速响应和百万token输入0.1美元的超低成本,迅速引发行业热议。小米MiMo-V2-Flash的核心突破在于平衡性能与效率。它采用专家混合架构(MoE),每次推理仅激活150亿参数,通过混合注意力机制(128窗口滑动+全局注意力)支持256K长上下文,适用于多轮复杂任务。实测生成速度达150 token/秒,用户反馈“问题发出即出答案”,延迟低至毫秒级,成本仅为闭源模型的1/10。性能上,该模型在多项基准测试中与头部开源模型DeepSeek-V3.2持平甚至超越。技术负责人罗福莉(前DeepSeek核心研究员)的贡献是关键。她主导的自研R3路由重放技术解决了MoE模型强化学习的稳定性问题,确保训练到150步仍保持平稳。老张聊科技 小米发布最新mimo大模型

0 阅读:0

猜你喜欢

名人聊

名人聊

感谢大家的关注