当前位置:»资讯 AI新闻 全球AI最前线

[行业动态] 中国AI独角兽MiniMax 发布万亿 MoE 模型abab 6.5:能力接近GPT-4

WX20240417-183227@2x.png

2024 年 4 月 17 日,MiniMax 正式推出abab 6.5 系列模型。在 MoE 还没有成为行业共识时,MiniMax 花了 80% 以上的精力下注 MoE,并于今年 1 月,发布了国内首个基于 MoE 架构的 abab 6。在过去的三个月里,MiniMax进一步地挖掘了 MoE 架构的潜力,研发出了更强大的 abab 6.5。

这个过程中,MiniMax找到了越来越多加速实现 Scaling Laws 的途径,包括改进模型架构,重构数据 pipeline,训练算法及并行训练策略优化等。今天发布的 abab 6.5 和 abab 6.5s 是MiniMax加速 Scaling Laws 过程的阶段性成果。

abab 6.5 系列包含两个模型:abab 6.5 和 abab 6.5s。abab 6.5 包含万亿参数,支持 200k tokens 的上下文长度;abab 6.5s 跟 abab 6.5 使用了同样的训练技术和数据,但是更高效,支持 200k tokens 的上下文长度,可以 1 秒内处理近 3 万字的文本。

在各类核心能力测试中,abab 6.5开始接近 GPT-4、 Claude-3、 Gemini-1.5 等世界上最领先的大语言模型。

核心能力测试

MiniMax用业界标准的开源测试集来测试两个模型,在知识、推理、数学、编程、指令遵从等维度上和行业领先的语言模型进行了对比。
WX20240417-183140@2x.png


我们在 200k token 内进行了业界常用的“大海捞针”测试,即在很长的文本中放入一个和该文本无关的句子(针),然后通过自然语言提问模型,看模型是否准确将这个针回答出来。在 891 次测试中,abab 6.5 均能正确回答。


abab 6.5 和 abab 6.5s 会滚动更新到 MiniMax 旗下的产品中,包括生产力产品海螺 AI 和 MiniMax 开放平台上。
消息来源:MiniMax公众号

声明: 本站所有内容来源于用户上传,用来分享交流。如有资料或者图片不小心侵权,请发邮件(41835170@qq.com)告知!
分享到:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

豫ICP备2024052610号-1 ©AI闹海