本帖最后由 小哪吒 于 5-7 07:56 编辑
5月6日消息，微软公司正在开发一款大型语言模型（LLM），其内部代号为MAI-1，预计将于本月首次亮相。据The Information报道，MAI-1包含约5000亿个参数，这一规模介于OpenAI的GPT-3和GPT-4之间。GPT-3于2020年中期发布，其初始版本拥有1750亿个参数，而GPT-4的参数数量尚未公开，但据一些报告推测，可能高达1.76万亿个参数。与此同时，Google的Gemini Ultra模型，性能与GPT-4相当，据称拥有1.6万亿个参数。 MAI-1的参数规模意味着它能够提供高响应精度，同时相较于OpenAI的旗舰LLM，其使用的功率更低，这将显著降低推理成本。MAI-1的开发由Mustafa Suleyman负责监督，他是LLM开发商Inflection AI Inc.的创始人。Suleyman在3月份通过一项价值6.25亿美元的交易加入了微软，并带来了大部分员工。此前，他曾是Google DeepMind人工智能研究小组的共同创始人。
微软可能会利用Inflection AI的培训数据和某些资产来支持MAI-1的开发。该模型的训练数据集包括了GPT-4生成的文本和网页内容等多样化信息。开发过程中，微软正在使用配备Nvidia显卡的大型服务器集群。
尽管MAI-1的具体用途尚未确定，但其庞大的参数规模意味着它不太可能在消费级设备上运行。因此，微软很可能会在数据中心部署MAI-1，并将其集成到Bing和Azure等服务中。如果MAI-1展现出足够的潜力，微软可能会选择在5月16日的Build开发者大会上首次公开展示该模型，这表明公司可能在几周内拥有该模型的工作原型。
此外，微软在开发MAI-1的消息发布前不到两周，刚刚开源了一款名为Pi-3 Mini的语言模型。Pi-3 Mini拥有38亿个参数，其性能是同规模LLM的10倍以上。Pi-3 Mini是AI系列的一部分，该系列还包括两个更大的神经网络，性能更优。
| 
