OpenAI的GPT-5(代号Orion)项目自启动以来已超过18个月,但至今尚未公布具体成果。据《华尔街日报》报道,尽管Orion在某些方面表现优于OpenAI现有模型,但其进步并未达到预期,不足以证明巨额训练成本的合理性。每轮训练成本高达5亿美元,且耗时数月,但结果仍不尽人意。 训练成本与数据挑战 自GPT-4于2023年3月发布后,OpenAI便开始了GPT-5的研发。然而,Altman在同年11月表示,2024年不会有名为GPT-5的产品发布。AI模型的能力通常随着数据量的增加而增强,训练过程中需要数万亿个tokens,依赖昂贵且稀缺的计算芯片。Altman曾透露,GPT-4的训练成本超过1亿美元,而未来模型的训练费用预计将突破10亿美元。 为了降低失败风险,OpenAI会先进行小规模试运行,验证模型设计和训练的可行性。但GPT-5的开发从一开始就遇到了挑战。2023年中,OpenAI启动了“Arrakis”实验性训练,旨在测试GPT-5的新设计。训练进展缓慢,显示出大规模训练将耗费极长时间,成本极其高昂。实验结果还表明,GPT-5的开发比预期更复杂和困难。 创造数据以提升性能 面对全球数据量不足以达到理想智能水平的问题,OpenAI决定“从零开始创造数据”。具体来说,OpenAI正在雇人编写新的软件代码或解决数学问题,让Orion从这些任务中学习。这些人包括软件工程师和数学家,他们还会向Orion解释工作过程。 许多研究人员认为,代码作为软件的语言,能够帮助大模型解决未见过的问题,提升其解决复杂问题的能力。Turing公司首席执行官兼联合创始人Jonathan Siddharth表示:“我们是在将人类智慧从人脑转移到机器脑。” 在AI训练过程中,软件工程师可能会被要求编写程序解决复杂逻辑问题;数学家则可能需要计算由一百万个篮球构成的金字塔的最大高度。这些任务的关键不仅是最终答案,更重要的是得出答案的思考过程,都会被纳入AI的训练材料中。 内部动荡与竞争压力 OpenAI面临的挑战不仅是技术层面的,还有内部动荡和竞争对手的挖角。每一次训练耗资高达5亿美元,总训练成本可能超过10亿美元。与此同时,竞争对手如Anthropic、谷歌等公司纷纷推出新一代模型,试图赶超OpenAI。 人才流失和内部分歧进一步拖慢了开发进度。去年,OpenAI董事会突然解雇了Altman,导致一些研究人员开始质疑公司的未来。然而,Altman很快被重新任命为CEO,并着手对公司的治理结构进行改革。 今年以来,超过20位关键高管、研究人员和长期员工离开了OpenAI,包括联合创始人兼首席科学家Ilya Sutskever和技术负责人Mira Murati。随着Orion进展停滞,OpenAI开始开发其他项目和应用,包括简化版的GPT-4和可以生成AI视频的Sora产品。但这导致了不同团队之间争夺有限计算资源的局面,特别是在新产品开发团队和Orion研究团队之间,发生了激烈的竞争。 GPT-5的困境或许揭示了一个更大的行业命题:AI是否已经接近发展的“瓶颈期”?业内人士指出,依靠海量数据和更大模型的策略正逐渐失效。正如前OpenAI科学家苏茨克维尔所说,“我们只有一个互联网”,数据的增长正在放缓,这一推动AI飞跃的“化石燃料”正逐渐枯竭。对于GPT-5的未来,Altman始终未给出明确的时间表,目前我们仍然无法确定OpenAI何时或者是否会推出一个值得称为GPT-5的模型。
|