训练成本不到 450 美元：加州大学发布 Sky-T1 推理模型

小哪吒

         加州大学伯克利分校天空计算实验室的研究团队 NovaSky 近日开源了一种名为 Sky-T1 的推理人工智能模型，其训练成本仅为 450 美元。这一成果标志着推理 AI 模型的开发变得更加经济高效。
         Sky-T1-32B-Preview 在多个关键基准测试中表现优异，与 OpenAI 的 o1 早期版本相媲美。该模型的开源性在于其可从头开始复制，团队公开了训练数据集及必要代码。此前，训练同等性能的模型成本常高达数百万美元，而 Sky-T1 的低成本得益于合成训练数据的使用。
         与常规 AI 不同，推理模型能有效自我事实核查，减少常见错误，虽需更长时间得出结论，但在物理、科学和数学等领域更为可靠。NovaSky 团队利用阿里巴巴的 QwQ-32B-Preview 生成初始训练数据，并借助 OpenAI 的 GPT-4o-mini 重构数据，使用 8 个 Nvidia H100 GPU 机架训练 320 亿参数的 Sky-T1 约需 19 小时。
         在 MATH500 和 LiveCodeBench 的测试中，Sky-T1 超越了 o1 的早期预览版，但在 GPQA-Diamond 测试中稍逊一筹。尽管 OpenAI 的 o1 GA 版本及即将发布的 o3 模型性能更佳，NovaSky 团队表示 Sky-T1 仅是他们开发高级推理能力开源模型的起点，未来将致力于提升模型效率和准确性。