Snowflake开源企业级大模型 Arctic

小哪吒

huggingface地址：https://huggingface.co/Snowflake/snowflake-arctic-instruct
Snowflake AI 研究团队自豪地推出 Snowflake Arctic，这是一款专为企业级智能设计的高效、开放的大型机器学习模型（LLM）。Arctic 在企业关键任务，如 SQL 生成、编码和指令遵循方面，展现出卓越的性能，即便与那些使用了更高计算资源训练的开源模型相比也毫不逊色。它的推出标志着在经济高效的培训和开放性方面迈出了重要一步。Arctic 的高效智能得益于其创新的架构和开源系统，如 ZeRO、DeepSpeed、PagedAttention/vLLM 和 LLM360，这些技术显著降低了 LLM 的培训和推理成本。Arctic 采用 Apache 2.0 许可证，为用户提供了对模型权重和代码的无限制访问，同时开源了所有数据配方和研究见解，进一步增强了其开放性。

Arctic 的高效智能表现在其低成本创建定制模型的能力上。它在企业智能指标上与 LLAMA 3 8B 和 LLAMA 2 70B 相当或更优，但训练计算预算不到 200 万美元，远低于其他模型。这种高训练效率意味着 Snowflake 客户和整个 AI 社区可以以更低的成本训练自定义模型。

Arctic 的训练效率得益于其独特的 Dense-MoE 混合变压器架构，结合了 10B 密集变压器模型和 128×3.66B MoE MLP，产生了 480B 的总参数和 17B 的活动参数。这种设计基于三个关键创新：1）众多但浓缩的专家选择，2）架构和系统的协同设计，以及 3) 以企业为中心的数据课程，这些创新共同推动了 Arctic 的高效训练和推理。

在推理效率方面，Arctic 通过与 NVIDIA 的合作，利用 FP8 量化和内存带宽优化，实现了快速的交互式推理性能。此外，Arctic 还能够在较大的批量大小下实现高吞吐量的计算限制推理，这是通过一系列系统优化实现的。
Arctic 的开放性体现在其对社区的承诺上，不仅开放了权重和代码，还包括了开放的研究见解和开源配方。Snowflake AI 团队通过一本全面的“食谱”分享了他们的研究见解，旨在加速构建世界一流 MoE 模型的学习过程。这本食谱涵盖了预训练、微调、推理和评估等多个主题，并深入探讨了建模、数据、系统和基础设施。

Arctic 在企业智能指标上的表现优于所有其他开源模型，无论计算类别如何。对于学术基准，虽然 Arctic 的 MMLU 性能较低，但这与企业智能的关注点并不直接相关。Snowflake Arctic 被视为现成企业用例的最佳开源模型，特别是对于那些希望以最低的总拥有成本从头开始训练自己模型的用户。

最后，Arctic 的性能在一系列企业和学术指标上得到了验证，证明了其作为企业人工智能解决方案的领先地位。Snowflake AI 团队期待与社区合作，共同推动大型 MoE 模型的发展，并解决高批量大小推理的挑战。通过这种合作，Arctic 将继续作为企业人工智能领域的佼佼者，引领行业向前发展。