本帖最后由 小哪吒 于 6-12 19:52 编辑
Apple Intelligence 由多个功能强大的生成模型构成，这些模型专为用户的日常任务设计，并能根据用户当前活动进行动态调整。Apple 内置的基础模型针对用户体验进行了微调，包括编写和优化文本、确定通知的优先级和摘要、为与家人和朋友的对话创建有趣的图像，以及采取应用内操作以简化跨应用交互。
Apple 专注于负责任的人工智能开发。Apple Intelligence 的设计遵循 Apple 的核心价值观，并建立在突破性的隐私创新基础之上。Apple 制定了一套负责任的人工智能原则来指导人工智能工具及其支撑模型的开发： - 提供智能工具给用户：Apple 确定可以负责任地使用人工智能的领域，以创建满足特定用户需求的工具。Apple 尊重用户选择如何使用这些工具来实现他们的目标。
- 代表用户：Apple 打造高度个性化的产品，旨在真实地代表全球用户。Apple 不断努力避免在 AI 工具和模型中延续刻板印象和系统性偏见。
- 精心设计：Apple 在流程的每个阶段都采取预防措施，包括设计、模型训练、功能开发和质量评估，以确定 AI 工具可能被滥用或导致潜在危害的方式。Apple 将在用户反馈的帮助下不断主动改进 AI 工具。
- 保护隐私：Apple 利用强大的设备处理能力和突破性的基础设施（如私有云计算）保护用户的隐私。在训练基础模型时，Apple 不会使用用户的私人个人数据或用户互动。
这些原则体现在实现 Apple Intelligence 的整个架构中，将功能和工具与专门的模型连接起来，并扫描输入和输出，为每个功能提供负责任地运行所需的信息。 预训练
Apple 的基础模型是在 Apple 的 AXLearn 框架上训练的，这是 Apple 于 2023 年发布的一个开源项目。它建立在 JAX 和 XLA 之上，使 Apple 能够在各种训练硬件和云平台上高效且可扩展地训练模型，包括 TPU 以及云和本地 GPU。Apple 结合使用数据并行、张量并行、序列并行和完全分片数据并行 (FSDP) 来沿数据、模型和序列长度等多个维度扩展训练。
Apple 利用授权数据训练基础模型，包括为增强特定功能而选择的数据，以及 AppleBot 收集的公开数据。网络发布者可以通过数据使用控制选择不将其网络内容用于 Apple Intelligence 训练。
训练后
Apple 发现数据质量对于模型成功至关重要，因此在训练流程中采用了混合数据策略，结合了人工注释数据和合成数据，并进行了彻底的数据管理和过滤程序。Apple 在训练后开发了两种新算法：(1)拒绝抽样微调算法 (2) 人工反馈强化学习 (RLHF) 算法。Apple 发现这两种算法可以显著提高模型的指令遵循质量。
优化
除了确保生成模型性能强大之外，Apple 还采用了一系列创新技术，在设备和私有云上优化生成模型，以提高速度和效率。Apple 针对第一个 token 和扩展 token 推理性能应用了一系列优化措施。
设备和服务器模型均使用分组查询注意机制。Apple 使用共享的输入和输出词汇嵌入表来降低内存需求和推理成本。这些共享的嵌入张量映射时不会出现重复。设备模型使用的词汇大小为 49K，而服务器模型使用的词汇大小为 100K，其中包括额外的语言和技术标记。
对于设备端推理，Apple 使用低位托盘化，这是一项关键的优化技术，可满足必要的内存、功率和性能要求。为了保持模型质量，Apple 使用 LoRA 适配器开发了一个新框架，该框架采用混合 2 位和 4 位配置策略（平均每个权重 3.5 位），以实现与未压缩模型相同的准确度。
此外，Apple 使用交互式模型延迟和功率分析工具 Talaria 来更好地指导每个操作的比特率选择。Apple 还利用激活量化和嵌入量化，并开发了一种方法，以便在神经引擎上实现高效的键值 (KV) 缓存更新。
通过这组优化，Apple 在 iPhone 15 Pro 上能够实现每个 token 约 0.6 毫秒的首次 token 延迟，以及每秒 30 个 token 的生成率。值得注意的是，这一性能是在采用 token 推测技术之前实现的，从中可以看到 token 生成率的进一步提升。
模型适配
Apple 的基础模型针对用户的日常活动进行了微调，并可以根据手头的任务动态地进行专门化。Apple 利用适配器（可插入预训练模型各个层的小型神经网络模块）来针对特定任务微调模型。对于模型，Apple 调整了注意矩阵、注意投影矩阵和点式前馈网络中的全连接层，以适应 Transformer 架构的一组合适的解码层。
通过仅对适配器层进行微调，基础预训练模型的原始参数保持不变，保留模型的一般知识，同时定制适配器层以支持特定任务。
适配器是覆盖在通用基础模型上的一小批模型权重。它们可以动态加载和交换，使基础模型能够针对手头的任务即时进行专门化。Apple Intelligence 包含一组广泛的适配器，每个适配器都针对特定功能进行了微调。这是扩展基础模型功能的有效方法。 Apple 使用 16 位来表示适配器参数的值，对于约 30 亿个参数的设备模型，等级 16 适配器的参数通常需要数十兆字节。适配器模型可以动态加载、临时缓存在内存中并进行交换 - 使基础模型能够即时专门处理手头的任务，同时高效管理内存并保证操作系统的响应能力。
为了方便适配器的训练，Apple 创建了一个高效的基础设施，使 Apple 能够在基础模型或训练数据更新时快速重新训练、测试和部署适配器。使用优化部分中介绍的准确度恢复适配器初始化适配器参数。
绩效与评估
Apple 专注于提供生成模型，使用户能够通过 Apple 产品进行交流、工作、表达自己和完成任务。在对模型进行基准测试时，Apple 专注于人工评估，因为发现这些结果与用户在产品中的体验高度相关。Apple 对特定功能的适配器和基础模型都进行了性能评估。
为了说明方法，Apple 评估了摘要适配器。由于电子邮件和通知摘要的产品要求在细微但重要的方面有所不同，Apple 在托盘化模型的基础上微调了准确度恢复低秩 (LoRA) 适配器以满足这些特定要求。训练数据基于从更大的服务器模型生成的合成摘要，并通过拒绝采样策略进行过滤，仅保留高质量的摘要。
为了评估特定于产品的摘要，Apple 使用了一组针对每个用例精心采样的 750 个响应。这些评估数据集强调了产品功能在生产中可能面临的各种输入，并包括不同内容类型和长度的单个和堆叠文档的分层混合。作为产品功能，根据代表实际用例的数据集评估性能非常重要。Apple 发现，与同类模型相比，带有适配器的模型可以生成更好的摘要。
作为负责任的开发的一部分，Apple 识别并评估了摘要固有的特定风险。例如，摘要有时会以不良方式删除重要的细微差别或其他细节。但是，Apple 发现摘要适配器在超过 99% 的目标对抗示例中并未放大敏感内容。Apple 将继续进行对抗性探索以识别未知危害并扩大评估范围，以帮助指导进一步的改进。 除了评估由基础模型和适配器驱动的特定功能性能外，Apple 还评估基于设备和服务器的模型的一般功能。Apple 利用一套全面的真实世界提示评估集来测试一般模型功能。这些提示在不同难度级别上各不相同，涵盖头脑风暴、分类、封闭式问答、编码、提取、数学推理、开放式问答、重写、安全、总结和写作等主要类别。
Apple 将模型与开源模型（Phi-3、Gemma、Mistral、DBRX）和同等规模的商业模型（GPT-3.5-Turbo、GPT-4-Turbo）进行了比较。Apple 发现，与大多数同类竞争模型相比，Apple 的模型更受人类评分者的青睐。在这个基准测试中，Apple 的设备模型（约 3B 个参数）优于包括 Phi-3-mini、Mistral-7B 和 Gemma-7B 在内的大型模型。Apple 的服务器模型与 DBRX-Instruct、Mixtral-8x22B 和 GPT-3.5-Turbo 相比毫不逊色，并且效率很高。 Apple 使用不同的对抗性提示来测试模型在有害内容、敏感主题和事实性方面的表现。根据此评估集上的人工评分者评估每个模型的违规率，衡量违规率，数字越低越好。设备和服务器模型在面对对抗性提示时都表现稳健，违规率低于开源和商业模型。 与竞争对手的模型相比，Apple 的模型在这些提示中更安全、更实用，因而受到人类评分者的青睐。然而，考虑到大型语言模型的广泛功能，Apple 了解安全基准的局限性。Apple 正在积极与内部和外部团队进行手动和自动红队测试，以继续评估模型的安全性。 为了进一步评估模型，Apple 使用指令遵循评估 (IFEval) 基准来将其指令遵循能力与同等规模的模型进行比较。结果表明，Apple 的设备和服务器模型都比同等规模的开源和商业模型更好地遵循详细的指令。 Apple 根据内部摘要和写作基准（由各种写作说明组成）评估模型的写作能力。这些结果不涉及 Apple 针对摘要的特定功能适配器，Apple 也没有专注于写作的适配器。 结论
在 WWDC24 上推出的 Apple 基础模型和适配器是 Apple Intelligence 的基础，Apple Intelligence 是深度集成到 iPhone、iPad 和 Mac 中的全新个人智能系统，可在语言、图像、动作和个人情境方面提供强大的功能。Apple 创建模型的目的是帮助用户在 Apple 产品上进行日常活动，并且在每个阶段都负责任地进行开发，并以 Apple 的核心价值观为指导。Apple 期待很快分享有关更广泛的生成模型系列的更多信息，包括语言、扩散和编码模型。
| 
