|
人工智能公司Anthropic近日宣布，其Claude API新增提示缓存(prompt caching)功能，现已进入公开测试阶段。该功能允许开发者在API调用之间缓存频繁使用的上下文信息，可为长提示降低高达90%的成本和85%的延迟。
提示缓存功能目前支持Claude 3.5 Sonnet和Claude 3 Haiku模型，Claude 3 Opus模型的支持即将推出。该功能适用于需要重复使用大量提示上下文的场景，如对话代理、编码助手、大文档处理、详细指令集等。
Anthropic表示，早期用户在各种用例中都看到了显著的速度和成本改进。例如，在"与书籍对话"的场景中，使用10万个token的缓存提示可将延迟从11.5秒降至2.4秒，同时将成本降低90%。
在定价方面，缓存提示的写入成本比基本输入token价格高25%，而使用缓存内容的成本仅为基本价格的10%。这种定价策略旨在鼓励用户更多地利用缓存功能。
知名协作平台Notion已开始将提示缓存应用于其AI助手Notion AI的Claude驱动功能中。Notion联合创始人Simon Last表示，这一功能将帮助他们优化内部运营，为用户提供更快速、更经济的AI体验。
Anthropic鼓励开发者查阅其文档和定价页面，以开始使用提示缓存公测功能。这一创新功能有望为AI应用开发带来更多可能性，同时提高效率、降低成本。
| 
