OpenAI 推出 Batch API异步任务处理，费用仅为实时的一半

小哪吒

OpenAI 推出了新的 Batch API，支持 JSONL 格式和高达 100 GB 的文件，可为摘要、翻译和图像分类等异步 API 任务，并且费用仅为正常模式的 50%。通过 Batch API，您可以在 24 小时内获取大量 API 请求的结果。

OpenAI推出了Batch API，是一种创新解决方案，旨在优化处理异步任务的效率，为开发人员提供与公司机器学习模型交互的新方式。这个新的 API有望显着降低成本、提高速度限制和更灵活的工作流程。

Batch API兼容该公司的多种AI模型，包括GPT-3.5和GPT-4的各种迭代，允许开发者选择最适合自己需求的模型，并通过上传单个模型来提交批量请求。包含多个任务的文件，这些任务在后台异步处理，无需实时交互。24 小时内提供结果，从而更轻松地管理和预测工作负载。

OpenAI的 Batch API提供了处理时间的透明度，使开发人员能够跟踪其作业的状态。尽管它提供了许多优点，但有几个注意事项需要记住，例如缺乏与流式传输的兼容性、24 小时的固定处理窗口以及非零数据保留。

在越来越多的公司将人工智能集成到其运营中的背景下，像新的 Batch API 这样的工具对于满足未来的需求非常有用。尽管它有一些缺点，但该 API 代表了异步任务处理的进步，允许以更低的成本和更高的效率进行大规模任务处理。