阿里云近期对GPU云服务进行了全面升级,显著提升了多GPU推理服务性能,最高可达100%。此次升级目的在于加快AI大模型应用的部署,提高开发和运维效率。通过优化DeepNCCL通信库,Token输出吞吐量提升了14%,首Token时延缩短了15%,实现资源不变下的业务处理能力翻倍。
新推出的ACK云原生AI套件专注于提升GPU和AI任务调度性能,训练数据读取性能提高超过30%,大模型推理服务的冷启动时延降低超过70%。例如,国产AI绘画工具海艺AI通过ACK调用阿里云服务,推理耗时从20秒降至3.95秒,性能提升至少50%。
Forrester报告显示,阿里云在AI基础设施解决方案的全球排名中位列第二,成为中国AI大模型的公共平台,服务包括小鹏汽车、联想、德勤等知名企业和机构。
|