北京月之暗面科技有限公司联合清华大学MADSys实验室及其他产学研机构，共同发布了开源项目Mooncake，旨在构建以KVCache为中心的大模型推理架构。2024年6月，双方已发布Mooncake推理系统设计方案，此次开源将进一步加速技术框架的应用与推广。Mooncake通过以存换算的创新理念，减少算力开销，提升推理吞吐量。项目将分阶段开源高性能KVCache多级缓存Mooncake Store的实现，并兼容各类推理引擎和底层存储/传输资源。目前，传输引擎Transfer Engine已在GitHub全球开源。Mooncake项目致力于定义新型高性能内存语义存储标准接口，并提供参考实现方案，以优化大模型时代的推理资源。
https://github.com/kvcache-ai/Mooncake
|
声明：
本站所有内容来源于用户上传，用来分享交流。如有资料或者图片不小心侵权，请发邮件（41835170@qq.com）告知！
