2025 年 6 月 6 日,Qwen3 - Embedding 系列模型正式发布,成为 Qwen 模型家族的新成员。该系列专为文本表征、检索与排序任务设计,基于 Qwen3 基础模型训练而成,继承了其多语言文本理解能力的优势。
在多项基准测试中,Qwen3 - Embedding 系列展现出卓越性能。8B 参数规模的 Embedding 模型在 MTEB 多语言 Leaderboard 榜单中位列第一(截至 2025 年 6 月 6 日,得分 70.58),超越众多商业 API 服务。目前,该系列已在 Hugging Face、ModelScope 和 GitHub 平台开源,用户也可通过阿里云百炼平台使用文本向量模型服务。
该系列具备以下特点:卓越的泛化性,在多个下游任务评估中达行业领先水平;灵活的模型架构,提供 0.6B 到 8B 参数规模的 3 种配置,支持表征维度自定义与指令适配优化;全面的多语言支持,涵盖超 100 种语言,具备多语言、跨语言及代码检索能力。
模型架构方面,Embedding 模型和 Reranker 模型分别采用双塔结构和单塔结构,通过 LoRA 微调继承基础模型的文本理解能力。训练过程采用多阶段训练范式,Embedding 模型经三阶段训练,Reranker 模型基于高质量标注数据监督训练,还构建多任务适配的 Prompt 体系,实现弱监督数据高效生成。
未来,Qwen3 - Embedding 系列将继续优化,提升训练效率与部署性能,拓展多模态表征体系,构建跨模态语义理解能力。团队期待更多开发者基于该系列探索应用场景,推动其在业务场景中的应用。
开源地址: ModelScope: Hugging Face: GitHub: 技术报告:
|
声明:
本站所有内容来源于用户上传,用来分享交流。如有资料或者图片不小心侵权,请发邮件(41835170@qq.com)告知!