本帖最后由 垚麟 于 2024-2-27 14:17 编辑
什么是检索增强生成 (RAG)?
RAG 代表检索增强生成,这是一种人工智能开发技术,其中大型语言模型(LLM) 连接到外部知识库,以提高其响应的准确性和质量。
LLM 可以使用 RAG 连接的源类型包括文档存储库、文件、API 和数据库。
LLM使用检索增强生成能够从外部知识库中提取信息。这使模型能够访问最新的、特定于领域的信息,以便在实时响应用户提示时可以参考这些信息。
这种方法的主要优点之一是模型的知识并不局限于具有特定截止日期的训练数据。知识库也可以更新,而无需重新训练模型。
检索增强生成如何工作?
RAG 有两个主要阶段:检索阶段和内容生成阶段。
在检索阶段,机器学习(ML)算法使用自然语言处理(NLP) 用户提示,并使用它从其知识库中识别相关信息。然后,该信息被转发到生成器模型或 LLM,该模型使用用户的提示和整个检索阶段编译的数据来生成与原始提示意图相匹配的相关响应。该过程依赖于自然语言生成(NLG)。
RAG的历史
“检索增强生成”一词最初是在一篇题为“知识密集型 NLP 任务的检索增强生成”的研究论文中创造的,该论文由 Facebook AI Research、伦敦大学学院和纽约大学的研究人员撰写。
“与之前的工作相比,这项工作提供了一些积极的社会效益:事实上,它更牢固地基于真实的事实知识,这使得它对更真实的几代人产生更少的“幻觉”,并提供更多的控制和可解释性,”论文中提到。
同时,该研究指出,“RAG 可以应用于多种场景,对社会有直接好处,例如,赋予它医疗索引并询问有关该主题的开放领域问题,或者帮助人们更加有效地完成他们的工作。”
RAG 的应用场景
RAG为企业提供了许多潜在的应用场景。 - 构建文档研究助理:使用 RAG 使组织能够构建聊天机器人,员工可以使用该聊天机器人查询公司文档中存储的数据。这对于回答有关人力资源、合规性和安全主题的技术问题非常有用。
- 客户支持:企业还可以使用 RAG 创建客户支持聊天机器人,使用户能够访问更准确、更可靠的信息。例如,零售商可以开发一个聊天机器人,准备回答用户有关送货和退货政策的问题。
- 内容生成:营销人员可以使用 RAG 构建特定领域的法学硕士,后者可以创建根据特定目标受众的需求量身定制的内容,例如文章、博客文章和新闻通讯。
- 行业分析:决策者还可以使用RAG语言模型来创建市场分析报告。例如,用户可以将市场数据和行业报告添加到知识库中,然后要求聊天机器人总结主要趋势。
- 医疗保健指导:医疗保健提供者可以使用 RAG 构建聊天机器人,为患者提供医疗信息和支持。当医生不在时,这有助于提供24/7 的患者护理。
RAG 挑战
虽然 RAG 是一种非常有用的 AI 开发方法,但它并不完美。也许使用 RAG 的最大挑战是开发人员需要构建广泛的高质量内容知识库以供参考。
这是一个困难的过程,因为需要仔细整理数据。如果输入数据的质量较低,则会对输出的准确性和可靠性产生负面影响。
同样,开发人员还需要考虑知识库是否存在任何需要解决的偏见或成见。
最后,虽然 RAG 可以帮助提高可靠性,但它无法完全消除幻觉的风险,因此最终用户仍然需要对信任输出保持谨慎。
检索增强生成(RAG)的优点和缺点
RAG 是增强LLM核心能力的一项宝贵技术。有了正确的知识库,开发人员就可以让用户访问大量特定领域的知识。
|