本帖最后由 垚麟 于 2024-2-27 11:08 编辑
什么是人工智能幻觉?
AI 幻觉是指OpenAI 的 GPT4 或 Google PaLM 等大型语言模型(LLM) 编造不基于真实数据或事件的虚假信息或事实。
Gartner 副总裁分析师 Avivah Litan 解释道: 幻觉完全是大型语言模型的捏造输出。尽管它们完全代表了虚构的事实,但LLM的输出却给它们带来了信心和权威。
生成式人工智能驱动的聊天机器人可以伪造任何事实信息,从名称、日期、历史事件到引言甚至代码。
幻觉非常常见,以至于OpenAI实际上向ChatGPT内的用户发出警告,指出“ChatGPT 可能会产生有关人物、地点或事实的不准确信息。”
人工智能幻觉的例子
虽然人工智能幻觉的例子一直在出现,但最引人注目的例子之一发生在谷歌 2023 年 2 月发布的宣传视频中。随后,其人工智能聊天机器人Bard错误地声称詹姆斯·韦伯太空望远镜取得了太阳系外行星的图像。
同样,在 2023 年 2 月推出的 Microsoft Bing AI 演示中,Bing 分析了 Gap 的收益报表,提供了错误的事实和数据摘要。
这些示例表明,用户不能相信聊天机器人始终会生成真实的响应。然而,人工智能幻觉带来的风险远远超出了传播错误信息的范围。
事实上,根据 Vulcan Cyber 的研究团队的说法,ChatGPT 可以生成不存在的URL、引用和代码库,甚至可以向毫无戒心的用户推荐潜在的恶意软件包。
是什么导致人工智能产生幻觉?
人工智能幻觉背后的一些关键因素是: - 过时或低质量的训练数据;
- 数据分类或标记不正确;
- 训练数据中的事实错误、不一致或偏差;
- 编程不足,无法正确解释信息;
- 缺乏用户提供的上下文;
- 难以推断口语、俚语或讽刺的意图。
人工智能幻觉有什么危险?
人工智能幻觉的主要危险之一是用户对人工智能系统输出的准确性做出过多回应。
LLM 生成的错误信息很难解决,因为这些解决方案可以生成在服务上看起来详细、令人信服且可靠的内容,但实际上是不正确的,导致用户相信不真实的事实和信息。
如果用户仅从表面上看待人工智能生成的内容,那么虚假和不真实的信息就有可能在整个互联网上传播。
最后,还存在法律和合规责任的风险。例如,如果一个组织使用LLM支持的服务与客户沟通,而该服务发布的指导损害了用户的财产或反刍令人反感的内容,那么它可能面临法律诉讼的风险。
如何检测人工智能幻觉?
用户检测人工智能系统是否产生幻觉的最佳方法是通过第三方来源手动对解决方案提供的输出进行事实检查。通过搜索引擎对照新闻网站、行业报告、研究和书籍检查事实、数据和论点,有助于验证某条信息是否正确。
虽然手动检查对于想要检测错误信息的用户来说是一个不错的选择,但在企业环境中,验证每个信息片段在逻辑上或经济上可能不可行。
因此,考虑使用自动化工具来仔细检查生成式人工智能解决方案是否存在幻觉是一个好主意。例如,Nvidia 的开源工具NeMo Guardrails可以通过交叉检查一个LLM与另一个LLM的输出来识别幻觉。
同样,Got It AI 提供了一个名为TruthChecker 的解决方案,它使用 AI 来检测 GPT-3.5+ 生成的内容中的幻觉。
当然,使用 Nemo Guardrails 和 Got It AI 等自动化工具来检查人工智能系统事实的组织应该尽职调查,验证这些解决方案在识别错误信息方面的有效性,并进行风险评估,以确定是否有任何其他行动需要采取措施消除潜在的责任。
总结 人工智能和法学硕士可能会为企业带来一些令人兴奋的功能,但用户必须注意这些技术的风险和局限性,以获得最佳结果。
|