生成式人工智能

小哪吒

什么是生成式人工智能？

生成式人工智能 (genAI) 是一个广泛的标签，描述可以生成新文本、图像、视频或音频剪辑的任何类型的人工智能(AI)。从技术上讲，这种类型的人工智能从训练数据中学习模式，并生成具有相同统计属性的新的、独特的输出。

生成式人工智能模型使用提示来指导内容生成，并 使用迁移学习来变得更加熟练。早期的 genAI 模型是根据特定的数据类型和应用程序构建的。例如，谷歌的 DeepDream旨在操纵和增强图像。它可以产生引人入胜的新视觉效果，但该模型的开发主要集中在图像处理上，其功能不适用于其他类型的数据。

然而，生成式人工智能领域正在迅速发展，越来越多的生成式人工智能模型现在是 多模式的。这一进步意味着同一模型可以 处理不同的数据提示并 生成不同的数据类型。

例如，相同的 genAI 模型可用于：

• 生成创意文本
• 生成信息文本
• 以全面且内容丰富的方式回答任何类型的问题
• 描述一幅图像
• 根据文本提示生成独特的图像
• 将文本从一种语言翻译成另一种语言
• 在响应中包含模型信息的来源
  

生成式 AI 模型开发通常是一项协作工作，需要不同的研究类型、编程、 用户体验(UX) 和 机器学习操作(MLOps) 专业知识。多学科方法有助于确保生成式人工智能模型的设计、训练、部署和维护符合道德和负责任。

生成式人工智能与传统人工智能

从本质上讲，人工智能和生成式人工智能之间的关系是分层的。

• 人工智能是指能够执行以前需要人类智能完成的任务的计算机系统的开发。通常，此类任务涉及感知、逻辑推理、决策和自然语言理解(NLU)。
• 机器学习是人工智能的一个子集，专注于判别任务。它涉及算法的开发，使计算机能够根据数据做出预测或决策，而无需明确编程如何做到这一点。
• 生成式 AI 是机器学习(ML)的一个子集，专注于创建类似于现实世界数据的新数据样本。
  

传统人工智能涉及基于规则的机器学习算法，该算法在单一数据类型上进行训练以执行单一任务。许多传统的机器学习算法经过训练可以生成单个正确的输出。

相比之下，生成式人工智能使用 深度学习(DL) 策略，能够从不同的数据集中学习并产生可接受范围内的输出。这种灵活性允许将相同的 基础模型用于各种任务。例如， ChatGPT现在可以处理图像和文本提示。

该技术是机器学习的一个子集 ，已用于制作富有想象力的数字艺术、设计新的虚拟环境、创作音乐作品、制定书面内容、通过预测分子结构协助药物发现、编写软件代码以及生成逼真的视频和音频剪辑。

生成式人工智能如何运作？

生成式人工智能模型使用 神经网络来学习数据模式并生成新内容。经过训练后，神经网络可以生成与其训练数据类似的内容。例如，在文本数据集上训练的神经网络可用于生成新文本，并且根据模型的输入，文本输出可以采用诗歌、故事、 复杂的数学计算甚至 编程代码的形式用于软件应用程序。

genAI 输出的有用性在很大程度上取决于训练数据的质量和全面性、模型的架构、用于训练模型的流程以及  人类用户给模型的提示。

数据质量至关重要，因为这就是 genAI 模型用来学习如何生成高质量输出的内容。训练数据越多样化、越全面，模型能够理解和复制的模式和细微差别就越多。当模型接受不一致、 有偏见或嘈杂的数据训练时，它可能会产生反映这些缺陷的输出。

培训方法和评估策略也至关重要。在训练期间，模型使用反馈来调整模型架构内的值（内部参数）。

模型架构的复杂性也会在输出有用性方面发挥重要作用，因为模型的架构决定了 genAI 如何处理和从训练数据中学习。

一方面，如果架构过于简单，模型可能难以捕获训练数据中重要的上下文细微差别。

另一方面，如果架构过于复杂，模型可能会 过度拟合并优先考虑不相关的细节，而牺牲重要的基础模式。

  

经过训练后，可以提示模型创建新数据。提示是人们 与人工智能模型交互并指导其输出的方式。提示的重点取决于所需的输出、模型的目的以及使用模型的上下文。例如，如果所需的输出是求职信，则提示可能包括写作风格和字长的说明。然而，如果所需的输出是音频剪辑，则提示可能包括 音乐流派和节奏的指示。

编写 GenAI 提示的最佳实践

提示是指导 genAI 模型输出的输入语句或提示。 GenAI 模型使用提示生成新的原始内容，在统计上与提示中指定的上下文和要求一致。

虽然提示中的具体细节反映了所需输出的类型，但编写文本、图像、音频和视频提示的最佳实践依赖于相同的基本原则。

精确：提示越具体和详细，响应就越有针对性。

提供上下文：上下文可以减少歧义并帮助模型生成满足提示者意图的输出。

避免引导性问题：制作客观且不含引导性信息的提示非常重要。

重新构建和迭代提示：如果模型第一次没有返回有用的响应，请尝试重新措辞提示（或更改基本多媒体示例），然后重试。

调整温度设置：一些人工智能平台允许用户调整温度设置。较高的温度会产生更多的随机输出，而较低的温度会产生更多的确定性输出。

限制响应长度：当寻求简洁的输出时，工艺提示指定约束，例如文本的单词或字符计数或音频输出的持续时间限制。

尝试多个提示： 将问题或指令分解为几个较小的提示或尝试不同的基本图像、音频剪辑和视频样本通常会产生更有用的输出。

审查和修改输出：应始终审查生成式 AI 输出，因为大多数 genAI 响应在使用之前都需要进行编辑。准备好花时间在这重要的一步上！

生成式人工智能的类型

生成式人工智能可以应用于广泛的任务，每种类型的任务可能需要不同的深度学习架构设计来捕获 训练数据的特定模式和特征。生成对抗网络 (GAN)、变分自动编码器 (VAE) 和 Transformer 架构对于构建生成 AI 模型非常重要。

每种类型的架构都旨在让人工智能模型能够生成与其所训练的数据无法区分的样本。

生成对抗网络（GAN）由两个神经网络组成 ：生成器和鉴别器。这两个网络玩一个猜谜游戏，其中生成器向鉴别器提供数据样本，鉴别器预测该样本是真实的还是生成器编造的。重复该过程，直到生成器能够以可接受的精度水平欺骗鉴别器。

变分自动编码器 (VAE)由两个主要组件组成：编码器和解码器。编码器获取输入数据并将其压缩为保留其最重要特征的潜在空间表示。然后，解码器采用 潜在空间表示并生成捕获训练数据最重要特征的新数据。

Transformer 架构由多个堆叠层组成，每个层都包含自己的自注意力机制和前馈网络。自注意力机制使序列中的每个元素能够考虑并权衡其与所有其他元素的关系，前馈网络处理自注意力机制的输出并对数据执行额外的转换。当模型通过堆叠层处理输入序列时，它会学习生成新序列来捕获任务最重要的信息。

生成式预训练 Transformer (GPT)是 Transformer 架构的具体实现。此类模型首先对大量文本数据进行预训练，以捕获语言模式和细微差别。一旦基础训练完成，模型就会针对特定用途进行微调。

随着研究人员不断寻求提高模型性能、稳定性和效率，生成式 AI 架构的混合变体变得越来越普遍。

例如，GPT 本质上并不是为多模式 AI 设计的。尽管如此，OpenAI仍然能够 通过集成能够理解图像的生成式 AI 架构来扩展大型语言模型的基础设施。

生成式人工智能模型是如何训练的？

一旦生成人工智能模型的架构建立起来，模型就会接受训练。在整个阶段中，模型学习如何调整其内部参数，以最大限度地减少模型输出与其训练数据之间的统计差异。目标是最小化损失函数，即模型输出与其训练数据之间的统计差异。

生成对抗网络通过两步过程进行训练。生成器网络学习如何从随机噪声中创建虚假数据。同时，鉴别器网络学习真实数据和虚假数据之间的区别。其结果是生成器网络能够创建高质量、真实的数据样本。

变分自动编码器（VAE）也通过两部分过程进行训练。编码器网络将输入数据映射到潜在空间，并在其中表示为概率分布。然后解码器网络从此分布中采样以重建输入数据。在训练过程中，VAE 寻求最小化包含两个组成部分的损失函数：重建和正则化。重建和正则化之间的平衡允许 VAE 通过从学习的潜在空间中采样来生成新的数据样本。

Transformer 模型也通过两步过程进行训练。首先，它们在大型数据集上进行了预训练。然后，使用较小的、特定于任务的数据集对它们进行微调。预训练和微调的结合允许 Transformer 模型根据可用数据和特定任务使用监督、无监督和半监督学习。这种灵活性使得相同的转换器模型可以用于不同类型的内容。

混合生成人工智能模型通过多种技术的组合进行训练。训练混合生成人工智能模型的具体细节将根据具体架构、目标和所涉及的数据类型而有所不同。

如何评估生成式人工智能模型？

GenAI 输出需要客观和主观地评估相关性和质量。根据从评估中了解到的内容，模型可能需要进行 微调以提高性能或使用其他数据进行重新训练。如果有必要，模型的架构也可能会被重新审视。

评估通常使用称为 验证或测试集的单独数据集来完成，其中包含模型在训练期间未见过的数据。目标是确定模型在处理新的、以前未见过的数据时的表现如何。

良好的评估分数表明模型已从训练数据中学习了有意义的模式，并且在给出新的输入提示时可以应用该知识来生成有用的输出。

评估生成式人工智能模型性能的常用指标包括以下标准的定量和/或定性分数：

Inception (IS) 分数评估生成图像的质量和多样性。

Fréchet 起始距离 (FID) 分数评估真实数据和生成数据的特征表示之间的相似性。

精确度和召回率分数评估生成的数据样本与真实数据分布的匹配程度。

核密度估计 (KDE)估计生成数据的分布并将其与实际数据分布进行比较。

结构相似性指数 (SSIM)计算真实图像和生成图像之间基于特征的距离。

BLEU（双语评估研究）分数量化了机器生成的翻译与人工翻译人员提供的一个或多个参考翻译之间的相似性。

ROUGE（面向回忆的要点评估研究）分数衡量机器生成的摘要与人类注释者提供的一个或多个参考摘要之间的相似性。

困惑度分数衡量模型预测给定单词序列的效果。

内在评估评估模型在更广泛的应用程序中的中间子任务的性能。

外部评估评估模型在其设计的总体任务上的性能。

少样本或零样本学习评估模型 在训练样本非常有限或没有训练样本的情况下执行任务的能力。

分布外检测评估模型检测分布外或异常数据点的能力。

重建损失分数衡量模型从学习的潜在空间重建输入数据的能力。

通常需要使用指标组合来全面了解模型的优点和缺点，并且评估方法的选择取决于特定模型的架构和目的。例如，Inception Score 和 FID 常用于评估图像生成模型的性能。相比之下，BLEU 和 ROUGE 通常用于评估文本生成模型的性能。

GenAI 和图灵测试

图灵测试还可用于评估生成式人工智能模型的性能。艾伦·图灵博士在 1950 年的论文《计算机器与智能》中介绍了这项测试，最初旨在测试机器表现出 与人类难以区分的智能行为的能力。

在测试的传统形式中，人类法官与人和机器进行基于文本的对话，并尝试确定哪些响应是由人类生成的，哪些响应是由机器生成的。

如果人类判断无法准确确定哪些响应来自机器，则称机器通过了图灵测试。

虽然图灵测试具有历史意义且易于理解，但它不能用作唯一的评估，因为它纯粹专注于 自然语言处理(NLP)，并不涵盖生成式AI 模型可以执行的全部任务。

使用图灵测试评估 genAI 的另一个问题是，生成式 AI 输出有时只是旨在复制人类行为。 例如，DALL·E的构建目的是根据文本提示创建新的、富有想象力的图像。它的输出从来就不是为了复制人类的反应而设计的。

生成式人工智能在现实世界中的流行用途

当生成式人工智能被用作生产力工具时，它可以被归类为增强人工智能的一种。

这种类型的增强智能在现实世界中的流行用途包括：

• 图像生成： 快速生成和/或操作一系列图像以探索新的创意可能性。
• 文本生成：以不同的写作风格生成新闻文章和其他类型的文本格式。
• 数据增强：当真实数据有限或昂贵时，  生成合成数据来训练机器学习模型。
• 药物发现：生成虚拟分子结构和化合物以 加速新药物的发现。
• 音乐创作：通过创作原创音乐作品，帮助作曲家探索新的音乐理念。
• 风格迁移：将不同的艺术风格应用于同一内容。
• VR/AR 开发：为视频游戏、增强现实平台和元宇宙游戏创建虚拟化身和环境。
• 医学图像：分析医学图像并发布分析报告。
• 内容推荐：为电子商务和娱乐平台创建个性化推荐。
• 语言翻译：将文本从一种语言翻译成另一种语言。
• 产品设计：以虚拟方式生成新的产品设计和概念，以节省时间和金钱。
• 异常检测：创建正常数据模式的虚拟模型，使其他人工智能程序更容易识别制造产品中的缺陷或 发现金融和网络安全中的异常模式。
• 客户体验管理：使用生成式聊天机器人来 回答客户问题并回应客户反馈。
• 医疗保健： 根据多模式患者数据生成个性化治疗计划。
  

使用生成式人工智能的好处和挑战

生成式人工智能的变革性影响已经创造了新型的教育、商业和研究机会。这种影响也引发了一些重要的担忧。

从积极的一面来看，生成式人工智能技术已经被用来提高生产力，并有望让人们将时间和精力转移到更高价值的任务上。在数据有限或获取成本高昂的研究领域，生成式人工智能可以模拟或增强数据，并有助于 加快研究成果的速度。

在制造业中， 生成模型用于生成虚拟原型；在企业中，genAI用于 根据个人喜好定制营销信息。

不利的一面是， 恶意行为者一直在滥用该技术来 克隆声音并 进行网络钓鱼攻击。滥用该技术是有问题的，因为它有可能破坏信任，并可能颠覆经济、社会和政治制度。

关键的部署后考虑因素包括监控模型是否被滥用，并采取保障措施以 平衡负责任的人工智能的进展需求。

预计许多最流行的 genAI 模型将需要频繁更新，以避免 概念漂移并保持产生高质量、相关输出的 能力。

生成式人工智能会在工作场所取代人类吗？

生成式人工智能已经展现出 改变人们工作方式的潜力。

该技术的支持者认为，虽然生成式人工智能将 取代人类的某些工作，但它将创造新的就业机会。人们仍然需要选择正确的训练数据，并为手头的生成任务选择最合适的架构——并且人们将始终在评估模型输出中发挥重要作用。

许多批评者担心，由于生成式人工智能可以 模拟不同的写作和视觉风格，该技术最终会降低人类创作内容的经济价值。

事实上，生成式人工智能在美国最近的作家罢工中发挥了重要作用。这次罢工持续了近五个月，是好莱坞历史上最长的作家罢工。

罢工的关键问题之一是 人工智能在作家工作室的使用。随着人工智能驱动的写作工具 变得越来越容易使用，一些工作室开始使用它们来生成和重写现有脚本。

作家担心使用人工智能会导致失业和内容质量下降。

关于人工智能生成内容的所有权的问题也是罢工的一部分。作家们认为，他们在编辑作品时使用的任何人工智能生成的内容都应该得到认可和补偿。工作室认为，人工智能生成的内容只是一种工具，作者不应因使用该工具而获得荣誉或报酬。

最终，编剧和工作室达成了一项和解，其中包括关于 genAI 可接受使用的条款。虽然和解协议并没有解决作家们的所有担忧，但它确实确立了作家们应该对自己作品中人工智能的使用拥有控制权的原则。它还有助于提高公众对 人工智能对创意产业潜在负面影响的认识。

生成人工智能的伦理问题

生成式人工智能的激增也引发了人们 对该技术在其他行业的道德使用的质疑。  

生成式人工智能最令人不安的方面之一是它容易产生幻觉并产生不相关或不正确的反应。

另一个令人担忧的问题是它在深度赝品的制作和传播中所扮演的角色。这种超现实但完全捏造的内容已经被用来 传播错误信息。

虽然一些企业欢迎生成式人工智能的潜在用途，但其他企业则限制该技术在工作场所的使用，以防止有意和无意的数据泄露。

尽管将 GenAI应用程序编程接口(API)集成到第三方应用程序中使该技术更加用户友好，但也使恶意行为者更容易越狱 生成式 AI 应用程序并在未经个人知情或同意的情况下创建欺骗性内容。这种类型的隐私侵犯尤其令人震惊，因为它有可能造成声誉损害。

生成式人工智能的伦理还存在一个环境维度，因为训练生成模型需要大量的处理能力。大型生成模型可能需要数周（甚至数月）的训练。它涉及使用多个 GPU和/或TPU，这反过来又会消耗大量能源。

尽管以推理模式生成输出消耗的能源较少，但对环境的影响仍然会增加，因为 genAI 已经扩展到每天每分钟数百万用户。

最后但并非最不重要的一点是，使用 网络抓取来 收集数据来训练生成式人工智能模型已经引起了一个全新层面的道德担忧，尤其是在网络出版商中。

网络出版商投入时间、精力和资源来创建和管理内容。当网络内容和书籍在未经许可或经济补偿的情况下被抓取时，本质上就相当于 未经授权的使用或盗窃知识产权。

出版商的担忧凸显了透明、共识和负责任的数据收集实践的必要性。平衡技术进步与genAI 技术的道德和法律使用规则预计将成为政府、行业和个人必须共同应对的持续挑战。     

流行的生成人工智能软件应用程序和浏览器扩展

尽管人们对生成式人工智能技术的开发、部署和使用的道德问题感到担忧，但 genAI 软件应用程序和浏览器扩展由于其在各种应用中的多功能性和实用性而受到了广泛关注。