大语言模型的提示词工程（Prompt Engineering）

我们与技术互动的方式在不断发展。最近最令人兴奋的进步之一是人工智能 (AI) 领域，机器经过训练可以像人类一样思考、学习，甚至交流。在生成人工智能等领域的无数发展中，有一种微妙的艺术正在日益受到重视：提示词工程（Prompt Engineering）。

想象一下与一台机器对话，您提供提示词，它会以相关信息或操作进行响应。这就是提示词工程的本质。这是关于制定正确的问题或指令来指导人工智能模型，特别是大型语言模型（LLM），以产生期望的结果。无论您是对最新人工智能感到好奇的技术爱好者，还是希望利用语言模型的力量的专业人士，了解提示词工程都至关重要。

什么是提示词工程？

从本质上讲，提示词工程类似于通过问题来教育孩子。正如措辞良好的问题可以引导孩子的思维过程一样，精心设计的提示也可以引导人工智能模型，尤其是大型语言模型 (LLM)，实现特定的输出。让我们更详细地探讨这个概念。

定义和核心概念

提示工程是设计和完善提示（问题或指令）以引发人工智能模型特定响应的实践。将其视为人类意图和机器输出之间的接口。

在广阔的人工智能领域，模型是在巨大的数据集上进行训练的，正确的提示可能是模型理解你的请求还是误解你的请求之间的区别。

例如，如果您曾经与 Siri 或 Alexa 等语音助手互动过，那么您就已经参与了提示工程的基本形式。您表达请求的方式（“播放一些轻松的音乐”与“播放贝多芬的交响曲”）可能会产生截然不同的结果。

提示词工程的技术方面

提示词工程虽然植根于语言艺术，但与人工智能模型的技术复杂性深深交织在一起。以下是技术方面的详细介绍：

• 模型架构：GPT（生成式预训练 Transformer）和 Google 的 PaLM2（Powering Bard ）等大型语言模型 (LLM)都是基于 Transformer 架构构建的。这些架构允许模型处理大量数据并通过自注意力机制理解上下文。制作有效的提示通常需要了解这些底层架构。
• 训练数据和标记化： LLM 在大量数据集上进行训练，将输入数据标记为更小的块（标记）进行处理。标记化的选择（基于单词、字节对等）可以影响模型解释提示的方式。例如，以不同方式标记的单词可能会产生不同的输出。
• 模型参数：LLM 拥有数百万甚至数十亿个参数。这些参数在训练过程中进行微调，决定模型如何响应提示。了解这些参数和模型输出之间的关系有助于制定更有效的提示。
• Temperature 和 Top-k 采样：在生成响应时，模型使用 temperature 设置和 top-k 采样等技术来确定输出的随机性和多样性。例如，较高的 temperature 设置可能会产生更多样化（但可能不太准确）的响应。提示工程师经常调整这些设置以优化模型输出。
• 损失函数和梯度：在更深层次上，模型在即时响应期间的行为受到其损失函数和梯度的影响。这些数学结构指导模型的学习过程。虽然提示工程师通常不会直接调整这些，但了解它们的影响可以提供对模型行为的见解。

为什么提示词工程很重要

在人工智能驱动的解决方案变得无处不在的时代——从客户服务中的聊天机器人到人工智能驱动的内容生成器——提示词工程是确保有效的人类与人工智能沟通的桥梁。这不仅仅是获得正确答案；这是为了确保人工智能理解每个查询背后的上下文、细微差别和意图。

工程提示的演变

提示词工程虽然是一门相对较新的学科，但却深深植根于自然语言处理（NLP）和机器学习的更广泛的历史中。了解其演变为其当前意义提供了背景。

NLP 的早期

NLP 的起源可以追溯到 20 世纪中叶，随着数字计算机的出现。 NLP 的早期工作是基于规则的，依赖于手动制定的规则和简单的算法。这些系统非常僵化，难以应对人类语言的复杂性和细微差别。

统计 NLP 和机器学习

随着计算能力的增强和数据集的增长，20 世纪末和 21 世纪初出现了向统计方法的转变。机器学习算法开始发挥关键作用，允许更灵活和数据驱动的语言模型。然而，这些模型在理解上下文和生成连贯的长文本方面仍然存在局限性。

基于 Transformer 架构的模型的兴起

2017 年《 Attention is All You Need 》论文中对 Transformer 架构的介绍标志着一个重大转折。 Transformer 凭借其自我关注机制，可以处理大量数据并捕获复杂的语言模式。这导致了 Google BERT 等模型的发展，彻底改变了文本分类和情感分析等任务。

OpenAI GPT 的影响

OpenAI 的生成式预训练 Transformer (GPT) 系列，特别是 GPT-2 和 GPT-3，将 Transformer 提升到了一个新的水平。这些模型拥有数十亿个参数，展示了前所未有的生成连贯、上下文相关且通常与人类文本难以区分的能力。 GPT 模型的兴起强调了提示工程的重要性，因为输出的质量在很大程度上依赖于提示的精度和清晰度。

今天的提示词工程

随着基于 Transformer 的模型在工业、研究和日常应用中的广泛采用，提示词工程已成为一门重要的学科。它是确保有效利用这些强大模型的桥梁，使人工智能工具更易于使用和用户友好。

无论是通过生成式 AI 释放创造力，还是使用 ChatGPT 进行数据科学项目，了解提示的工作原理都变得越来越重要。

提示词工程的最新发展

截至 2024 年初，提示词工程领域继续快速发展，反映了人工智能及其应用的动态本质。最近的进步极大地影响了我们与人工智能模型，特别是大型语言模型（LLM）的交互方式。以下是一些关键进展：

增强语境理解

LLM 最近取得的突破，特别是在 GPT-4 等模型中，在理解背景和细微差别方面表现出了显着的进步。这些模型现在能够更好地解释复杂的提示，考虑更广泛的背景，并提供更准确和细致的响应。这种飞跃部分归因于更复杂的训练方法，涉及多样化和广泛的数据集，使模型能够更有效地掌握人类交流中的微妙之处。

适应性提示技巧

自适应提示是一种新兴趋势，人工智能模型正在开发中，以根据用户的输入风格和偏好调整其响应。这种个性化方法旨在使与人工智能的交互更加自然和用户友好。例如，如果用户倾向于提出简洁的问题，人工智能就会适应提供简洁的答案，反之亦然。这一发展在增强虚拟助理和聊天机器人等人工智能驱动应用程序的用户体验方面特别有前景。

多模态提示工程

人工智能模型中多模态功能的集成开辟了提示词工程的新领域。多模式模型可以处理和响应包括文本、图像，有时甚至是音频输入的混合提示。这一进步意义重大，因为它为更全面的人工智能应用铺平了道路，这些应用可以更接近地模仿人类感知和交流的方式理解和交互。

实时提示优化

实时提示优化技术的进步使得人工智能模型能够提供有关提示有效性的即时反馈。该技术可以评估提示的清晰度、潜在的偏见以及与预期结果的一致性，并提供改进建议。这种实时指导对于新手和经验丰富的用户来说都是无价的，它简化了制作有效提示的过程。

与特定领域模型的集成

提示词工程也正在与特定领域的人工智能模型集成。这些专门的模型根据特定行业的数据进行训练，可以对医学、法律和金融等领域的提示做出更准确、更相关的响应。提示词工程与这些定制模型的结合增强了人工智能在专业领域的精度和实用性。

制作提示的艺术与科学

制作有效的提示既是一门艺术，也是一门科学。它是一门艺术，因为它需要创造力、直觉和对语言的深刻理解。它是一门科学，因为它基于人工智能模型如何处理和生成响应的机制。

提示的微妙之处

提示中的每个词都很重要。措辞的微小变化可能会导致人工智能模型的输出显着不同。例如，要求模型“描述埃菲尔铁塔”与“讲述埃菲尔铁塔的历史”将产生不同的反应。前者可能提供物理描述，而后者则深入研究其历史意义。

了解这些细微差别至关重要，尤其是在与 LLM 合作时。这些模型经过大量数据集的训练，可以根据收到的提示生成各种响应。这不仅仅是问一个问题；这是关于以符合您期望的结果的方式来表达它。

我们在使用 Midjourney创建视觉效果的过程中看到了这一点- 为“太空飞船”一词的提示添加权重之间的区别可以产生科幻太空飞船的图像或一艘穿越太空的船只的图像。

图片来源：Midjourney

提示的关键要素

让我们看看构成良好提示的几个方面：

• 操作说明。这是提示的核心指令。它告诉模型你想要它做什么。例如，“总结以下文本”为模型提供了明确的操作。
• 语境。上下文提供了额外的信息，帮助模型理解更广泛的场景或背景。例如，“考虑到经济衰退，提供投资建议”为模型提供了一个框架其响应的背景。
• 输入数据。这是您希望模型处理的特定信息或数据。它可以是一个段落、一组数字，甚至是一个单词。
• 输出指示器。该元素在角色扮演场景中特别有用，它可以指导模型所需响应的格式或类型。例如，“按照莎士比亚的风格，重写以下句子”为模型提供了风格方向。

在使用 ChatGPT 的过程中，我们研究了该工具良好提示的一些具体示例。

提示词工程技术

制作完美的提示通常需要进行实验。以下是一些可以提供帮助的技巧：

基本技术

普通用户可以使用这些技巧来改善提示。

• 角色扮演。通过使模型充当特定实体（例如历史学家或科学家），您可以获得量身定制的响应。例如，“作为营养师，评估以下饮食计划”可能会产生基于营养科学的响应。
• 迭代细化。从广泛的提示开始，然后根据模型的响应逐渐完善它。这个迭代过程有助于将提示磨练到完美。
• 反馈回路。使用模型的输出来通知和调整后续提示。这种动态交互可确保模型的响应随着时间的推移与用户期望更加一致。

先进技术

在这里，我们看到了更复杂的策略，需要更深入地了解模型的行为。

• Zero-shot 提示。该技术涉及向模型提供在训练期间未见过的任务。它测试模型在不依赖先前示例的情况下泛化和生成相关输出的能力。
• 少量提示/情境学习。在这里，模型给出了一些示例来指导其响应。通过提供上下文或先前的实例，模型可以更好地理解并生成所需的输出。例如，在要求模型翻译新句子之前，向模型显示几个翻译句子的示例。
• 思想链（CoT）。这种先进的技术涉及通过一系列推理步骤指导模型。通过将复杂的任务分解为中间步骤或“推理链”，该模型可以实现更好的语言理解和更准确的输出。这类似于指导某人逐步解决复杂的数学问题。

特殊性与开放性的平衡

虽然提示的特异性可以带来更准确的响应，但让提示稍微开放也很有价值。这使得模型能够利用其大量的训练并提供可能不会立即显而易见的见解或答案。例如，“告诉我一些关于太阳系的有趣事情”是开放式的，但可以从模型中产生令人着迷的见解。

提示词工程如何运作

制作初始提示仅仅是开始。为了真正利用人工智能模型的力量并确保它们符合用户意图，完善和优化提示至关重要。这个迭代过程是艺术和科学的融合，需要直觉和数据驱动的洞察力。

1. 创建适当的提示

以下是为 AI 工具创建提示的一些一般规则：

• 清晰度是关键。确保提示清晰无歧义。避免使用行话，除非上下文有必要。
• 尝试角色扮演。正如前面所讨论的，让模型承担特定的角色可以产生更有针对性的响应。
• 使用约束。设置边界或约束可以帮助引导模型获得所需的输出。例如，“用三句话描述埃菲尔铁塔”提供了明确的长度限制。
• 避免引导性问题。引导性问题可能会使模型的输出产生偏差。保持中立以获得公正的回应至关重要。

2. 迭代和评估

细化提示的过程是迭代的。这是一个典型的工作流程：

• 起草初始提示。基于手头的任务和所需的输出。
• 测试提示。使用 AI 模型生成响应。
• 评估输出。检查响应是否符合意图并符合标准。
• 细化提示。根据评估结果进行必要的调整。
• 重复。继续此过程，直到达到所需的输出质量。

在此过程中，还必须考虑不同的输入和场景，以确保提示在各种情况下的有效性。

3. 校准和微调

除了完善提示本身之外，还可以校准或微调人工智能模型。这涉及调整模型的参数以更好地与特定任务或数据集保持一致。虽然这是一项更先进的技术，但它可以显着提高模型针对专门应用程序的性能。

提示词工程师的角色

随着人工智能不断塑造行业并重新定义我们与技术互动的方式，一个新的角色已经出现在最前沿：提示词工程师。这一角色对于弥合人类意图和机器理解之间的差距至关重要，确保人工智能模型有效沟通并产生相关输出。

人工智能的新职业道路？

自然语言处理 (NLP) 的快速进步和大型语言模型 (LLM) 的广泛采用，为能够制作有效提示的专家创造了一个利基但至关重要的需求。这些被称为提示词工程师的人不仅是技术人员，而且是了解语言、上下文和人工智能行为的细微差别的艺术家。

据《时代》杂志报道，从科技巨头到初创公司，公司都正在认识到专业提示词工程角色的价值。随着人工智能驱动的解决方案越来越多地集成到产品和服务中，提示词工程师的专业知识可确保这些解决方案有效、用户友好且与环境相关。

Indeed 和 LinkedIn 等招聘网站已经列出了仅在美国就有数千个提示词工程师职位，年薪从 50,000 美元到 150,000 美元以上不等。

提示词工程的技术技能

根据具体的角色及其技术程度，提示词工程师需要在多个技术领域打下坚实的基础：

• 对 NLP 的理解：对自然语言处理技术和算法的深入了解至关重要。
• 熟悉 LLM：拥有 GPT、PaLM2 等模型和其他新兴模型及其底层架构的经验。
• 实验和迭代：能够根据模型输出测试、细化和优化提示。
• 数据分析：分析模型响应、识别模式并做出数据驱动的决策。

提示词工程的非技术技能

虽然技术能力至关重要，但提示词工程师还需要一套非技术技能：

• 沟通：传达想法、与团队协作以及了解用户需求的能力。
• 主题专业知识：根据应用的不同，特定领域的知识可能非常宝贵。
• 语言能力：掌握语言、语法和语义，以制定有效的提示。
• 批判性思维：评估模型输出、识别偏差并确保符合道德的人工智能实践。
• 创造力：跳出框框思考，尝试新的提示样式，并创新解决方案。

这些软技能与技术专长相结合，使提示词工程师的角色既具有挑战性又富有回报，为人类与人工智能协作的新时代铺平了道路。

提示词工程的未来

当我们站在人工智能驱动时代的风口浪尖时，提示词工程将在塑造人类与人工智能交互的未来方面发挥关键作用。该领域虽然相对新生，但拥有巨大的前景和增长潜力。

持续的研究和开发

人工智能的世界是动态的，研究和创新不断涌现。在提示词工程的背景下：

• 自适应提示。研究人员正在探索模型如何根据上下文自适应地生成自己的提示，从而减少手动输入的需要。
• 多模式提示。随着可以处理文本和图像的多模式人工智能模型的兴起，提示工程的范围正在扩大到包括视觉提示。
• 道德提示。随着人工智能道德日益受到重视，人们开始关注制定确保公平、透明和减少偏见的提示。

长期价值和相关性

提示词工程不仅仅是一种转瞬即逝的趋势。随着人工智能模型变得越来越复杂并集成到从医疗保健到娱乐的各种应用中，有效沟通的需求变得至关重要。提示词工程师将是确保这些模型易于访问、用户友好且与环境相关的关键。

此外，随着人工智能的民主化，越来越多没有技术专业知识的人开始与这些模型进行交互，提示词工程师的角色将会演变。他们将负责创建直观的界面，制作用户友好的提示，并确保人工智能仍然是增强人类能力的工具。

挑战与机遇

与任何新兴领域一样，提示词工程也面临着一系列挑战：

• 模型的复杂性：随着模型规模和复杂性的增加，制作有效的提示变得更具挑战性。
• 偏见和公平：确保提示不会无意中引入或放大模型输出中的偏差。
• 跨学科合作：提示词工程处于语言学、心理学和计算机科学的交叉点，需要跨学科的合作。

然而，这些挑战也蕴藏着机遇。它们推动创新，促进跨学科合作，并为下一代人工智能工具和解决方案铺平道路。

总结

人工智能领域广阔、复杂且不断发展。当我们经历了复杂的提示词工程时，很明显，这个领域不仅仅是一个技术努力，它还是人类意图和机器理解之间的桥梁。这是提出正确问题以获得所需答案的微妙艺术。

提示词工程虽然是一门相对较新的学科，但却是释放人工智能模型（尤其是大型语言模型）全部潜力的关键。随着这些模型越来越融入我们的日常生活，有效沟通的重要性怎么强调也不为过。无论是帮助完成日常任务的语音助手、提供客户支持的聊天机器人，还是帮助研究人员的人工智能工具，交互的质量都取决于指导它们的提示。

对于数据爱好者、专业人士甚至普通公众来说，理解提示词工程不仅仅是更好的人工智能沟通。这是关于展望未来，人工智能将无缝融入我们的生活，增强我们的能力并丰富我们的体验。

当我们站在这个节骨眼上时，提示词工程的未来是光明的，充满了需要克服的挑战和需要实现的里程碑。对于那些对该领域感兴趣的人来说，旅程才刚刚开始。