一分钟了解思路链提示词（Chain-of-thought Prompting）
一分钟了解思路链提示词（Chain-of-thought Prompting）
A Minute to Know About Chain-of-thought Prompting
By Jackson@ML
1. 提示词工程
提示词工程(Prompting Engineering) 是人工智能领域的一个概念，和自然语言处理相关。随着ChatGPT的广泛应用，提示词工程涉及的任务描述嵌入到输入中。
提示词工程是一种近年流行的、相对比较新的领域；研究者可能将其列入特定学科。提示词工程旨在开发和优化提示词，以高效地利用大语言模型（Large Language Models, LLMs）进行各种应用和研究主题。
提示词工程技能有助于更好地理解大型语言模型（LLMs）的能力和局限性。研究人员使用提示词工程来提高LLM在各种常见和复杂任务（如问答和算术推理等）方面的能力。开发人员使用提示工程设计与LLM及其他工具接口的强大而有效的提示技术。
提示词工程不仅仅是设计和开发提示词，它还涵盖了广泛的技能和技术，这些技能和技术在与LLM互动和开发时非常有用。这是一项重要的技能，用于与LLM接口、构建和理解LLM的功能。
用户可以使用良好的提示词工程来提高LLM的安全性，并构建新的功能，例如将领域知识和扩展功能附加到LLM上。
2. 提示词示例
自然语言生成(Natural Language Generation, NLG) 中有一项标准任务是文本摘要(Text Summarization)。
文本摘要可包含许多不同风格和领域。事实上，语言模型最有前景的应用之一，就是把文章和概念总结成快速且易于阅读的摘要。
以下是提示词示例，假设对antibiotics(抗生素)进行英文提问。
提示词：
输出如下：
“A:“是一种明确的提示格式。在问答中使用它，可以告诉模型后面会有一个预期的答案。
3. 思路链提示词
思路链(Chain-of-thought, CoT) 是文本提示词(Textual prompting) 相关的一种技术，从文本输入到文本输出，通过大语言模型(LLMs)生成一系列中间步骤来提高LLM的推理(reasoning)能力，以完善和增强最终输出的答案。
思路链技术于2022年由谷歌研究人员首次提出。思路链提示词也翻译成“链式思维提示词“。
4. 思路链与直接提示词对比
根据上述概念，我们来看一下思路链与传统的直接提示词对比效果。
如下图所示。
思路链提示词鼓励大语言模型展示推理过程，以提高理解度和正确率。
根据示例，我们了解到它是通过在提示词中纳入逻辑思维步骤 – 或称为“思路链“（Chain-of-Thought, CoT）的模式来增强大语言模型(LLMs)推理能力的技术。它与直接提示词不同，CoT引导模型基于中间推理步骤，增强推理能力，使其更擅长解决复杂任务，如数学问题、常识推理和符号操作等。
5. 思路链提示词示例
一个典型的思路链提示词示例如下，来自于promptingguide.ai。
左侧是标准提示词(Standard Prompting)，右侧则是思路链提示词(Chain-of-thought Prompting)。
这个研究实例，来自康奈尔大学(Conell University)的Jason Wei及其团队关于《思维链提示词引出大模型的推理》的研究成果。
下面这段描述也许对读者理解CoT有所帮助。
“我们探索了生成思维链（即一系列中间推理步骤）如何显著提高大型语言模型执行复杂推理的能力。值得一提的是，我们展示了这种推理能力如何通过一种简单的方法自然地在足够大的语言模型中出现，称为思维链提示词，其中提供了一些思维链示例作为提示的典范。
在三个大型语言模型上的实验表明，思维链提示在一系列算术、常识和符号推理任务上改善了性能。
实证增益可以非常显著。例如，仅用八个思维链示例提示一个540B参数的语言模型，就在数学文字问题的GSM8K基准测试中达到了最先进的准确性，甚至超过了带验证器的微调GPT-3。“
我们来看看具体的提示词：
输出结果：
这下子，我们看到提供推理步骤时，输出了完美的结果。事实上，我们可以通过提供更精简的例子来解决这个问题。
关于人工智能的技术好文将陆续推出。
敬请关注、收藏和点赞👍。
您的认可，我的动力！😃
推荐阅读：
- 一分钟了解Transformer
- 一分钟了解Kubernetes
- 一分钟了解MCP
- 一分钟了解机器学习
- 一分钟了解大语言模型(LLMs)
- 一分钟了解深度学习
- 一分钟了解manus - 全球首款通用AI Agent
- 用Streamlit开发第一个Python应用程序
- 最经典的20本Python编程图书