计划和解决提示:通过大型语言模型改进零样本思维链推理

大语言模型的思维过程

https://github.com/AGI-Edgerunners/Plan-and-Solve-Prompting
最近,大型语言模型 (LLM) 已被证明可以在各种 NLP 任务中提供令人印象深刻的性能。

为了解决多步骤推理任务,少样本思维链(CoT)提示包括一些手动制作的逐步推理演示,使LLM能够显式生成推理步骤并提高推理任务的准确性。

为了消除手动工作,Zero-shot-CoT 将目标问题陈述与“让我们一步一步思考”连接起来,作为LLM的输入提示。

尽管 Zero-shot-CoT 取得了成功,但它仍然存在三个缺陷:计算错误、失步错误和语义误解错误。

为了解决缺失步骤错误,我们提出了 Planand-Solve (PS) Prompting。它由两个部分组成:首先制定计划,将整个任务划分为更小的子任务,然后根据计划执行子任务。

为了解决计算错误并提高生成的推理步骤的质量,我们用更详细的指令扩展了 PS 提示,并派生了 PS+ 提示。我们在三个推理问题的十个数据集上评估了我们提出的提示策略。 GPT-3 上的实验结果表明,我们提出的零样本提示在所有数据集上始终大幅优于零样本 CoT,与零样本思维程序提示相当或超过零样本思维程序提示,并且具有可比的性能对数学推理问题进行 8 次 CoT 提示。


计划和解决提示:通过大型语言模型改进零样本思维链推理
https://chunfei-he.github.io/2024/08/06/计划和解决提示:通过大型语言模型改进零样本思维链推理/
作者
Chunfei He
发布于
2024年8月6日
许可协议