大模型具有多步推理能力吗？对于 GPT 来说，答案是有的，但具有一定限制的能力—Chain-of-Thought（COT），即思维链。
在这篇文章中$^{[1]}$，作者认为仅通过范例，对于推理任务，如数学计算、应用推理等，很难给出正确答案，如下图左边。
而 Chain-of-Thoughts（CoT）就是在用户输入的时候，对于范例加入推理的过程输入，如上图右边蓝色部分，期待模型能在输出的时候，也能给出推理部分，这样回答正确的概率就会高很多，如上图绿色部分。
更多的示例，包括数学问题推理，数据理解等：
从作者的实验中看，Standard Prompting（就是指 In-Context Learning）就是给定一般的范例，没有推理过程，只有18%的正确率，而 CoT Prompting 却高达57%。
有时候如果示例中无法给出推理过程怎么办？甚至说，不给示例能不能？这篇文章$^{[2]}$的作者发现，这个时候居然只需要加一句“Let‘s think step by step”，模型居然能推理了！而且不需要任何示例，如图右下角：
对于数学推理问题，如果让模型直接给出答案，往往重复几次都是固定的输出，他有可能错也有可能对，但是如果让模型“Step by Step”给出推理过程，输出往往有多种形式，因此 Self-consistency 的概念就是让模型多次对一个输入进行推理，最后以多数投票法进行对答案的投票，哪个答案输出的多就是最终答案。
在文章 [4] 中（以及在让模型自己想 Prompt 也提到），作者用模型自己设计出的指令达到了最好的效果：