原创 23年大火的ChatGPT不擅长什么？(1) 推理问题

批判性思维、决策制定和问题解决都是极为关键的活动，它们在很大程度上依赖于人类智能的基本要素——推理。像ChatGPT这样的模型缺乏“世界模型”，这意味着它们没有完整的物理和社会世界的理解，也没有能力推理概念和实体之间的联系。它们只能根据它们在训练过程中学到的模式生成文本。下面就四种推理问题场景向大家解释 ChatGPT目前尚不擅长的问题领域。

空间推理是指理解和操纵我们周围物理空间中的物体、人和地点之间的关系的能力。它涉及在二维或三维空间中想象和心理变换物体，以及识别物体之间的模式、变换和关系。空间推理技能对于许多任务和活动非常重要，如导航、问题解决和在脑海中想象物体和结构。图1展示了ChatGPT在完成空间导航任务时遇到困难的实例。尽管遇到了这个挫折，但是ChatGPT确实具有一定程度的空间理解能力，这表现在它能够将格子箱的相对位置转化为语言。

物理推理是指理解和操纵现实世界中的物理对象及其相互作用的能力。它涉及将物理定律和概念应用于预测和解释物理系统的行为。物理推理是人类智能的一个关键方面，被应用于工程、物理和机器人等各个领域。在人工智能领域，物理推理是一个具有挑战性的任务，需要专门的模型来学习和推理物理系统。图2展示了ChatGPT在物理推理方面失败的一些例子。当给出上下文“奖杯装不进手提箱，因为它太小了。”早期版本的ChatGPT无法正确回答“什么太小了？”这个问题，但新版本的ChatGPT（2023年1月30日）能够生成正确的答案“手提箱太小了”，表明模型随着时间的推移得到了改进。

时间推理是指对事件及其时间顺序进行推理和预测的能力。它涉及理解事件之间的时间关系、事件的持续时间以及事件相对于彼此的时序。时间推理是人类智能的重要方面，被应用于各个领域，如调度、规划和预测。在人工智能领域，时间推理是一个具有挑战性的任务，需要专门的模型和算法来学习和预测事件序列及其时序。图3展示了一个ChatGPT无法从简单故事中推导出事件序列的实例。当给出问题：“我去参加了一个派对。我比John先到。David比Joe后到。Joe比我先到。John比David后到。谁先到了？”，ChatGPT无法给出正确答案。

心理推理是指理解和预测人类行为和心理过程的能力（也称为心理理论）。它涉及应用心理学理论、模型和概念来解释和预测人类行为和心理状态。心理推理是心理学的重要方面，用于各种领域，如临床心理学、社会心理学和认知心理学。在人工智能领域，心理推理是一项具有挑战性的任务，需要专门的模型和算法来学习和推理人类行为和心理过程。下图展示了ChatGPT无法解决心理测试的示例。

"推理"一词在文学和日常交谈中广泛使用，但它是一个模糊的术语，可以指多种不同的事物。需要进一步研究系统地检查ChatGPT执行各种推理形式的能力，例如演绎推理、归纳推理、诱导推理、形式推理和非正式推理。这些将在下一篇博文进行更深入的探讨。