研究发现：AI聊天机器人变得越强就越有可能胡说八道

  9月26日消息，据外媒报道，经过对三个主流AI聊天机器人的升级和扩展版本的研究，发现这些机器人更倾向于提供错误答案，而不是承认自己的无知。评估还揭示了人们在识别这些错误答案方面的不足。

  大模型作为驱动聊天机器人的核心，有时会出错或对查询产生奇怪的“幻觉”反应。西班牙瓦伦西亚人工智能研究所的José Hernández-Orallo及其同事对这些错误进行了深入分析，以观察随着模型规模的增大——使用更多的训练数据、涉及更多的参数或决策节点并消耗更多的计算能力——这些错误是如何变化的。他们还探讨了错误的可能性是否与人对问题难度的感知相匹配，以及人们识别错误答案的能力如何。这项研究于9月25日发表在《自然》杂志上。

  该团队发现，正如预期的那样，更大、更精细的LLM版本由于采用了诸如基于人类反馈的强化学习等微调方法，变得更加准确。这是个好消息。但它们变得不那么可靠：在所有不准确的回答中，错误答案的比例有所增加，团队报告称，因为模型不太可能避免回答问题，例如，通过说他们不知道，或者改变话题。

  “如今它们几乎回答所有问题。这意味着更多正确的答案，但也有更多不正确的答案。”Hernández-Orallo说。