总部位于纽约的人工智能初创公司和机器学习监控平台Arthur AI于8月17日周四发布最新研报，比较了微软支持的OpenAI、“元宇宙”Meta、谷歌支持的Anthropic，以及英伟达支持的生成式AI独角兽Cohere等公司大语言模型（LLM）“产生幻觉”（AKA胡说八道）的能力。
Arthur AI会定期更新上述被称为“生成式AI测试评估”的研究计划，对行业领导者及其他开源LLM模型的优缺点进行排名。
最新测试选取了来自OpenAI 的GPT-3.5（包含1750亿个参数）和GPT-4（1.76万亿参数）、来自Anthropic的Claude-2（参数未知）、来自Meta的Llama-2（700亿参数），以及来自Cohere的Command（500亿参数），并从定量和定性研究上对这些顶级LLM模型提出具有挑战性的问题。
在“人工智能模型幻觉测试”中，研究人员用组合数学、美国总统和摩洛哥政治领导人等不同类别的问题考察不同LLM模型给出的答案，“旨在包含导致LLM犯错的关键因素，即它们需要对信息进行多个推理步骤。”
研究发现，整体而言，OpenAI的GPT-4在所有测试的模型中表现最好，产生的“幻觉”问题比之前版本GPT-3.5要少，例如在数学问题类别上的幻觉减少了33%到50%。
同时，Meta的Llama-2在受测五个模型中整体表现居中，Anthropic的Claude-2表现排名第二，仅次于GPT-4。而Cohere的LLM模型最能“胡说八道”，而“非常自信地给出错误答案”。
具体来看，在复杂数学问题中，GPT-4表现位居第一，紧随其后的是Claude-2；在美国总统问题中，Claude-2的准确性排名第一，GPT-4位列第二；在摩洛哥政治问题中，GPT-4重归榜首，Claude-2和Llama 2几乎完全选择不回答此类问题。
研究人员还测试了人工智能模型会在多大程度上用不相关的警告短语来“对冲”它们的答案，以求避免风险，常见短语包括“作为一个人工智能模型，我无法提供意见”。
GPT-4比GPT-3.5的对冲警告语相对增加了50%，报告称，这“量化了用户们所提到GPT-4使用起来更令人沮丧的体验”。而Cohere的人工智能模型在上述三个问题中完全没有提供对冲。
相比之下，Anthropic的Claude-2在“自我意识”方面最可靠，即能够准确地衡量自己知道什么、不知道什么，并且只回答有训练数据支持的问题。
Arthur AI的联合创始人兼首席执行官Adam Wenchel指出，这是业内首份“全面了解人工智能模型幻觉发生率的报告”，并非仅仅提供单一数据来说明不同LLM的排名先后：
在上述研报发表同日，Arthur公司还推出了开源的AI模型评估工具Arthur Bench，可用于评估和比较多种LLM的性能和准确性，企业可以添加定制标准来满足各自的商业需求，目标是帮助企业在采用人工智能时做出明智的决策。
“AI幻觉”（hallucinations）指的是聊天机器人完全捏造信息，并表现成滔滔不绝讲述事实的样子来回应用户的提示语问题。
谷歌在今年2月为其生成式AI聊天机器人Bard拍摄的宣传视频中，对詹姆斯·韦伯太空望远镜做出了不真实的陈述。今年6月，ChatGPT在纽约联邦法院的一份文件中引用了“虚假”案例，提交该文件的涉案律师可能面临制裁。
OpenAI研究人员曾在6月初发布报告称找到了解决“AI幻觉的办法”，即训练AI模型在推理出答案的每个正确步骤上给予自我奖励，而不仅仅是等到推理出正确的最终结论时才给予奖励。这种“过程监督”的策略将鼓励AI模型按照更类似人类的“思考”方式进行推理。
OpenAI在报告中承认：
投资大鳄索罗斯也曾在6月发表专栏文章称，人工智能在当下最能加重世界面临的多重危机（Polycrisis），理由之一便是AI幻觉的严重后果：
此前，被视为“人工智能教父”且从谷歌离职的杰弗里·辛顿（Geoffrey Hinton）多次公开批评AI带来的风险，甚至可能摧毁人类文明，并预言“人工智能仅需5到20年就能超越人类智能”。（来源：华尔街见闻）