毕马威AI报告遭幻觉反噬:45条引文准确率仅11%
最近有个事儿在行业里挺有意思的——毕马威的一份AI报告,被自家引用的案例给“反噬”了。
事情是这样的。去年10月,毕马威发布了一份名为《总体体验:在智能体AI时代重新定义卓越》的报告。结果被英国《金融时报》抓了个正着:里面列举的多个智能体AI案例,要么根本不存在,要么压根儿不具备报告里描述的能力。说白了,就是典型的AI幻觉问题。
毕马威是谁?全球“四大”会计师事务所之一,和德勤、普华永道、安永并肩,妥妥的资本市场“看门人”。职责是维护经济秩序,监督企业行为。这么一家机构的报告,按理说应该是最严谨的。可调查结果一出来,让人大跌眼镜:报告总共45条引文,只有5条准确对应了真实来源。
具体来看,28条引文对原始来源标题做了改写,或者添油加醋塞进了一些原内容里没有的东西;还有12条引文表述模糊到无法核实。更致命的是,报告中大约一半的核心主张本身就有问题——要么内容是伪造的,要么来源归属彻底搞错了。
问题出在哪儿?AI内容检测工具GPTZero的分析给出了一个猜测:这些错误很可能源于AI研究工具“过度迎合”了指令。当它被要求寻找现实世界中智能体AI的真实案例时,为了给出答案,硬生生拼凑出了不可靠的结果。说白了,机器为了完成任务,编造了“事实”。
举个例子。毕马威在报告中声称,阿联酋航空推出了一款名叫Sara的移动聊天机器人,不仅能和乘客对话,还能直接更改航班预订。但实际上呢?Sara只是移动助手,根本不是AI聊天机器人,也压根不具备修改预订的功能。再比如,报告说瑞银已经全面整合了智能体,结果瑞银自己跳出来回应:“与事实不符。”
GPTZero的CEO对此直言——如果“四大”这种级别的机构都发布充满错误的研究报告,那后果就是“污染信息源”,进而引发更广泛的二手AI幻觉。这就像多米诺骨&牌,第一块倒了,后面就跟着全乱。
目前,毕马威已经撤下了这份报告,并表示“正在审查报告发布前后的情况”。其发言人也回应称,公司一直严肃对待所发布内容的准确性和完整性。
