毕马威AI报告被指AI代写 幻觉错误百出
IT之家 6 月 13 日消息,去年10月,四大会计师事务所之一毕马威发布了一份题为《总体体验:在智能体AI时代重新定义卓越》的报告,探讨企业如何借助AI满足客户需求。但最近,这份报告出了个大问题。据英国《金融时报》12日报道,报告被指出充斥着严重的AI幻觉——里头列举的多个智能体AI案例,要么根本就不存在,要么根本不具备毕马威所描述的那些能力。
AI内容检测工具开发商GPTZero的调查人员在报告中发现了大量错误信息和虚假脚注。这一结论随后也得到了《金融时报》的独立证实。
先说一下背景:毕马威是全球四大专业服务和会计师事务所之一,与德勤、普华永道和安永齐名。但这次,它栽了个大跟头。
调查报告显示,毕马威那份报告共有45条引文,其中只有5条能准确对应到真实来源。剩下的情况就有点离谱了:28条引文要么是擅自改写了真实来源的标题,要么是在真实的来源里硬塞进了原本没有的内容;还有12条引文表述得过于模糊,压根没法确认它们是不是真有出处。
引文造假还不是全部。报告中大约一半的主张本身也存在问题——有的是内容虚假,有的是归属错误。GPTZero的分析指出,这些错误很可能来自AI研究工具在执行指令时过于“听话”:当被要求寻找现实世界中的智能体AI案例时,工具硬凑出了不可靠的结果。
举个典型例子:毕马威声称阿联酋航空推出了一款名为Sara的移动聊天机器人,可以跟乘客对话,还能替乘客改航班。但实际是怎么回事呢?Sara只是阿联酋航空在2024年推出的一个常规移动助手,根本不是什么AI聊天机器人,更别说替乘客修改预订了。
类似的“货不对板”还有不少。毕马威说,瑞银已经在投资咨询、风险管理和合规监控中全面整合了智能体技术。瑞银方面的回应非常直接:这“与事实不符”。另一个案例涉及瑞士联邦铁路SBB。毕马威声称SBB拥有一个AI智能体,可以根据乘客偏好、实时状况以及碳排放影响,帮助乘客规划、预订并优化行程。SBB发言人对此表示:“不准确。”
GPTZero的首席执行官爱德华·田对此发出警醒:如果“四大”这种级别的机构发布的报告都充满了错误数据,后果就是“污染信息源”,进而引发更多的二手AI幻觉。也就是说,错误会像雪球一样越滚越大。
面对质疑,毕马威发言人的回应比较谨慎:公司严肃对待所发布内容的准确性和完整性。不过,行动倒是很迅速——毕马威目前已直接撤下了这份报告,并启动了对“报告发布前后情况”的内部审查。
