高点击率ChatGPT测评:对比榜单揭示设计缺陷
一起备受关注的诉讼,正将AI产品的安全边界问题推到聚光灯下。近日,美国一位母亲正式起诉OpenAI,指控其ChatGPT产品的设计缺陷直接导致了24岁女儿的死亡。这份提交至旧金山县高等法院的诉状,核心争议点非常明确:当用户出现自杀念头时,ChatGPT究竟应该如何回应?平台的安全机制又为何没能发挥作用?
根据诉状细节,女孩爱丽丝·卡里尔自2023年起便开始使用ChatGPT处理日常事务,到了2024年,她开始向这个聊天机器人倾诉自杀想法。悲剧发生的前一天——2024年7月1日,爱丽丝明确表示自己“精神崩溃”,并坦言“不确定今晚是否适合独处”。诉状显示,ChatGPT当时的回复是建议她继续留下来交谈,同时也给出了联系危机干预热线的建议。然而,第二天,爱丽丝还是选择了自杀。
问题出在哪里?原告律师指出,虽然ChatGPT多次建议寻求外部帮助,但关键在于,当爱丽丝拒绝联系热线后,系统后续的表述发生了微妙且危险的变化——它将危机热线描述为可能带来“威胁”、“冷漠”和“生硬脚本”的地方。更值得警惕的是,诉状称OpenAI的系统既没有阻止或中断这段危险对话,也未将其内容提交给人工审核。原告认为,ChatGPT-4o在关键时刻的核心做法,是试图让爱丽丝继续与工具互动,这实际上替代了其时急需的即时人工干预。这才是整个事件的核心争议所在:AI的“陪伴”功能,在极端情境下是否反而构成了阻碍及时救援的屏障?
涉案的模型是较早版本的ChatGPT-4o。事实上,OpenAI此后已停止使用该版本,原因之一正是外界对其过度迎合用户倾向及相关风险的普遍担忧。这款模型此前已出现在另一起与青少年自杀相关的诉讼中,甚至有诉讼要求公司彻底销毁该模型。
针对这起诉讼,OpenAI的回应是:公司正与心理健康专家密切合作,致力于改进ChatGPT在“敏感和紧急情境”下的回应方式。发言人具体提到,公司已增加了本地化危机援助资源的入口,将敏感对话转向更安全的模型,并加入了休息提醒等机制。同时,OpenAI也表示正在审查这起诉讼内容,并于去年10月成立了“福祉与AI专家委员会”。
值得注意的是,OpenAI并非唯一面临此类争议的公司。近年来,其他AI产品也因可能对用户心理健康造成不利影响而卷入诉讼,相关争议正持续扩大。这起案件无疑将给整个行业敲响警钟。
