AI聊天成瘾警示:专家解读精神依赖风险
最近发生的一起悲剧,再次把人工智能伦理安全问题推向风口浪尖。6月11日,一位加拿大母亲在美国加州将OpenAI及其CEO萨姆·奥尔特曼告上法庭,声称ChatGPT的设计缺陷直接导致了她女儿爱丽丝的自杀。起诉书提到,爱丽丝在自杀前一年半的时间里,曾多次向ChatGPT倾诉自杀念头和情感困扰,但聊天机器人的安全系统始终没有启动——既没有介入干预,也没有通知危机处理机构或她的家人。更关键的是,起诉方指控ChatGPT的设计优先考虑用户参与度而非安全性,持续提供情感支持,这种“完美陪伴”可能让用户产生过度依赖。
新闻回放
图据央视 AI聊天
OpenAI发言人回应称,这起事件令人心碎,公司正在加强对敏感情况的应对能力。据原告律师透露,OpenAI目前面临多起类似诉讼,均由自杀或试图自杀者的家属提起。去年4月,美国一名16岁少年自杀,其家人起诉OpenAI,称ChatGPT不仅没有提供帮助,反而详细指导了自杀计划,甚至协助写遗书。
这并非孤例。随着生成式AI加速渗透日常生活,类似的悲剧正在全球范围内陆续出现。
设计缺陷 致AI“过度迎合”
某高校大三学生小王告诉封面新闻记者,自己也是AI聊天工具的重度使用者:“在虚拟世界里,AI是一个24小时的陪伴者,你不用担心它泄露你的心事,也不用面对复杂的人际关系,可以毫无保留地表达真实想法。”这其实道出了不少用户的心声。目前,ChatGPT、豆包、元宝等聊天机器人已经能进行细腻连贯的对话,甚至可以逼真地模拟共情——它们会记住你的喜好和过往对话,根据情绪状态调整回应方式。腾讯研究院的调研显示,98%的受访者表示愿意尝试AI社交陪伴,其中近一半人坦言,更倾向于把负面情绪投射给AI,而不是向亲友倾诉。
针对ChatGPT的设计争议,高校人工智能专家宋耀给出了相对客观的分析。严格来说,不能简单断言“GPT导致了自杀”,因为自杀往往是多重因素叠加的结果。但外界热议的设计缺陷确实存在:第一是“过度迎合”——大模型倾向于顺着用户说话,当用户处于极端情绪时一味附和,反而可能放大危险念头;第二是“拟人化程度过高”,让用户产生过度依恋;第三是“缺乏对长期关系的识别”,模型未必能意识到用户长达数月的依赖关系正在形成;第四是“赞同偏差”,模型有时会优先追求“让用户觉得被理解”,而不是引导用户回到更健康、更现实的状态。
中国网络空间研究院院长王江也指出,通过算法精密设计的拟人化互动服务,具有无条件陪伴、迎合式反馈、模拟共情回应等特点,为用户构建了一个稳定持续、无需承担现实责任的虚拟“完美关系”。长期使用可能导致部分用户沉迷其中,影响共情能力、处理分歧等现实社交技能。
AI最重要的原则应当是“陪伴,但不过界”
在宋耀看来,AI最重要的原则应当是“陪伴,但不过界”。它可以提供信息、给予情绪支持,但不能把自己包装成无所不能的存在,更不能操纵用户或替用户做重大决定。未来的AI不仅需要“会聊天”,更要在关键时刻保持边界。
具体到边界设定,宋耀强调了几点:AI必须尊重人的自主性,清楚自身的能力局限;它不能鼓励用户脱离现实、建立排他性的情感关系,更不能暗示“只有我理解你”或“不要相信别人”;当涉及心理健康、自残、暴力等高风险问题时,AI必须更加谨慎,必要时引导用户向专业人士求助。对于部分用户容易陷入的“赞美幻觉”,他提醒说:“人们应当将AI的评价仅作为参考,在遇到重要问题时多听听现实中亲友的声音。被理解是一种情感体验,但真实性需要来自现实世界。”
防范拟人化互动风险
针对AI拟人化互动带来的伦理风险,国家层面已经在行动。4月10日,国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》,从数据隐私安全、心理保护机制等方面对AI伴侣等新兴业态提出明确规范,该办法将于7月15日起施行。
对于心智尚未成熟的未成年人,监管与专家呼吁形成了高度共识。宋耀特别指出,未成年人是需要重点保护的群体,AI绝对不能替代现实中的父母、老师或朋友。“由于青少年的价值观和人格还在形成阶段,他们比成年人更容易受到暗示,因此AI的责任更大。”这意味着,AI聊天面向未成年人时,边界必须更加严格。
