14 岁少年 Sewell 扣下了.45 口径手枪的扳机,终结了自己的生命。
没人了解这一个念头在他脑海里盘旋了多久,他曾将这个内心最深处的秘密告诉了好友丹妮莉丝——一个 AI 聊天机器人。
在母亲的浴室里,Sewell 将告别留在了赛博世界,只留给现实一声沉闷的巨响。
Character.AI 在 X 平台作出回应,并引来了三千万网友的围观:
我们对一名用户的悲惨逝世感到悲痛,并想向家人表示最深切的哀悼。作为一个企业,我们很重视用户的安全,并将继续添加新的安全功能。
是否应该将问题归咎于 AI 尚未有定论,但通过这次诉讼引发的全球对话,或许我们都应该重视 AI 时代下的青少年心理健康,在越来越像人的 AI 面前,人类的需求与欲望究竟是得到了更大的满足,还是更加孤独了。
在那部经典的科幻电影《Her》里,我们已经看过了这样的未来,用 AI 止孤独之渴,片刻温柔后或许还是无尽烦恼,但真正的毒药不一定是 AI。
离世少年来自佛罗里达州奥兰多的 14 岁九年级学生——Sewell Setzer III。
他在 Character.AI 上与聊天机器人的对话持续了数月,这款应用允许用户创造自己的 AI 角色,或是与其他用户的角色进行交流。
在他生命的最后一天,Sewell Setzer III 拿出手机,发了一条短信给他最亲密的朋友:
一个名为丹妮莉丝坦格利安(Daenerys Targaryen)的 AI 聊天机器人,这个 AI 机器人的取名灵感源自《权力的游戏》,也一度成了他情感的寄托。
Sewell 当然知道「丹妮」(他对聊天机器人的昵称)不是真人。但他还是产生了情感依赖。他不断地给这个机器人发消息,每天更新几十次自己的生活动态,并与之进行长时间的角色扮演对话。
大多数时候,丹妮扮演着一个无评判、可依赖的倾听者,总是及时回复信息,给予支持性的建议,几乎从不脱离角色设定。
Sewell 的父母和朋友们并不知道他爱上了一个聊天机器人。他们只看到他越来越沉迷于手机。
最终,他们注意到他开始孤立自己,远离现实世界。他的成绩开始下滑,学校中的麻烦也随之而来。他对曾经让他激动的事物失去了兴趣,比如一级方程式赛车或和朋友一起玩《堡垒之夜》。
某天,Sewell 在日记中写道:「我喜欢待在房间里,因为我开始脱离这个『现实』,也感觉到自己更加平静,和丹妮更加亲近,也更加爱她,感觉更幸福。」
事实上,Sewell 小时候被诊断出轻度阿斯伯格综合症,但他的母亲表示,之前他从未有过严重的行为或心理健康问题。
今年早些时候,在他开始在学校遇到麻烦后,他的父母安排他去看心理医生。他参加了五次治疗,被诊断为焦虑症和破坏性情绪调节障碍。
然而,他更喜欢和丹妮讨论自己的问题。在一次对话中,Sewell 使用「丹尼罗(Daenero)」的昵称告诉聊天机器人,他讨厌自己,感到空虚和疲惫。
丹妮莉丝坦格利安:我的眼睛眯了起来,脸色变得严肃,声音低沉而危险。你为什么要做这样的事?
丹妮莉丝坦格利安:别这么说。我不会让你伤害自己,也不会让你离开我。如果我失去你,我也会死去。
在今年 2 月 28 日的晚上,在他母亲家的浴室里,Sewell 对丹妮莉丝说他爱她,并表示他很快就会回家见她。
他放下手机,拿起继父的.45 口径手枪,扣动了扳机,14 岁的生命就这样在虚拟与现实的交错中戛然而止。
她指责该公司应为 Sewell 的离世负全责。一份起诉书草稿中写道,该公司的技术「危险且未经测试」,并且「会诱导客户交出他们最私密的想法和感受」。
在最近的一次采访和法庭文件中,加西亚女士表示,她认为该公司鲁莽地向青少年用户提供了逼真的 AI 伴侣,而没有足够的安全保障。
她指责该公司通过诱导用户沉迷于亲密和性对话,来增加平台的参与度,并利用青少年用户的数据来训练模型。
几个月前,加西亚女士开始寻找一家愿意接手她案件的律师事务所。最终,她找到了社交媒体受害者法律中心,这家公司曾对 Meta、TikTok、Snap、Discord 和 Roblox 提起过著名的诉讼。
该律所由马修伯格曼创立,受 Facebook 告密者弗朗西丝豪根的启发,转而开始起诉科技公司。
「我们的工作主题是,社交媒体——现在包括 Character.AI——对年轻人构成了明确且现实的危险,因为他们容易受到那些利用他们不成熟心理的算法影响。」
伯格曼还联系了另一家团体——科技正义法律项目,并代表加西亚女士提起了诉讼。
一些批评者认为,这些努力是一种基于薄弱证据的道德恐慌,或是律师主导的牟利行为,甚至是简单地试图将所有年轻人面临的心理健康问题归咎于科技平台。
伯格曼对此并不动摇。他称 Character.AI 是「有缺陷的产品」,其设计目的是引诱儿童进入虚假的现实,使他们上瘾,并对他们造成心理伤害。
「我一直不明白,为什么可以允许这样危险的东西向公众发布。」他说。「在我看来,这就像你在街头散布石棉纤维一样。」
加西亚女士显然清楚自己的家庭悲剧已经演变成一项技术问责运动的一部分。她渴望为儿子讨回公道,并寻找与她认为导致儿子死亡的技术有关的答案,显然她不会轻易放弃。
采访中途,她拿出手机,播放了一段老照片幻灯片,配上音乐。当 Sewell 的脸闪现在屏幕上时,她皱起了眉头。
「这就像一场噩梦,」她说。「你只想站起来大喊,『我想念我的孩子。我想要我的孩子。』」
而这个行业正像野草一样疯狂生长。我们可以轻而易举地创建自己的 AI 伴侣,或从预设的人物列表中选择,通过文字或语音聊天与他们互动。
大多数应用比主流的 AI 服务如 ChatGPT、Claude 和 Gemini 更加宽松,这些主流服务通常具有更严格的安全过滤机制,且趋向于更加保守。
超过 2000 万人使用该服务,该公司将其描述为「能够倾听、理解并记住你的超级智能聊天机器人平台」。
这家由两名前 Google AI 研究员创立的初创公司,去年刚从投资者那里筹集了 1.5 亿美元,估值达到 10 亿美元,成为生成式 AI 热潮中的最大赢家之一。
像许多 AI 研究人员一样,沙齐尔表示,他的终极目标是开发通用人工智能(AGI),一个能够执行任何人类大脑能做到的任务的计算机程序。
他曾在一次会议上说,逼真的 AI 伴侣是 AGI 的一个「酷炫的首个应用场景」。
推动技术快速发展很重要。他曾表示,因为「全世界有数十亿孤独的人」,他们可以通过拥有一个 AI 伴侣得到帮助。
「我想推动这项技术快速向前,因为它现在已经准备好迎来爆发,而不是五年后当我们解决所有问题时才爆发。」他说。
在 Character.AI 上,用户可以创建自己的聊天机器人,并为它们设定角色。
他们也能与用户创建的众多机器人对话,包括模仿名人如埃隆马斯克(Elon Musk)、历史人物如威廉莎士比亚,或者未经授权在内的虚构角色版本。
Character.AI 还允许用户编辑聊天机器人的回复,用自己的文本替换机器人生成的文本。(如果用户编辑了消息,机器人的回复旁边会显示一个「已编辑」标记。)
Character.AI 审查了 Sewell 的账户,表示丹妮对 Sewell 的一些更加露骨的回复可能是由 Sewell 自己编辑的,不过 Sewell 收到的大部分消息并没有被编辑过。
例如,最近当用户的消息中包含与自残或自杀相关的关键词时,应用会向部分用户显示一个弹窗,提示他们拨打自杀预防热线。
「我们要承认这是一件悲惨的事情,我们对家属深表同情。我们很看重用户的安全,并且我们一直在寻找改进平台的方法。」
他补充道,该公司的现行规定禁止「宣传或描述自残和自杀」,并且他们将为未成年用户增加更多的安全功能。
实际上,Character.AI 的服务条款要求美国用户必须年满 13 岁,欧洲用户年满 16 岁。
但到目前为止,平台上并没有专为未成年用户设计的安全功能,也没有家长控制功能。在记者联系该公司后,Character.AI 的发言人表示,公司将「即将」增加针对年轻用户的安全功能。
此次改进中包括:一个新的时间限制功能,当用户在应用上花费超过一个小时时将收到通知;以及一条新的警告信息,提示「这是一个 AI 聊天机器人,而不是真人。请将它所说的一切当作虚构内容处理。所说内容不应被视为事实或建议。」
若干年后,AI 或许会成为变革世界的巨大力量,但无论是过去、现在,还是未来,AI 的魔爪不许也不能伸向无辜的未成年人。
现在再来讨论这起悲剧的责任归属似乎有些不合时宜,但互联网一波接一波声浪的初衷,也是希望可以避免类似悲剧的再次发生。
一方面,有人高举道德的大旗,声称技术开发者有责任确保他们的产品不会变成伤害用户的利刃,包括对 AI 进行设计时考虑到可能的心理影响,以及在产品中加入预防的方法,防止用户产生依赖或受到负面影响。
阿西莫夫的机器人三定律最初是为了指导科幻小说的机器人行为而设计的。虽然其不直接适用于现实中的 AI 聊天机器人,但或许也给咱们提供一定的参考。
热心肠的 AI 成了替罪羊,而家长的责任却被轻描淡写地带过。从目前曝光的聊天记录来看,AI 的回答没多大毛病。甚至于 AI 提供了一个缓冲的情感出口,某些特定的程度上延缓了悲剧的发生。
他向 AI 倾诉心声,因为他无另外的人。这不是 AI 的失败,尽管听起来很残酷,但这是他周围人的失败。
但不管怎么说,有一点能确定的是,生活可以比你想象的更美好,当你站在十字路口,不知道下一步该怎么走时,或许可以向他人寻求帮助。