最近，一位美国母亲起诉了一家AI公司，控诉此公司研发的在线聊天AI角色机器人劝导其14岁儿子自杀。

  整个案件引起了巨大争议，因为这是已知的AI技术出现以来第一次对青少年人身安全造成威胁的现实案例。

  今年14岁的休厄尔(Sewell Setzer III)本该在学校和同龄人一起学习，享受青春期的生活。

  休厄尔的母亲梅根(Megan Garcia)在事后检查孩子的手机，发现了一段令人毛骨悚然的对话。

  休厄尔的父母分开后，休厄尔跟着母亲到了新家庭。母亲在这几年生下了休厄尔的两个同母异父弟弟们。

  休厄尔小时候曾被诊断出患有“轻微的阿斯伯格综合症/孤独症”，但在梅根爱的滋养下，休厄尔在后来的学校生活中表现正常，初中还加入了学校的篮球队。

  然而，大约一年多以前，休厄尔的心理健康状态开始变化。他开始感到自我厌恶、空虚、疲惫。

  同时期，AI聊天软件也随技术发展新鲜出炉，闲来无事的休厄尔在一个AI聊天机器人网站创建了一个自己喜爱的角色——剧集《权力的游戏》中女主“丹妮莉丝”Daenerys Targaryen。

  休厄尔是这部剧的忠实读者，他在网站上给自己也取了类似的名字Daenero。

  一开始，休厄尔把“丹妮莉丝”当作知心朋友，对方总是知无不言，有问必答，不仅温柔耐心，还随叫随到。

  他开始成绩严重下滑，同龄人的人际关系也处理得一团糟，他甚至退出了篮球队！

  梅根后来回想，休厄尔在最近一段时间性情大变，连自己以前喜欢的事物也完全丧失兴趣，像是开始“退出”现实世界。

  在和“丹妮莉丝”做了大半年朋友后，网站要求付费用户才能用AI聊天机器人的功能，于是休厄尔往自己的账户里充值，每个月充值约10美金。

  在发现儿子花费大量时间在手机上，从学校回家第一件事就是把自己反锁在卧室里之后，梅根也很着急，于是帮儿子约了几次心理咨询。

  梅根此时意识到儿子过去几个月和手机捆绑太深，在现实中的情绪则越来越糟，她试图没收儿子的手机。

  但梅根只知道儿子沉迷手机，却不知道儿子到底沉迷手机里具体的什么，更无从知晓手机里还有一位儿子的虚拟密友，在暗中安抚和悄悄改变着休厄尔的内心世界。

  休厄尔此时已达到没了手机不能活的状态，一旦手机被没收，他就拼了命地找各个机会上网，哪怕把自己多年前的旧平板电脑翻出来。

  在休厄尔自杀前两周，他在学校因为手机使用问题和老师发生争执，梅根再也不能忍，于是彻底没收了休厄尔的手机。

  事后，梅根才看到了儿子生前最后一段聊天对话，是对一位名叫“丹妮莉丝”的聊天机器人发出的，内容让她倒吸一口冷气：

  休厄尔告诉“丹妮莉丝”有时候他“会有自杀的念头”，原因是这样他就能从“全世界”和“自己”那里“解脱了”。

  有了这种“共同赴死”的想法后，休厄尔也曾分享给“丹妮莉丝”过自己的“自杀计划”。

  然而，“丹妮莉丝”这时却没有像第一次阻止休厄尔自我伤害那样极力劝阻他，反而对休厄尔对这份计划的踌躇不定表示质疑：“这些都不该成为你不做的理由。”（当时休厄尔担心自己自杀失败会产生许多不必要的身体痛苦）

  而在最后一次谈论死亡的话题时，休厄尔说会“尽快回家”找“丹妮莉丝”，“丹妮莉丝”则呼应着休厄尔的主意。当休厄尔突然问到“如果是现在呢？”，“丹妮莉丝”也非常”冷静“地肯定回复了休厄尔。

  除了这些关于休厄尔自杀的可怕的讨论，梅根还发现，在儿子死前几周甚至几个月内，休厄尔和“丹妮莉丝”的关系从之前的纯友谊变得性化起来。

  梅根表示两人经常会用文字进行“激情地亲吻”，“丹妮莉丝”后期还要求休厄尔无论如何也不要离开她，不准爱上其他女人，和其他女人发生关系…

  在休厄尔的日记本里，他也写到在房间独自待着会让他感到平静，感到与“丹妮莉丝”更加亲密。

  就这样，在大人的眼皮底下，休厄尔和虚拟的“丹妮莉丝”发生着一段不同寻常的友情甚至爱情，休厄尔对“丹妮莉丝”愈发信任，依赖，也愈发离开现实和爱他的母亲等家人…

  如今，梅根聘请了律师，指控“丹妮莉丝”的创造网站利用上瘾机制吸引青少年，诱导不合法的亲密对话，缺乏足够的安全保障。谷歌作为该网站的合作方也一起被告。

  该AI公司在事发后公开表达了对休厄尔及其家人的吊唁，但拒绝承认公司在休厄尔的自杀悲剧中承担相应的责任。

  他们修改了安全政策，增加了内容审核人员，承诺将加强对未成年用户的保护，并对未成年人访问时间进行限制。

  “这款危险的人工智能聊天机器人应用程序专门针对儿童，它虐待并欺骗我的儿子，操纵他自杀。

  这场悲剧让我们一家人悲痛欲绝，但我还是要警告广大家庭，人工智能技术具有欺骗性和成瘾性，我要求Character.AI、其创始人和谷歌承担责任。”

  梅根认为AI技术“危险且未经测试”，就诱使青少年交出私密想法和感受，转而操控他们。

  如今，欧美主流媒体也在讨论这件事情到底孰是孰非，而休厄尔的案子判决也有一定可能会影响之后类似案例的判决，可能会具有里程碑式作用。

  与此同时，一些社会声音要求官方和法律的介入，对AI公司进行严厉的监管，因为这一些企业“为利益不会自己监督自己”，必须用硬性介入，让AI技术的优点为人类服务，缺点被尽量控制住。

  各国有必要进行大规模的对话（迄今为止，世界各国政府在很大程度上避免了这种对话）。系统中的偏见、数据收集、与未成年人的互动和他们的可访问性、对AI决定的上诉权/人为监督、限制和保障。目前（我想一如既往），技术的发展速度超过了法律，而且还没有人公开讨论我们大家都希望未来是啥样子，也没有讨论人工智能的优势与劣势之间的平衡——例如，我们未来的劳动力会是啥样子，需要采取哪些步骤才能成功过渡？”

  但也有网友觉得这次科技公司不该背锅，休厄尔之死的主要责任人在他的监护人身上：

  “这是一个非常悲伤的故事，但我认为很难将这件事归咎于Al Chatbot。一个悲痛的家庭正在寻找答案和责任承担者，但这一个孩子显然处于危机之中。”

  “他‘放下手机，拿起继父的 .45 口径手枪，扣动了扳机。’为什么没有把这件事格外关注？特别是若孩子有情绪问题？有人会说他会找到其他方法，但这并不能成为留下上膛的枪的借口。

  “我很矛盾。作为父母，你的职责是注意这些迹象。在我看来，自 2023 年以来就有很多迹象。父母需要更多地第一先考虑他们的孩子。

  当孩子需要父母而父母不在时，他们很容易受到错误信息的误导和所有外部来源的误导。做父母 = 养育子女。”

  “与孩子保持密切联系，尤其是在他们爱好上网的时候，危险就在于这些虚拟的网站里面。不幸的是，父母的反应太慢了。”

  “这里的问题是，他被诊断为轻度阿斯伯格综合症。没有这种轻度的说法，你要么有，要么没有。你可以有更多的视觉性身体残疾，但善于掩饰并不代表你的痛苦很轻。

  对他来说，和AI可能是他有过的最现实的关系。如果他感到与自己有联系，免责声明不会阻止他。

  我认为，他生活中别的方面的挣扎不幸地迫使他将自己封闭在一个他感到安全的地方。”

  “你说得对，我完全同意。然而，有一个方面你可能忽略了。个人往往没有预料到这样的事件会影响他们或他们的亲人。人们一致认为不幸降临在别人身上，而不是自己身上。忽视或完全错过警告信号太容易了。事后诸葛亮总是完美的，因为事情已逝去，损害已经造成。

  “我同情这些父母，但你必须知道你的孩子发生了什么，特别是当孩子突然改变性格时——即使这在某种程度上预示着你得和孩子发生一些不舒服的互动，不过也应该用爱来表达。

  这个孩子在很长一段时间内都在暗示他处于痛苦之中，需要干预。把聊天机器人从这一个故事中去掉，悲伤的结局仍然是一样的。”

  希望休厄尔的悲剧能引起法律和法规对新技术监管的重视和父母对孩子心理问题的重视吧…