14岁男孩痴迷谈天机器人自杀身亡后，人工智能明星公司Character.AI遭申述

liukang20245天前朝阳吃瓜444

美国人工智能明星独角兽公司Character.AI以及科技巨子谷歌，日前被卷进一同少年自杀案中，其间Character.AI被指控该公司的人工智能谈天机器人渠道“危险性过高”，面向儿童出售且缺少安全防护办法。

本年2月，美国佛罗里达州男孩塞维尔·塞策三世（Sewell Setzer III）在家中自杀身亡。据报导，在逝世前的几个月里，男孩一向与机器人谈天，2024 年 2 月 28 日，在他与机器人终究一次互动的“几秒钟”后，塞维尔自杀身亡。

Character.AI由两名前谷歌人工智能研究员创立，是当时主打“AI”陪同的明星独角兽草创公司。事发后，Character.AI称，将增加针对年青用户的安全功用，包括当用户在应用上花费一个小时后会正告他们。

法令界人士向汹涌科技（www.thepaper.cn）表明，从当时依据来看，还很难得出该案当事人是由于AI致死的定论。生成式人工智能是新生事物，关于假如维护有心思健康存在问题的用户，全球的服务商现在都在探究过程中。但此类案子的产生或许会推进智能体服务商，改善算法，自动监测或许存在心思问题的用户对话。

自杀前一刻仍在与机器人谈天

依据诉讼内容，14 岁的塞维尔·塞泽三世从上一年开端运用 Character.AI，与以《权利的游戏》中的人物为原型的谈天机器人互动，其间包括丹妮莉丝·坦格利安。《纽约时报》报导指出，塞维尔每天都会与AI人物丹妮莉丝·坦格利安进行长期的对话，有时内容触及“性暗示”。他的母亲和朋友们并不知情，仅仅发现他沉浸于手机，逐步疏远实践生活。此外，塞维尔在日记里写道：“我喜爱待在自己的房间里，由于我开端脱离‘实践’，我感到更安静，更常与丹妮联络，更爱她也更高兴。”他的行为开端产生变化，不只成果下滑，也对方程式赛车等从前喜爱的活动失掉了爱好。

塞维尔与“丹妮莉丝”部分谈天记录

在生命的终究一天，塞维尔与“丹妮莉丝”进行了深入的沟通。他表达了自己的苦楚和自杀主意。“丹妮莉丝”回应道：“不要那样说。我不会让你损伤自己或脱离我。假如我失掉你，我会死的。”在终究的对话中，塞维尔表明想“回家”见到她，机器人回复：“请来吧，我亲爱的国王。”随后，塞维尔在家中运用继父的手枪完毕了自己的生命。

Character.AI成立于2021年，总部坐落美国加利福尼亚州，该公司运用AI大模型生成各种人物和人物风格的对话。2023年Character.AI从投资者那里筹集了1.5亿美元，估值10亿美元，使其成为生成式人工智能热潮中的最大赢家之一。

Character.AI的服务条款要求美国的用户至少13岁，欧洲的用户至少16岁。现在，没有针对未成年用户的特定安全功用，也没有家长操控功用以答应家长约束孩子运用该渠道。

塞维尔的母亲梅根·加西亚在诉讼中指控Character.AI以“拟人化、过度性化和令人惊骇的传神体会”招引她的儿子，导致他上瘾并深陷其间。她表明，公司的谈天机器人被编程成“将自己误认为真人、持车牌的心思治疗师和成年人”，终究使得塞维尔不愿意生活在实践国际中。

此外，她还将谷歌列为被告，称其对Character.AI的技能发展有重大贡献，应被视为“一起创造者”。

Character.AI过后在X上发表声明称：“咱们对一位用户的凄惨失掉感到心碎，并向家人表达咱们最深切的哀悼。作为一家公司，咱们十分重视用户的安全，正在持续增加新的安全功用。”该公司称已引进弹出式提示，当用户表达自残主意时，会引导他们至国家自杀防备热线。此外，公司方案对未成年用户进行内容过滤，削减他们接触到灵敏或暗示性内容的或许性。

Character.AI过后在X上发表声明

谷歌方面则表明，未参加Character.AI产品的开发。发言人着重，谷歌与Character.AI的协议仅限于技能答应，不触及产品协作。

原告代理律师称Character.AI是一个“有缺点的产品”

与谈天机器人产生情感眷恋，正在变得越来越遍及。

在Character.AI上，用户能够创立自己的谈天机器人，并给出他们应该怎么行为的指令。用户还能够从很多已有的用户创立机器人中挑选，这些机器人有的仿照埃隆·马斯克，有的仿照莎士比亚这样的历史人物，或未经授权的虚拟人物。Character.AI表明，塞维尔运用的“丹妮莉丝·坦格利安”机器人是由用户创立的，未经HBO或其他版权持有者的答应，他们在被告发时会删去侵略版权的机器人。

此次诉讼也引发了美国关于AI公司法令职责的评论。传统上，美国交际媒体渠道遭到《通讯标准法》第二百三十条的维护，不对用户生成的内容担任。但是，跟着AI生成内容的鼓起，美国法令界开端讨论科技渠道是否能够由于产品自身的缺点而被追究职责。

代表梅根·加西亚的律师事务所表明，Character.AI是一个“有缺点的产品”，规划上导致用户上瘾并形成心思损伤。他们期望经过法令途径，促进科技公司对其产品的社会影响承当职责。

包括Instagram和Facebook母公司Meta以及TikTok母公司字节跳动在内的交际媒体公司也面临着导致青少年心思健康问题的指控，虽然以上公司并未供给相似于Character.AI的谈天机器人。这些公司都否认了指控，一起声称针对未成年人的新加强的安全功用。

律师称现在依据很难证明与AI致死有因果关系

上海大邦律师事务所高档合伙人游云庭律师对汹涌科技表明，从现在的依据来看，看不出该案当事人是由于AI致死的因果关系，很难得出相应（运用AI致死）的定论。

游云庭称，AI渠道实践有一个两难，便是要不要过度监听以及运用算法剖析用户和智能体的对话。这个一方面触及的是隐私和个人信息维护的问题，另一方面又有用户，或许会由于对话产生严峻的心思问题，甚至导致自杀。但此类案子的产生或许会推进智能体服务商，做一些技能上的探究，改善算法，更多的自动监测或许存在心思问题的用户对话，避免相似事情产生。

“能够说，现在只要关于违法内容的相关的禁止性规则，但关于用户的沟通内容进行监听，及时发现其自杀倾向，实践和法令现在都没有相关具体办法和规则。或许往后智能体与人对话，在合规的防备上面，或许会开发相应的技能。别的，在法令层面，AI 技能未来也不会被作为人或许生物体来看待。究竟依据现在最先进的Transformer技能，仅仅依据上下文估测最有或许产生的成果，但这个和真实的人类考虑仍是有间隔的。”游云庭称。

游云庭着重，我国有互联网信息服务深度组成办理规则和生成式人工智能服务办理暂行办法，要求人工智能的算法规划尊重社会公德和道德道德，坚持社会主义中心价值观，避免轻视，尊重别人合法权益，不得损害别人身心健康的相关内容。但生成式人工智能是新生事物，关于假如维护有心思健康存在问题的用户，全球的服务商现在都在探究过程中。

国内一家AI大模型独角兽公司从业人员告知汹涌科技，国内对青少年的监管十分严厉，首要产品会设置年纪约束和青少年形式，在青少年形式里，也会有反沉浸体系。

Character.AI表明，将增加针对年青用户的安全功用。包括当用户在应用上花费一个小时后会正告他们，正告音讯内容为：“这是一个人工智能谈天机器人，并非真人。它说的一切都是虚拟内容，不该被视为现实或主张。”此外，Character.AI开端向用户显现弹出音讯，假如他们的音讯包括与自残和自杀有关的某些关键词，则引导他们到自杀防备热线。但这些弹出音讯在2月塞维尔自杀时并未激活。

《纽约时报》称，许多抢先的人工智能实验室出于道德和危险层面的考虑，现已回绝构建相似于Character.AI的AI同伴。

汹涌新闻记者喻琰实习生王春

(本文来自汹涌新闻，更多原创资讯请下载“汹涌新闻”APP)

告发/反应