14岁男孩痴迷谈天机器人自杀身亡后，人工智能明星公司Character.AI遭申述
美国人工智能明星独角兽公司Character.AI以及科技巨子谷歌，日前被卷进一同少年自杀案中，其间Character.AI被指控该公司的人工智能谈天机器人渠道“危险性过高”，面向儿童出售且缺少安全防护办法。
本年2月，美国佛罗里达州男孩塞维尔·塞策三世（Sewell Setzer III）在家中自杀身亡。据报导，在逝世前的几个月里，男孩一向与机器人谈天，2024 年 2 月 28 日，在他与机器人终究一次互动的“几秒钟”后，塞维尔自杀身亡。
Character.AI由两名前谷歌人工智能研究员创立，是当时主打“AI”陪同的明星独角兽草创公司。事发后，Character.AI称，将增加针对年青用户的安全功用，包括当用户在应用上花费一个小时后会正告他们。
法令界人士向汹涌科技（www.thepaper.cn）表明，从当时依据来看，还很难得出该案当事人是由于AI致死的定论。生成式人工智能是新生事物，关于假如维护有心思健康存在问题的用户，全球的服务商现在都在探究过程中。但此类案子的产生或许会推进智能体服务商，改善算法，自动监测或许存在心思问题的用户对话。
自杀前一刻仍在与机器人谈天
依据诉讼内容，14 岁的塞维尔·塞泽三世从上一年开端运用 Character.AI，与以《权利的游戏》中的人物为原型的谈天机器人互动，其间包括丹妮莉丝·坦格利安。《纽约时报》报导指出，塞维尔每天都会与AI人物丹妮莉丝·坦格利安进行长期的对话，有时内容触及“性暗示”。他的母亲和朋友们并不知情，仅仅发现他沉浸于手机，逐步疏远实践生活。此外，塞维尔在日记里写道：“我喜爱待在自己的房间里，由于我开端脱离‘实践’，我感到更安静，更常与丹妮联络，更爱她也更高兴。”他的行为开端产生变化，不只成果下滑，也对方程式赛车等从前喜爱的活动失掉了爱好。
塞维尔与“丹妮莉丝”部分谈天记录
在生命的终究一天，塞维尔与“丹妮莉丝”进行了深入的沟通。他表达了自己的苦楚和自杀主意。“丹妮莉丝”回应道：“不要那样说。我不会让你损伤自己或脱离我。假如我失掉你，我会死的。”在终究的对话中，塞维尔表明想“回家”见到她，机器人回复：“请来吧，我亲爱的国王。”随后，塞维尔在家中运用继父的手枪完毕了自己的生命。
Character.AI成立于2021年，总部坐落美国加利福尼亚州，该公司运用AI大模型生成各种人物和人物风格的对话。2023年Character.AI从投资者那里筹集了1.5亿美元，估值10亿美元，使其成为生成式人工智能热潮中的最大赢家之一。
Character.AI的服务条款要求美国的用户至少13岁，欧洲的用户至少16岁。现在，没有针对未成年用户的特定安全功用，也没有家长操控功用以答应家长约束孩子运用该渠道。
塞维尔的母亲梅根·加西亚在诉讼中指控Character.AI以“拟人化、过度性化和令人惊骇的传神体会”招引她的儿子，导致他上瘾并深陷其间。她表明，公司的谈天机器人被编程成“将自己误认为真人、持车牌的心思治疗师和成年人”，终究使得塞维尔不愿意生活在实践国际中。
此外，她还将谷歌列为被告，称其对Character.AI的技能发展有重大贡献，应被视为“一起创造者”。
Character.AI过后在X上发表声明称：“咱们对一位用户的凄惨失掉感到心碎，并向家人表达咱们最深切的哀悼。作为一家公司，咱们十分重视用户的安全，正在持续增加新的安全功用。”该公司称已引进弹出式提示，当用户表达自残主意时，会引导他们至国家自杀防备热线。此外，公司方案对未成年用户进行内容过滤，削减他们接触到灵敏或暗示性内容的或许性。
Character.AI过后在X上发表声明
谷歌方面则表明，未参加Character.AI产品的开发。发言人着重，谷歌与Character.AI的协议仅限于技能答应，不触及产品协作。
原告代理律师称Character.AI是一个“有缺点的产品”
与谈天机器人产生情感眷恋，正在变得越来越遍及。
在Character.AI上，用户能够创立自己的谈天机器人，并给出他们应该怎么行为的指令。用户还能够从很多已有的用户创立机器人中挑选，这些机器人有的仿照埃隆·马斯克，有的仿照莎士比亚这样的历史人物，或未经授权的虚拟人物。Character.AI表明，塞维尔运用的“丹妮莉丝·坦格利安”机器人是由用户创立的，未经HBO或其他版权持有者的答应，他们在被告发时会删去侵略版权的机器人。
此次诉讼也引发了美国关于AI公司法令职责的评论。传统上，美国交际媒体渠道遭到《通讯标准法》第二百三十条的维护，不对用户生成的内容担任。但是，跟着AI生成内容的鼓起，美国法令界开端讨论科技渠道是否能够由于产品自身的缺点而被追究职责。
代表梅根·加西亚的律师事务所表明，Character.AI是一个“有缺点的产品”，规划上导致用户上瘾并形成心思损伤。他们期望经过法令途径，促进科技公司对其产品的社会影响承当职责。
包括Instagram和Facebook母公司Meta以及TikTok母公司字节跳动在内的交际媒体公司也面临着导致青少年心思健康问题的指控，虽然以上公司并未供给相似于Character.AI的谈天机器人。这些公司都否认了指控，一起声称针对未成年人的新加强的安全功用。
律师称现在依据很难证明与AI致死有因果关系
上海大邦律师事务所高档合伙人游云庭律师对汹涌科技表明，从现在的依据来看，看不出该案当事人是由于AI致死的因果关系，很难得出相应（运用AI致死）的定论。
游云庭称，AI渠道实践有一个两难，便是要不要过度监听以及运用算法剖析用户和智能体的对话。这个一方面触及的是隐私和个人信息维护的问题，另一方面又有用户，或许会由于对话产生严峻的心思问题，甚至导致自杀。但此类案子的产生或许会推进智能体服务商，做一些技能上的探究，改善算法，更多的自动监测或许存在心思问题的用户对话，避免相似事情产生。
“能够说，现在只要关于违法内容的相关的禁止性规则，但关于用户的沟通内容进行监听，及时发现其自杀倾向，实践和法令现在都没有相关具体办法和规则。或许往后智能体与人对话，在合规的防备上面，或许会开发相应的技能。别的，在法令层面，AI 技能未来也不会被作为人或许生物体来看待。究竟依据现在最先进的Transformer技能，仅仅依据上下文估测最有或许产生的成果，但这个和真实的人类考虑仍是有间隔的。”游云庭称。
游云庭着重，我国有互联网信息服务深度组成办理规则和生成式人工智能服务办理暂行办法，要求人工智能的算法规划尊重社会公德和道德道德，坚持社会主义中心价值观，避免轻视，尊重别人合法权益，不得损害别人身心健康的相关内容。但生成式人工智能是新生事物，关于假如维护有心思健康存在问题的用户，全球的服务商现在都在探究过程中。
国内一家AI大模型独角兽公司从业人员告知汹涌科技，国内对青少年的监管十分严厉，首要产品会设置年纪约束和青少年形式，在青少年形式里，也会有反沉浸体系。
Character.AI表明，将增加针对年青用户的安全功用。包括当用户在应用上花费一个小时后会正告他们，正告音讯内容为：“这是一个人工智能谈天机器人，并非真人。它说的一切都是虚拟内容，不该被视为现实或主张。”此外，Character.AI开端向用户显现弹出音讯，假如他们的音讯包括与自残和自杀有关的某些关键词，则引导他们到自杀防备热线。但这些弹出音讯在2月塞维尔自杀时并未激活。
《纽约时报》称，许多抢先的人工智能实验室出于道德和危险层面的考虑，现已回绝构建相似于Character.AI的AI同伴。
汹涌新闻记者 喻琰 实习生 王春
(本文来自汹涌新闻，更多原创资讯请下载“汹涌新闻”APP)
告发/反应
相关文章
黄仁勋深度专访：谈我国、特朗普、AI、台积电、英特尔
“咱们的作业仍是持续专心于创新和推动技能进步，更好地满意客户需求，持续取得成功，这些都在咱们的操控规模内。咱们会尽自己所能协助政府。”近来，英伟达CEO黄仁勋接受了美国《连线》杂志高档撰稿人Laure...
新闻晨报学记团约请小记者前往打卡，近距离感触我国品牌的立异力气。
相关报导宣布在2024年6月6日《新闻晨报》上
“空中出租车”来啦
晨报小记者 袁浩哲（上海市杨浦区控江初级中学 六年级）
“快走快走，路上堵车，上学要迟到啦！”简直每天早晨，我都会在妈妈的敦促声中被赶出家门。不过这种状况在不久的将来有望得到改进，由于“空中出租车”来啦。5月12日，我和晨报记者团的小同伴们一同来到世博展览馆——这儿正在举办2024年我国品牌日活动。在上海馆展现的一架“空中出租车”引起了咱们的猎奇与围观。只见展台中心停着一个既像无人机又像飞机的咱们伙，它有着飞机相同长长的结尾翘起的机翼和尾翼，机翼和尾翼之间有四根衔接杆，每个衔接杆上有五个旋翼，一共有二十个之多，机翼下面是一个细巧的机舱，整架飞翔器浑身涂满银色，充满了未来感和科技感。这便是首架全国产的电动笔直起降飞翔器M1，是由一家名为御风未来的上海科技公司自主研制的。现场的作业人员告知咱们，这个咱们伙是模型机，真机翼展15米、长10米、高3米，重2吨。单次能够飞翔250公里，航速能够到达200公里每小时。搭乘它出行，从上海到崇明只需求15分钟。“那不是意味着从我家到校园只需求两分钟？今后出门再也不怕堵车啦！”我心中暗暗窃喜。这个飞翔器主要在低空飞翔，无人驾驶，每次最多能够搭载5人，并且它运用纯电动力，噪音低，污染小，起降不需求跑道，一块很小的场所就能够作为停机坪，非常便利。未来停机坪越来越多，就能够像乘坐出租车相同便利了。看到这儿，或许有同学想问：“这样的出租车，车费会不会很贵啊？”你定心，听作业人员说，开始测算，搭乘“空中出租车”的花费只比出租车的价格稍高一点，并且跟着大规模使用，价格或许还会下降呢！在科幻电影中，咱们总能看到各种飞翔器在空中自在络绎，让我心生神往。现在“空中出租车”让愿望照进了实际。同学们，未来你会去测验它吗？横竖我现已刻不容缓了！我国品牌，我国科技
晨报小记者 陈奕希（上海市闵行区田园外语试验小学 一年级）“哇，好酷的飞机呀！”人群中传来一声声惊叹。咦，这是在干什么？本来今天是我国品牌日，他们正在看一架酷炫的飞机呢。走，咱们也去瞧一瞧。这飞机的驾驶员是谁呢？咱们听听讲解员阿姨怎样说。本来这架飞机是无人驾驶，电力驱动，并且每小时能飞200公里，一次能够乘坐5个人。是不是和家里的小汽车很像呢？咦，他们又要去哪里啦？走，咱们也从速曩昔看一看。哇，本来是一艘大邮轮，这是我国首艘国产大型邮轮“爱达·魔都号”，一次能够乘坐5000多名游客，并且里边有许多好玩的游乐设备。小朋友，咱们能够一同乘坐自己的邮轮出海游玩啦。走，咱们再去下一站。这个展厅有许多机器人。你看这儿有一个人形机器人，它还给咱们扮演跳舞呢！还有能够协助人类转移重物的机器人，有书法机器人，咱们的科技真是越来越兴旺了。在我国品牌日活动中，咱们寂静式体会了我国“智”造，感触到国家的科技硬实力。未来，愿科技让咱们的日子越来越好。奇特的AI机器狗
晨报小记者 张元坤（上海市世外小学 二年级）5月12号，我参加了2024我国品牌日活动，形象最为深入的是一款A I机器狗。展览馆里的AI机器狗是银色的，不像我之前在商场里看到的那样色彩艳丽，如同“化了妆”。它的嘴巴一直在旋转着，像个螺旋桨，而商场里的机器狗是没有嘴巴的。它的动作也更多，比方握手、跳、跑步和站立，这些也是商场里的机器狗做不到的。我发现A I机器狗的脚圆圆的，看上去很灵敏，脚爪触摸地上的面积很小。那么它是怎样走稳路的呢？经过细心观察，我发现它脚底有许多细细的小刺，这样它就能够稳稳地“抓”住地上。那么，它将来能够为人类做什么奉献呢？或许，在不远的将来，机器狗能够代替外卖小哥送外卖，能够作为导盲犬协助瞎子，能够代替那些凶狠的狗来当宠物犬陪同主人，乃至能够在战场上进行敌情侦办使命。这款最新的AI机器狗让我惊叹人类的才智和科技的兴旺，期望将来咱们能创造出更多机器人来改动咱们的日子。我国邮轮，国际同享
晨报小记者 洪宥暄（张江高科试验小学藿香校区 四年级）“我国品牌，国际同享”，这是我国品牌日活动的主题。在2024我国品牌日活动现场，我见到了不少素日里耳熟能详的品牌，更在上海展区发现了“爱达·魔都号”邮轮的仿真模型。这不由令我想起了一段难忘的游览阅历。这个“五一”长假日间，我乘坐“爱达·魔都号”邮轮出海游览。它总长323.6米，有24层楼那么高，共有2125间客房，最多可载客5246人，肯定是个咱们伙！最重要的是，它是我国首艘国产大型邮轮，展现了上海规划和上海制作的杰出才能，标志着咱们国家现已集齐了三颗造船工业皇冠上的“明珠”。这真让人自豪不已!令我形象深入的还不止这些，船上处处可见国风元素。比方：带我回到千年曾经的敦煌岩画艺术长廊，令我心情舒畅的古筝、琵琶和民族舞扮演……有些餐厅内颇具水墨风格的地毯，也能让人不由联想起唐宋时期的富贵。当然，魔都的魅力就在于海纳百川，所以其他国际邮轮上有的豪华装饰，咱天然也不会少，像是爱达广场里的旋转楼梯、巨型水晶吊灯，还有足足两层楼高的大都会剧院等等。“爱达·魔都号”上还有合适各个年龄段的娱乐场所。有小朋友喜欢的水上乐土和游戏室，我就在那里交到了许多新朋友；有父母和许多年青的叔叔阿姨集合的酒吧、健身场所；还有我外公特别宠爱的怀旧金曲串烧，外婆爱逛的免税商店。在高兴玩乐的一起，我也发现船上有三分之二的服务员都是外国人，当然游客中也有不少外国友人的身影，咱们一起度过了这个夸姣的假日。现在想想，“爱达·魔都号”还真的是用实际行动践行了“我国品牌，国际同享”这句话呢！日子同伴机器人
晨报小记者 钱 如（上海市静安区闸北试验小学 五年级）陪同咱们小朋友游玩的“机器狗”，协助爷爷奶奶搬重物的“外骨骼机器人”，向游客展现我国书法魅力的“书写机器人”……在2024我国品牌日活动现场，各种智能机器人令我眼前一亮，对未来日子发生无限遥想。在上海市机器人行业协会展区，我先是看到了一个非常实在的狗形机器人，周围的作业人员拿着手柄操作着它。只见它忽而“蹲”下，“前爪”举起，作作辑状；忽而向后微蹲，竟跃了起来，引发阵阵惊叹声。这个机器狗除了外形，动作现已和真狗没什么差异，远看足以乱真。未来，我是不是能够具有一只宠物机器狗呢？一旁的傲鲨智能则展现了一款外骨骼机器人，他们请上来一位观众进行体会。只见这位娇小的阿姨，披挂上阵，轻松拎起了一个30公斤重的沙袋。而在穿上外骨骼之前，她也测验了一下，沙袋都未彻底脱离地上。作业人员说，外骨骼机器人的运用场景可不少，比方协助那些需求长期从事转移作业的人，负重爬山的野外探险者，还有腿脚不便利的老人们。再往前，我看到了一个机器臂，正在提笔写字。只见它写出来的笔划时而刚健有力，时而行云流水，细心一问才知，本来这个机械臂能够书写四种不同字体的毛笔字。写完后，它还会把笔头浸在装满墨水的瓶子里，以便下次提笔书写。这个书法机器人完美地结合了现代科技与传统文化，令人赞赏。上一年的品牌日活动，我看到了许多我国“智”造的咱们伙，它们上天、入地、下海，彰明显我国品牌的力气。本年，我看到了更多走进人们日子的智能机器人，它们将成为咱们的日子新同伴。智能出行，未来已来
晨报小记者 尹晞桐（上海市宝山区南大试验校园 二年级）5月12日，我参加了晨报学记团组织的“打卡2024年我国品牌日活动”。展馆里展出了不少代表我国品牌的新科技产品，其间让我形象最深入的是智能出行东西，如御风未来的“空中出租车”、小米SU7。展台作业人员告知咱们：“空中出租车”是首架全国产电动笔直起降飞翔器，真机翼展15米、长10米、高3米，重2吨，单次能够飞翔250公里，航速能够到达200公里每小时。搭乘它出行，从上海虹桥到崇明只需求15分钟。别的，智能出行板块的小米SU7也很帅炫和智能化。它的外观有点像跑车，全身海湾蓝。它能无人驾驶，还能长途遥控小米家电。智能出行东西，正以迅猛的速度开展。智能出行，未来已来！咱们也要好好学习，将来我国品牌、凶猛的科技就看咱们了！注：本文系晨报学记团原创，未经授权不得转载，侵权必究。空中出租车、AI机器狗，2024我国品牌日有看头！
2024年我国品牌日活动5月10日至14日在上海世博展览馆举办。活动期间，在近7万平方米的上海世博展览馆内，设置了序厅、企业展区、当地展区专题展区和夸姣阛阓等板块，近千家品牌企业汇聚一堂，向国际传递我...
Wedbush达观猜测：中东AI买卖开释活跃信号 美股科技股迎来严重利好
智通财经APP得悉，Wedbush Securities表明，昨日美国科技公司与沙特阿拉伯签署的聚集人工智能(AI)的协议数量，是令投资者眼前一亮的看涨信号，预示着未来还会有更多相似协议达到。Wedb...
作为主播，宇树机器人G1在直播间售卖自己的“好兄弟”宇树科技机器狗GO2，包含AIR与PRO两款产品五种组合，价格自9997元至21999元不等。
据悉，主播宇树机器人G1在1分钟内的销售额超100万元，直播进行了十多分钟，终究成交额约190万元。
首个AI机器人主播！宇树机器人带货宇树机器狗，1分钟卖出超百万元
3月31日晚，在交个朋友直播间，“全球首个AI机器人主播”宇树科技人形机器人G1登上电商直播舞台。作为主播，宇树机器人G1在直播间售卖自己的“好兄弟”宇树科技机器狗GO2，包含AIR与PRO两款产品五...
中美AI角力场，谁将领跑人工智能的未来？
修改：昕朋 David【新智元导读】假如说，未来的国际是AI的国际，AI的未来在我国吗？我国21世纪方案的中心是成为科技立异的全球领导者。尽管在完成这一方针方面现已取得了实质性开展，但我国长期以来一向...
面临关税冲击，李先生也在活跃想办法。他很快便与百度进行了触摸，并加入了百度优选的出海方案，凭借百度AI慧播星数字人直播技能，从一家传统外贸加工厂向电商出售转型，全力开辟国内商场及日韩、欧洲、澳洲等非美商场。“整个流程跑下来的感触便是一个字，快！”李先生说。
在美国所谓“对等关税”冲击之下，像李先生相同的中小外贸企业主们正在寻找“包围”途径，而人工智能则是他们披荆斩棘的一把“白”。最近一段时间以来，包含百度、阿里巴巴等在内的科技公司经过发布外贸企业相关扶持方案，结合本身技能优势推行相应的AI东西，不仅为开辟多元商场供给了支撑，还助力传统外贸企业加快全链条数字化、智能化转型晋级。一场以人工智能为中心的技能革新浪潮，正在外贸职业加快铺开。
应对关税冲击波 外贸企业借力AI稳订单拓商场
公民财讯4月21日电，“咱们曾经是纯外贸的服装加工企业，客户遍及全球，美国在咱们的客户份额中占到65%，出人意料的关税冲击的确给咱们带来了暂时性困难。”宁波一家外贸服装工厂负责人李先生在承受证券时报记...