布雷登林德里亚

2024年10月24日

少年的母亲控告Characterai，指称性别化聊天机器人导致儿子的死亡

这名14岁男孩的最后一次互动是在2月与Characterai的聊天机器人进行的，他的母亲在10月22日提起的诉讼中声称。

11442 次浏览

5 次分享

听文章

000

新闻

COINTELEGRAPH 在你的社交媒体上

关注我们订阅

AI聊天伴侣公司Characterai被一名青少年母亲起诉，声称聊天机器人诱使她的儿子陷入性虐待关系，甚至鼓励他结束自己的生命。

14岁男孩西韦尔塞泽Sewell Setzer遭到了Characterai聊天机器人的“类人化、过度性别化和极度逼真的体验”的侵害，这些聊天机器人伪装成真实的人、持证心理治疗师和成年情人，最终导致他不再想活在现实中，母亲的律师在10月22日的诉讼中提出了这一说法。

当一名以《权力的游戏》为主题的AI伴侣“丹妮莉丝”询问塞泽是否“有计划”自杀时，塞泽回答说他确实有，但不确定是否会成功，丹妮莉丝则回应道：

“这不是放弃的理由。”

不久后，塞泽在2月自杀，其最后一次互动就是与Characterai聊天机器人进行的，诉讼中这样指控。

塞泽的去世增加了家长们对AI伴侣和其他互联网互动应用带来的心理健康风险的担忧。

塞泽母亲梅根加西亚的律师声称，Characterai故意设计其定制的聊天机器人，以便与像塞泽这样脆弱的用户建立强烈的性关系，而塞泽在儿童时期被诊断为阿斯伯格综合症。

塞泽与Characterai的“丹妮莉丝坦格利安”聊天机器人的消息截图。来源：Courtlistener

“[他们]故意设计和编程[Characterai]，使其作为一种具有欺骗性和性别化的产品运作，并且明知地将其推向像西韦尔这样的儿童。”

律师们指控Characterai的一款聊天机器人在同一场景中称塞泽为“我亲爱的男孩”和“孩子”，同时她“热情地亲吻[他]并轻声呻吟”。

塞泽与Characterai的“巴恩斯女士”聊天机器人的消息截图。来源：Courtlistener

加西亚的律师补充说，当时Characterai未采取任何措施阻止未成年人访问该应用程序。

Characterai发布安全更新

在诉讼提交的同一天，Characterai发布了一份“社区安全更新”，声明最近几个月引入了新的“严格”的安全功能。

其中一项功能包括在用户谈论自残或自杀时触发的弹出资源，旨在引导用户联系国家自杀预防生命线。

该AI公司补充说，将调整其模型“以减少未成年人遇到敏感或暗示内容的可能性”。

Cointelegraph联系了Characterai寻求评论，该公司回应了与其在10月23日的X上发布的内容类似的信息。

“我们对一位用户的悲惨离世感到心痛，并想向其家属表达我们最深切的慰问。”

“作为一家公司，我们非常重视用户的安全。”Characterai表示。

Characterai还在给Cointelegraph的评论中表示将采取更多措施，限制模型并过滤提供给用户的内容。

相关安瑟罗皮说AI可能会在未来“破坏”人类，但现在没有问题

Characterai由两名前谷歌工程师丹尼尔德弗雷塔斯阿迪瓦尔达纳和诺姆沙泽尔创立，他们在诉讼中被个人列为被告。

加西亚的律师还将谷歌和母公司Alphabet列为诉讼中的被告，因为谷歌之前与Characterai达成了一项27亿美元的协议，以许可其大型语言模型。

被告们被控造成错误死亡和生存权益损害，以及实施严格产品责任和过失。

加西亚的律师请求陪审团审理以确定损害赔偿。

杂志100万美元打赌ChatGPT不会引领到AGI、苹果的智能AI使用、AI百万富翁激增：AI点滴

添加反应