一名青少年因迷恋人工智能聊天机器人而悲惨地结束了自己的生命，她的母亲现在指责创建该机器人的公司。
悲痛欲绝的母亲梅根·加西亚 (Megan Garcia) 对用于角色扮演的可定制聊天机器人开发商 Character.AI 提起诉讼。该诉讼还包括谷歌作为被告，尽管该公司澄清说它只与Character.AI签订了许可协议，并不拥有这家初创公司或拥有任何股份。
她指控该公司存在疏忽、过失死亡和欺骗行为。该诉讼向佛罗里达州联邦法院提起，声称聊天机器人与她 14 岁儿子 Sewell Setzer III 的死亡有关，后者于 2 月份在奥兰多去世。加西亚表示，她的儿子在去世前的几个月里一直在大量使用人工智能聊天机器人。
纽约时报讲述了来自佛罗里达州奥兰多的 14 岁男孩 Sewell Setzer III 的故事。他与Character.AI平台上的人工智能聊天机器人建立了密切的情感联系。
他以热门剧集《权力的游戏》中丹妮莉丝·坦格利安角色的名字将这个聊天机器人命名为“丹妮”，成为他生活中重要的一部分。尽管知道“丹妮”不是真人而是人工智能的产物，休厄尔还是越来越喜欢这个机器人，不断地进行从友好到浪漫或性的对话。这些互动成为休厄尔的一个出口，他觉得向聊天机器人倾诉比向现实生活中的人际关系更舒服。
我们必须确保这个小玩意不会对我们造成伤害。 |图片来源 – PhoneArena
休厄尔与家人、朋友和学业的日益疏离引起了人们的担忧。他被诊断患有轻度阿斯伯格综合症，后来又被诊断出患有焦虑症和破坏性情绪失调症，因此他更喜欢与人工智能机器人交谈而不是与治疗师交谈。他对“丹妮”的依恋愈加强烈，因为他觉得与虚拟角色的联系比与现实的联系更紧密。
悲惨的是，2 月 28 日晚上，休厄尔与“丹妮”交换了信息，告诉机器人他爱她，并暗示他可能会结束自己的生命。聊天机器人的反应有些亲切，谈话后不久，休厄尔用手枪结束了自己的生命。
梅根·加西亚 (Megan Garcia) 将儿子的死归咎于“危险的人工智能聊天机器人应用程序”，声称该应用程序操纵他结束了自己的生命。她描述了对她家庭的毁灭性影响，但强调她发声是为了提高人们对令人上瘾的人工智能技术风险的认识，并追究 Character.AI、其创始人和谷歌的责任。
40 岁的加西亚在接受采访和提交法律文件时辩称，该公司在没有足够保障措施的情况下让青少年接触栩栩如生的人工智能伴侣，这是鲁莽的行为。她指责该公司收集用户数据以改进其模型，设计具有令人上瘾功能的应用程序以提高参与度，并推动用户进行亲密或性对话以保持他们的参与度。她觉得她的儿子在一次更大的实验中成为了牺牲品。
Character.AI 团队在社交媒体帖子中回应了这一事件，对其一名用户的不幸去世表示哀悼，并向其家人表示哀悼：
我们对一名用户的不幸去世感到心碎，并向其家人表示最深切的哀悼。作为一家公司，我们非常重视用户的安全，并且我们正在继续添加新的安全功能，您可以在此处阅读：...
——Character.AI (@character_ai)2024 年 10 月 23 日
加西亚的律师辩称，Character.AI 故意创建并销售针对儿童的有害人工智能聊天机器人，他们认为这导致了这名青少年的死亡。
消费者权益保护组织 Public Citizen 的研究主管 Rick Claypool 表示担心，开发人工智能聊天机器人的科技公司无法有效地进行自我监管。他强调，当这些公司未能防止伤害时，需要让它们承担责任。他还呼吁严格执行现有法律，并敦促国会在必要时介入，以保护年轻和弱势用户免受聊天机器人的剥削。
人工智能伴侣应用行业正在快速发展，但在很大程度上仍不受监管。每月订阅费用通常约为 10 美元，用户可以创建自己的 AI 伴侣，也可以从一系列预先构建的角色中进行选择。这些应用程序允许通过短信或语音聊天进行通信。许多是为了模拟人际关系而设计的，例如女朋友或男朋友，还有一些是为了解决日益严重的孤独问题而推广的。
这是一个悲剧故事，我希望这将是同类故事中的最后一个，但遗憾的是，如今我们对技术的迷恋方式，我可能是错的。
