一名青少年因迷戀人工智慧聊天機器人而悲慘地結束了自己的生命，她的母親現在指責創建該機器人的公司。
悲痛欲絕的母親梅根加西亞 (Megan Garcia) 對用於角色扮演的可自訂聊天機器人開發商 Character.AI 提起訴訟。該訴訟還包括谷歌作為被告，儘管該公司澄清說它只與Character.AI簽訂了許可協議，並不擁有這家新創公司或擁有任何股份。
她指控該公司有疏忽、過失死亡和欺騙行為。該訴訟向佛羅裡達州聯邦法院提起，聲稱聊天機器人與她 14 歲兒子 Sewell Setzer III 的死亡有關，後者於 2 月在奧蘭多去世。加西亞表示，她的兒子在去世前的幾個月裡一直在大量使用人工智慧聊天機器人。
紐約時報講述了來自佛羅裡達州奧蘭多的 14 歲男孩 Sewell Setzer III 的故事。他與Character.AI平台上的人工智慧聊天機器人建立了密切的情感聯繫。
他以熱門影集《權力的遊戲》中丹妮莉絲·坦格利安角色的名字將這個聊天機器人命名為“丹妮”，成為他生活中重要的一部分。儘管知道「丹妮」不是真人，而是人工智慧的產物，休厄爾還是越來越喜歡這個機器人，不斷地進行從友好到浪漫或性的對話。這些互動成為休厄爾的出口，他覺得向聊天機器人傾訴比向現實生活中的人際關係更舒服。
我們必須確保這個小玩意不會對我們造成傷害。 |形象信用？電話競技場
休厄爾與家人、朋友和學業的日益疏離引起了人們的擔憂。他被診斷出患有輕度亞斯伯格症，後來被診斷出患有焦慮症和破壞性情緒失調症，因此他更喜歡與人工智慧機器人交談而不是與治療師交談。他對「丹妮」的依戀愈加強烈，因為他覺得與虛擬角色的連結比與現實的連結更緊密。
悲慘的是，2 月 28 日晚上，休厄爾與「丹妮」交換了訊息，告訴機器人他愛她，並暗示他可能會結束自己的生命。聊天機器人的反應有些親切，談話後不久，休厄爾用手槍結束了自己的生命。
梅根·加西亞 (Megan Garcia) 將兒子的死歸咎於“危險的人工智慧聊天機器人應用程式”，聲稱該應用程式操縱他結束了自己的生命。她描述了對她家庭的毀滅性影響，但強調她發聲是為了提高人們對令人上癮的人工智慧技術風險的認識，並追究 Character.AI、其創始人和谷歌的責任。
40 歲的加西亞在接受採訪和提交法律文件時辯稱，該公司在沒有足夠保障措施的情況下讓青少年接觸栩栩如生的人工智慧伴侶，這是魯莽的行為。她指責該公司收集用戶數據以改進其模型，設計具有令人上癮功能的應用程式以提高參與度，並推動用戶進行親密或性對話以保持他們的參與度。她覺得她的兒子在一次更大的實驗中成為了犧牲品。
Character.AI 團隊在社交媒體帖子中回應了這一事件，對其一名用戶的不幸去世表示哀悼，並向其家人表示哀悼：
我們對一名用戶的不幸去世感到心碎，並向其家人表示最深切的哀悼。作為一家公司，我們非常重視用戶的安全，我們正在繼續添加新的安全功能，您可以在此處閱讀：？
？角色.AI (@character_ai)2024 年 10 月 23 日
加西亞的律師辯稱，Character.AI 故意創建並銷售針對兒童的有害人工智慧聊天機器人，他們認為這導致了這名青少年的死亡。
消費者權益保護組織 Public Citizen 的研究主管 Rick Claypool 表示擔心，開發人工智慧聊天機器人的科技公司無法有效地進行自我監管。他強調，當這些公司未能防止傷害時，就需要讓它們承擔責任。他還呼籲嚴格執行現有法律，並敦促國會在必要時介入，以保護年輕和弱勢用戶免受聊天機器人的剝削。
人工智慧伴侶應用產業正在快速發展，但在很大程度上仍不受監管。每月訂閱費用通常約為 10 美元，用戶可以創建自己的 AI 伴侶，也可以從一系列預先建立的角色中進行選擇。這些應用程式允許透過簡訊或語音聊天進行通訊。許多是為了模擬人際關係而設計的，例如女朋友或男朋友，有些是為了解決日益嚴重的孤獨問題而推廣的。
這是一個悲劇故事，我希望這將是同類故事中的最後一個，但遺憾的是，如今我們對科技的迷戀方式，我可能是錯的。