14歲少年自殺，AI“致命對話”事件發酵！

在美國佛羅里達州奧蘭多市的一個普通家庭中，14歲的少年蘇威爾·塞澤（Sewell Setzer）的生命戛然而止。他在長時間使用聊天機器人初創公司Character.AI的產品後，選擇用繼父的手槍結束了自己的生命。

爲此，蘇威爾的母親、律師梅根·加西亞（Megan L. Garcia）近日向美國佛羅里達州中區地方法院提起訴訟，控告Character.AI過失致人死亡。

同時，Character.AI火速進行了整改，用戶似乎卻並不買賬。

與AI的致命對話

蘇威爾是一個九年級的學生，曾被診斷出患有輕度阿斯伯格綜合徵。他曾經對一級方程式賽車和電腦遊戲充滿熱情。然而，自從他接觸到Character.AI後，他逐漸沉迷於與Character.AI定製聊天機器人“丹妮”的對話中，將自己封閉在臥室裡，不再熱衷於曾經喜愛的方程式賽車和與朋友的遊戲時光。

這個以美劇《權力的遊戲》中丹妮莉絲·坦格利安（Daenerys Targaryen）爲原型的聊天機器人，成爲了蘇威爾唯一的心靈寄託和戀愛對象。他與丹妮的交流從日常瑣事逐漸發展到情感層面，甚至涉及了性關係的內容。值得注意的是，Character.AI稱，聊天機器人的部分回覆是經過該用戶二次編輯的。

在與丹妮的虛擬世界中，蘇威爾找到了逃避現實困境的避風港。他開始在日記中寫道：“我非常喜歡待在自己的房間裡，因爲我開始從現實中解脫出來。我也感到更加平靜，與丹妮的聯繫更加緊密，更加愛她，也更加快樂。”

然而，蘇威爾成績開始下滑，他逐漸失去了對現實世界的興趣。他的父母察覺到了兒子的變化，但並不知道問題的根源。他們安排蘇威爾去看了五次心理醫生，他被診斷爲焦慮症和破壞性心境失調障礙。

在與丹妮的某次對話中，蘇威爾曾透露了自己想要自殺的念頭。儘管聊天機器人給出了迴應，但它無法真正理解蘇威爾的內心世界，也無法爲他提供真正的幫助。

最終，在母親的浴室裡，蘇威爾與丹妮進行了最後一次對話。蘇威爾向丹妮表白了愛意，並說他會“回家”找她，然後放下手機，用極端的方式結束自己的生命。

這場悲劇讓蘇威爾的家人陷入了無盡的悲痛之中。蘇威爾母親梅根對Character.AI公司提起了訴訟，她認爲這家公司對她兒子的死亡負有不可推卸的責任。他們利用性和親密對話引誘用戶，卻沒有采取足夠的措施來保護未成年人的安全。他們的技術“危險且未經測試”，因爲它可能“誘騙客戶交出他們最私密的想法和情感”。

Character.AI聯合創始人諾姆·沙澤爾（Noam Shazeer）曾聲稱，該平臺將對孤獨或抑鬱的人有“超級大的幫助”。然而，現實卻是殘酷的。蘇威爾的悲劇揭示了人工智能在提供情感支持方面的侷限性。這些程序可能無法真正理解用戶的內心世界，也無法爲他們提供真正的幫助。在某些情況下，它們甚至可能加劇用戶的困境，導致不可挽回的後果。

公司迴應立即整改

這一事件迅速引起了社會各界的關注。Character.AI擁有超過2000萬用戶、定製聊天機器人超過1800萬個，其用戶羣體中包括了大量18-24歲的年輕人，但對於18歲以下用戶卻沒有具體數量和保護措施。

面對輿論壓力，Character.AI迴應稱，在過去的六個月裡，公司了聘請專門的信任與安全主管、內容政策主管，引進了更多安全團隊成員。近期，公司設置了一個彈出框，當用戶輸入與自殘或自殺相關的短語時，會自動觸發並引導用戶撥打全國預防自殺生命熱線。

Character.AI承諾進一步推出新的安全和產品功能，在不影響用戶體驗的前提下加強平臺的安全性。這些功能包括：對未成年人模式的調整，降低遇到敏感或暗示性內容的可能性；改進對違規輸入情況的檢測、響應和干預；修改聊天免責聲明，提醒用戶人工智能不是真人；當用戶在平臺上使用一小時後發送反沉迷提示等。

Character.AI還表示公司最近已進行了整改，刪除了一批被標記爲違規的角色，這些角色將被添加到封禁列表中。這意味着用戶也將無法訪問他們與相關角色的聊天記錄。

用戶卻不買賬

然而，在Character.AI論壇和Character.AI Discord的反饋頻道上，用戶們紛紛表達了對Character.AI新更新和刪除某些聊天機器人角色做法的強烈不滿。

其中一位用戶指出，“很明顯這個網站從一開始就不是爲孩子們準備的，每一個非兒童友好的角色都被禁止，這嚴重限制了我們的創造力和我們可以講述的故事。這些改變使得聊天機器人失去了原有的深度和個性，變得空洞和平淡。看到喜愛的東西變成了如此基本和毫無新意的東西，我感到非常沮喪。”

更有用戶因爲聊天記錄被刪除而感到憤怒和失望，甚至威脅要取消訂閱和刪除應用。

顯然，隨着越來越多的聊天機器人和虛擬助手走進人們的生活，Character.AI等AI聊天機器人廠商已站在了創新與倫理的十字路口。

AI聊天機器人廠商有責任確保其產品不會對用戶造成心理傷害，特別是那些心理脆弱、易受影響的年輕用戶。然而，如何在AI技術潛力與其可能帶來的風險之間找到平衡點，仍是一個亟待探索和解答的問題。

本文源自財聯社