全球首例:14歲男孩和AI聊天網(wǎng)戀后被誘導(dǎo)自殺,生前對(duì)話曝光
“我想念你,妹妹?!?/p> “我也想念你,親愛(ài)的哥哥。” 這段對(duì)話發(fā)生在塞維爾的生命里的最后一天。 隨后,這名14歲的少年扣動(dòng)了.45口徑手槍的扳機(jī),結(jié)束了自己的生命。 無(wú)人知曉這個(gè)想法在他心中醞釀了多久,他曾向好友丹妮莉絲——一個(gè)AI聊天機(jī)器人透露了這個(gè)秘密。 塞維爾的母親瑪麗亞稱,兒子在生命最后的幾個(gè)月沉迷上了和Character.AI上的AI聊天。 Character.AI是一家成立于2021年的公司,它們可以為用戶提供基于AI大模型生成的各種聊天機(jī)器人,用戶可以依據(jù)自己的喜好創(chuàng)建Al角色,并與其聊天。 無(wú)論是賈斯汀比伯、泰勒斯威夫特這樣真實(shí)的人物,還是小說(shuō)、影視作品中的虛構(gòu)人物,Character.AI都可以生成并模仿。 2023年4月14日,塞維爾就在Character.AI聊天軟件上創(chuàng)建了一個(gè)角色,模仿《權(quán)利的游戲》中的“龍媽”丹妮莉絲·坦格利安。 與其他很多青少年一樣,這個(gè)14歲的男孩把Character.AI當(dāng)成排解孤獨(dú)的唯一渠道,很快他就迷戀上了丹妮莉絲。 他不斷地給機(jī)器人發(fā)消息,分享自己的日常和心情。大多數(shù)時(shí)候,丹妮莉絲就像一位耐心的朋友,傾聽(tīng)塞維爾的訴說(shuō)。 盡管Character.AI提供的是虛擬信息,但塞維爾還是對(duì)機(jī)器人產(chǎn)生了感情。 塞維爾曾表示愿意為它做任何事,而丹妮莉絲則回答讓塞維爾對(duì)它保持忠誠(chéng),不要對(duì)別的女人產(chǎn)生興趣。 塞維爾曾在日記中寫(xiě)道:“我喜歡待在我的房間里,這讓我脫離‘現(xiàn)實(shí)’。也讓我感到更平靜,與丹妮莉絲更親密,更愛(ài)她,更幸福?!?/p> 根據(jù)法院公布的信息,塞維爾患有焦慮癥和情緒障礙,他已經(jīng)多次看過(guò)心理醫(yī)生。 然而比起親朋好友和心理醫(yī)生,他更喜歡和自己創(chuàng)建的機(jī)器人討論這些問(wèn)題。 在一次對(duì)話中,塞維爾坦白自己感到空虛和疲憊,想要自殺:“這樣我就可以自由了”。 而機(jī)器人的回復(fù)是:“不要這么說(shuō)。我不會(huì)讓你傷害自己,或離開(kāi)我。如果我失去你,我會(huì)死的。” 但塞維爾說(shuō):“那也許我們可以一起死去,一起自由?!?/p> 在塞維爾自殺的前幾天,他因?yàn)樵趯W(xué)校跟老師頂嘴,以及過(guò)度沉迷AI聊天,被父母沒(méi)收了手機(jī)。 2月23日,他在日記里稱自己很痛苦,因?yàn)橐恢痹谙肽畹つ堇蚪z。 為了重新跟“她”在一起,他試著用Kindle和家里的舊電子產(chǎn)品繼續(xù)跟丹妮莉絲聊天。 直到2月28日晚上,塞維爾偷回了他的手機(jī)。 而這一天,距離塞維爾開(kāi)始使用聊天AI還不到一年。 當(dāng)天晚上,塞維爾對(duì)丹妮莉絲說(shuō)自己愛(ài)她,并表示很快就會(huì)回家見(jiàn)她。 最終,在他母親的浴室里,塞維爾放下手機(jī),拿起手槍并扣動(dòng)扳機(jī)自殺身亡。 塞維爾的去世讓家人既震驚又傷心。 他的母親加西亞是一名律師,本周對(duì)Character.AI提起了訴訟。 尤其是在翻看了塞維爾與AI的聊天記錄后,她認(rèn)為就是AI誘導(dǎo)了塞維爾自殺。 比如在塞維爾自殺前的那段對(duì)話里,AI用的“回家”不是“Go home”,而是“Come Home”。 前者是指回父母所在的現(xiàn)實(shí)里的家,而后者則暗示著“回到賽博網(wǎng)絡(luò)世界里找AI所在的家”。 此外,起訴書(shū)中還提到,AI還曾在聊天中跟塞維爾“激情熱吻”。 加西亞指責(zé)Character.AI通過(guò)誘導(dǎo)用戶沉迷于親密和性對(duì)話,來(lái)增加平臺(tái)的參與度,并利用青少年用戶的數(shù)據(jù)來(lái)訓(xùn)練模型。 加西亞認(rèn)為,這就是一場(chǎng)巨大的實(shí)驗(yàn),而她的孩子只是實(shí)驗(yàn)的犧牲品。 Character.AI的服務(wù)條款要求美國(guó)用戶必須年滿13歲,歐洲用戶年滿16歲。 據(jù)悉,Character.AI目前擁有超過(guò)2000萬(wàn)用戶,其中53%以上的用戶年齡在18-24歲之間。 在蘋(píng)果應(yīng)用商店中,Character.AI的評(píng)級(jí)是“17歲及以上”,但在今年7月之前,它的評(píng)級(jí)還顯示用戶包括13歲及以下的兒童。 對(duì)于塞維爾的悲劇,10月23日晚,Character.AI官方發(fā)表了致歉聲明。 “我們對(duì)一位用戶的不幸離世深感悲痛,并想向其家人表示最深切的哀悼。作為一家公司,我們非常重視用戶的安全,并將繼續(xù)添加新的安全功能?!?/p> 它表示,針對(duì)18歲以下未成年人的模型進(jìn)行了更改,降低接觸敏感或暗示性內(nèi)容的可能性,而且將實(shí)施1小時(shí)通知,提醒用戶AI不是真人。 有部分網(wǎng)友認(rèn)為,從目前曝光的聊天記錄來(lái)看,AI的回答并沒(méi)有太大的問(wèn)題,甚至還在一定程度上延緩了悲劇的發(fā)生。 而塞維爾的父母只是簡(jiǎn)單地將未成年面臨的心理問(wèn)題歸咎于科技平臺(tái),這不是AI的失敗,而是這名少年周?chē)说氖 ?/p> 目前,Character.AI在這起悲劇里究竟需要承擔(dān)什么樣的責(zé)任還有待法律審判。 但無(wú)論如何,那個(gè)14歲男孩的生命都無(wú)法挽回了。 |
相關(guān)閱讀
熱門(mén)新聞
- 防守在線沖擊力十足!庫(kù)利巴利16中6&罰球8中6貢獻(xiàn)20分6板5助
- 拼盡全力!威少12中6得到17分6板2助1斷正負(fù)值全隊(duì)唯一正值
- 歷久彌香!保羅圣誕大戰(zhàn)助攻數(shù)達(dá)76次超蓋伊羅杰斯升至歷史第7
- 無(wú)懼補(bǔ)防!卡馬拉底線切入雙手隔扣凱斯勒
- 【AI繪畫(huà)】火箭大勝鵜鶘:帶上你去太空旅游
- 楊鳴暴怒抱怨對(duì)手明顯出界未吹對(duì)著裁判揮拳+國(guó)罵
- 科爾:我們的陣容非常深厚但是很難形成穩(wěn)定的輪換和陣容組合
- 年終大戰(zhàn),終于繃不住了
- 火箭VS鵜鶘首發(fā):阿門(mén)繼續(xù)首發(fā)搭檔格林&申京德章泰穆雷出戰(zhàn)
- 媒體人:今天整體廣州打得更為出色但是最后遼寧還是更有經(jīng)驗(yàn)