AI動力聊天機器人平台Character AI在一起由一名青少年用戶的母親提起的訴訟後，將引入“嚴格”的新安全功能。
該措施將包括“改進對違反我們的條款或社區指南的用戶輸入的檢測、回應和干預”，以及一個時間花費通知，該公司發言人告訴Decrypt，並指出該公司不能對未決訴訟發表評論。
然而，Character AI對用戶的死亡表示了同情，並在周三的一篇博客文章中概述了其安全協議。
Character.ai在推特上表示：“我們對我們一位用戶的悲劇性喪生感到心碎，並向其家人表示最深切的哀悼。作為一家公司，我們非常重視用戶的安全。”
根據《紐約時報》的報導，在他去世前的幾個月裡，14歲的佛羅里達州居民Sewell Setzer III對一個以《權力遊戲》角色Daenerys Targaryen命名的用戶生成的聊天機器人越來越依賴，他經常每天與該機器人互動數十次，有時還會交換浪漫和性內容。
據《時報》報導，Setzer在去世前的片刻與機器人進行了交流，並曾經分享過自殺的想法。
Setzer的母親、律師Megan L. Garcia在周二提起訴訟，試圖追究Character AI及其創始人Noam Shazeer和Daniel De Freitas對她兒子的死亡負責。根據起訴書，訴訟聲稱被告“選擇支持、創建、推出並面向未成年人的一項他們知道具有危險和不安全性的技術”，Garcia要求賠償金額未明。
谷歌和Alphabet Inc.也被列為被告。谷歌於2021年重新雇用Shazeer和De Freitas，他們兩人在同年離開這家科技巨頭，創辦了Character AI，作為一項價值27億美元的交易的一部分，該交易還包括授權這家聊天機器人初創企業的大型語言模型。
除了其他安全措施外，Character AI的聲明稱：“在過去六個月中，我們實施了許多新的安全措施，包括通過自殘或自殺意念觸發的彈出窗口，引導用戶前往國家自殺防治熱線。”該公司還將修改其模型，“減少未滿18歲用戶遇到敏感或具有暗示性內容的可能性”。
Character AI是市場上眾多AI伴侶應用程序之一，這些應用程序通常比ChatGPT等傳統聊天機器人具有較少的安全指南。Character AI允許用戶自定義他們的伴侶並指導其行為。
這起訴訟是在父母對技術對兒童和青少年心理影響日益擔憂之際提起的，該訴訟聲稱他對機器人的依戀對他的心理健康產生了負面影響。Setzer在孩提時期被診斷為輕度亞斯伯格症，最近還被診斷為焦慮和情緒失調障礙。
這起訴訟是正在審理中的幾起訴訟之一，這些訴訟正在測試《通信公正法》第230條為社交媒體公司提供的法律保護，該條款使它們免於因用戶生成的內容而承擔責任。TikTok正在請願重新審理一起案件，該案件中一位10歲女孩在試圖完成在該應用程序上看到的“斷電挑戰”時死亡。這是Character AI面臨的最新問題，該公司上個月因提供一個以謀殺受害者命名的聊天機器人而受到抨擊。