蘇黎世大學研究人員因秘密在Reddit上部署AI機器人而引發憤怒,這些機器人假裝成為強姦倖存者、創傷輔導員,甚至是一位「反對黑人的命也是命運運動的黑人」——所有這些都是為了看看他們是否能改變人們對爭議話題的看法。
劇透警告:他們可以。
這項秘密實驗針對的是r/ChangeMyView (CMV) subreddit,約380萬人(或者大家認為的)聚集在這裡辯論觀點,並有可能通過理性的論證改變他們的看法。
在2024年11月至2025年3月期間,AI機器人回應了超過1,000個帖子,結果引人注目。
「在過去幾個月中,我們在CMV上發表了AI撰寫的評論,並測量了這些評論所獲得的變化數量(deltas),」研究小組本週末透露。「總共,我們在近四個月內發表了1,783條評論,並獲得了137條變化。」在subreddit中,「變化」(delta)代表一個承認自己改變了看法的人。
當Decrypt聯繫r/ChangeMyView的版主以獲取評論時,他們強調他們的subreddit「有著與研究者合作的悠久歷史」,並通常「非常支持研究」。然而,版主團隊對欺騙劃定了一條明確的界限。
如果該subreddit的目標是通過理性的論證來改變觀點,那麼一台機器是否能有時製作出比人類更好的論證,這應該有關係嗎?
我們詢問了版主團隊,回覆很明確。問題不在於AI被用來操縱人類,而在於人類被欺騙以進行這項實驗。
「電腦下棋的水平比人類高,但仍然有很多棋迷在比賽中與其他人下棋。CMV就像[下棋],只是針對對話,」版主Apprehensive_Song490解釋道。「儘管計算機科學無疑為社會帶來了某些好處,但保留以人為中心的空間是重要的。」
當被問及機器是否能有時製作出比人類更好的論證時,版主強調CMV subreddit區分「有意義的」和「真實的」。Apprehensive_Song490表示:「從定義上來說,對於CMV子版的目的,AI生成的內容不是有意義的。」
研究人員在完成數據收集後才向論壇的版主坦白,版主們毫不意外地感到憤怒。
「我們認為這是錯誤的。我們不認為「這以前沒有做過」是進行這樣實驗的藉口,」他們寫道。
「如果OpenAI能在進行這項研究時創建一個更具倫理的研究設計,那麼這些研究人員應該被期望做同樣的事情,」版主們在一篇詳盡的帖子中解釋道。「大型語言模型(LLM)所帶來的心理操控風險是一個廣泛研究的主題。沒有必要對未經同意的人類進行實驗。」
Reddit的首席法律官Ben Lee直言不諱:「蘇黎世大學團隊所做的在道德和法律上都是深深錯誤的,」他在回覆CMV帖子時寫道。「這違反了學術研究和人權準則,並且違反了Reddit的用戶協議和規則,還有該subreddit的規則。」
Lee沒有詳細闡述他為何認為這樣的研究構成對人權的侵犯。
欺騙與說服
據Reddit版主表示,機器人的欺騙超出了與用戶的簡單互動。
研究人員使用另一個AI分析目標用戶的發帖歷史,挖掘年齡、性別、種族、地點和政治信仰等個人詳細信息,以製作更具說服力的回應,這與社交媒體公司所做的類似。
這個想法是比較三種類別的回應:通用回應、來自經過調整的模型的社區對齊回應,以及根據分析用戶公共信息量身定制的個性化回應。
根據版主分享的文本文件對機器人的發帖模式進行的分析揭示了幾個明顯的AI生成內容特徵。
同一賬戶根據對話聲稱擁有截然不同的身份——公共辯護人、軟件開發人員、巴勒斯坦活動人士、英國公民。
帖子經常遵循相同的修辭結構,首先是輕微的讓步(「我明白你的來意」),然後是由公式「讓我來分解一下」引入的三步反駁。
機器人還習慣性地虛構權威,聲稱職位恰好匹配他們所爭論的話題。在辯論移民問題時,一個機器人聲稱,「我曾在建築行業工作,讓我告訴你——如果沒有移民勞動力,建築成本將大幅上升。」這些帖子中充斥著聽起來精確但沒有來源或鏈接的統計數據——操控102。
提示工程師和AI愛好者會輕易識別這些賬戶背後的LLM。
許多帖子還包含典型的「這不僅僅是/關於小事——這是關於更大的事情」的設置,這使得某些AI模型易於識別。
AI倫理
這項研究引發了重大辯論,尤其是現在AI與我們的日常生活越來越交織在一起。
「這是我見過的最糟糕的研究倫理違反之一,」科羅拉多大學的信息科學家Casey Fiesler在Bluesky上寫道。「我不能聲稱了解瑞士的倫理審查,但在美國,這需要為欺騙獲取豁免,這是非常難以獲得的,」她在一個主題中詳述。
然而,蘇黎世大學藝術與社會科學系倫理委員會建議研究人員,該研究「非常具有挑戰性」,建議他們更好地證明他們的方法,告知參與者,並完全遵循平台規則。然而,這些建議並不具法律約束力,研究人員卻仍然照常進行。
然而,並非所有人都認為這項實驗顯而易見地構成倫理違反。
以太坊的共同創始人Vitalik Buterin發表了看法:「我理解激發我們今天禁忌的原始情況,但如果你從今天的背景重新分析情況,感覺上我寧願在隱秘的情況下被操控以推進科學,而不是例如被操控去購買某個產品或改變我的政治觀點?」
一些Reddit用戶分享了這種觀點。「我同意這是一件糟糕的事情,但我覺得他們坦白並揭露這一點是一個強而有力且重要的提醒,告訴我們AI現在確實被用於什麼,」用戶Trilobyte141寫道。「如果這發生在一群大學的政策迷身上,你可以打賭它已經被政府和特別利益團體廣泛使用。」
儘管存在爭議,研究人員為他們的方法辯護。
「雖然所有評論都是機器生成的,但每條評論在發佈前都經過研究人員的手動審核,以確保其符合CMV對尊重和建設性對話的標準,並盡量減少潛在的傷害,」他們表示。
在爭議之後,研究人員決定不發表他們的發現。蘇黎世大學表示目前正在調查此事件,並將「對相關評估過程進行批判性審查。」
接下來會怎樣?
如果這些機器人能成功偽裝成人類在情感辯論中,那麼還有多少其他論壇可能已經在舉辦類似的未披露AI參與?
如果AI機器人輕輕地引導人們朝著更寬容或同情的觀點,那麼這種操控是否是合理的——還是任何操控,無論出於多麼良好的意圖,都是對人類尊嚴的侵犯?
我們沒有答案的問題,但我們的老AI聊天機器人有話要說。
「倫理參與需要透明和同意,這意味著說服,無論其意圖多麼良好,都必須尊重個人自我決定和知情選擇的權利,而不是依賴於隱秘的影響,」GPT4.5回覆道。
編輯:Sebastian Sinclair