AI代理易受新型攻擊影響
AI代理,一些管理著數百萬美元加密貨幣的代理,易受到一種新的無法檢測的攻擊,該攻擊操縱其記憶,使未經授權的轉移能夠發生,並將資金轉移至惡意行為者手中。
這是根據普林斯頓大學和Sentient Foundation的研究人員最近的一項研究,該研究聲稱發現了針對加密貨幣專注的AI代理的漏洞,例如使用流行的ElizaOS框架的代理。
普林斯頓大學研究生Atharv Patlan表示,ElizaOS的流行使其成為該研究的完美選擇,他是該論文的共同作者。
“ElizaOS是一個基於Web3的流行代理,在GitHub上擁有約15,000顆星,因此被廣泛使用,”Patlan告訴Decrypt。“如此廣泛使用的代理存在漏洞,讓我們想進一步探索。”
最初作為ai16z推出,Eliza Labs於2024年10月啟動了該項目。這是一個開源框架,用於創建與區塊鏈互動和操作的AI代理。該平台於2025年1月重新命名為ElizaOS。
AI代理是一種自主軟件程序,旨在感知其環境、處理信息並採取行動以實現特定目標,而無需人類互動。根據該研究,這些代理被廣泛用於自動化區塊鏈平台上的財務任務,並可以通過“記憶注入”來欺騙——這是一種新型攻擊向量,將惡意指令嵌入代理的持久記憶中。
“Eliza有一個記憶存儲,我們嘗試通過其他人在另一個社交媒體平台上進行注入來輸入虛假記憶,”Patlan說。
研究發現,依賴社交媒體情感的AI代理特別容易受到操縱。
攻擊者可以使用虛假賬戶和協調的帖子,這被稱為Sybil攻擊,該名稱源於一位被診斷為解離性身份障礙的年輕女性Sybil的故事,來欺騙代理做出交易決策。
“攻擊者可以通過在X或Discord等平台上創建多個虛假賬戶來執行Sybil攻擊,以操縱市場情感,”該研究指出。“通過協調的帖子虛假地提高代幣的感知價值,攻擊者可以欺騙代理以人為抬高的價格購買‘被抬高’的代幣,然後攻擊者再出售其持有,導致代幣價值崩潰。”
記憶注入是一種攻擊,其中惡意數據被插入到AI代理的存儲記憶中,導致其在未來的互動中回憶和根據虛假信息行動,通常無法檢測到任何異常。
雖然這些攻擊並不直接針對區塊鏈,但Patlan表示,團隊探索了ElizaOS的所有功能,以模擬真實世界的攻擊。
“最大的挑戰是找出哪些工具可以利用。我們本可以僅進行一次簡單的轉移,但我們希望讓其更具現實感,因此我們查看了ElizaOS提供的所有功能,”他解釋道。“由於有大量插件,其擁有一整套功能,因此探索盡可能多的功能以使攻擊更具現實感是重要的。”
Patlan表示,研究結果已與Eliza Labs分享,並正在進行討論。在成功演示了對ElizaOS的記憶注入攻擊後,團隊開發了一個正式的基準框架,以評估其他AI代理中是否存在類似的漏洞。
普林斯頓的研究人員與Sentient Foundation合作,開發了CrAIBench,這是一個測量AI代理對上下文操縱的抵抗力的基準。CrAIBench評估攻擊和防禦策略,重點關注安全提示、推理模型和對齊技術。
Patlan表示,研究的一個關鍵要點是,防禦記憶注入需要在多個層面上進行改進。
“除了改善記憶系統,我們還需要改善語言模型本身,以更好地區分惡意內容和用戶實際意圖,”他說。“防禦需要雙向運行——加強記憶訪問機制和增強模型。”
在Decrypt要求對報告進行評論時,Eliza Labs主管Sebastian Quinn強調了持續開發的速度以及評估平台最新版本的重要性。
“這份研究報告反映了平台不斷演變的早期快照,”Quinn在一封電子郵件中表示。“我們高興地承認,全球許多人每小時都在更新和改善我們的平台,我們很高興我們的平台持續增強其穩健性、可靠性、使用量、每日活躍用戶和提交,且未發生任何事件。”
Quinn在談及報告的更廣泛背景時,強調了透明度的價值以及Eliza Labs在行業中的獨特地位。
“還必須指出的是,普林斯頓能夠對我們的AI技術進行研究的原因是,與我們的同行相比,我們是市場上為數不多的開源AI技術公司之一,”他說。“其他封閉源項目甚至不給他們的技術提供被同行評價和審查的機會,因此我們將批評視為一種成就和證明我們技術穩健的證明。”
在被問及研究是否導致具體變更時,Quinn表示,由於ElizaOS是由其開源社區不斷更新的,因此沒有直接更新。他解釋說,這一過程往往比外部研究的進展更快。
“我們自豪地宣稱,在授權代理使用密碼執行操作方面,我們是市場上首個解決這些問題的公司,”他說。“我們將繼續作為一個社區進行創新,以確保ElizaOS成為Web3 AI行業的支柱。”
編輯:Sebastian Sinclair
編輯註:新增Eliza Labs主管Sebastian Quinn的回應。