4月17日，IOSG Ventures 第十二届老友记（Old Friends Reunion）如期举行，本次活动主题为《Singularity: AI x Crypto Convergence》，因此，我们也邀请了行业中正在崭露头角的杰出代表。这次聚会的目的是让参与者共同探讨人工智能和加密货币领域的融合之处，以及这种融合对未来的影响。在这样的活动中，与会者有机会分享他们的见解、经验和想法，从而促进行业内的合作与创新。
接下来是本次活动的Keynote之一，由来自 IOSG Ventures 的 Portfolio NEAR Protocol 的联合创始人 Illia Polosukhin 为大家带来《Why AI Needs to be Open – 为何AI需要Web3》
让我们来探讨一下“为什么人工智能需要开放”。我的背景是Machine Learning，在我的职业生涯中大约有十年的时间一直在从事各种机器学习的工作。但在涉足Crypto、自然语言理解和创立NEAR之前，我曾在谷歌工作。我们现在开发了驱动大部分现代人工智能的框架，名为Transformer。离开谷歌之后，我开始了一家Machine Learning公司，以便我们能够教会机器编程，从而改变我们如何与计算机互动。但我们没有在2017或者18年这样做，那时候太早了，当时也没有计算能力和数据来做到这一点。
我们当时所做的是吸引世界各地的人们为我们做标注数据的工作，大多数是学生。他们在中国、亚洲和东欧。其中许多人在这些国家没有银行账户。美国不太愿意轻易汇款，所以我们开始想要使用区块链作为我们问题的解决方案。我们希望以一种程序化的方式向全球的人们支付，无论他们身在何处，都能让这变得更加容易。顺便说一句，Crypto的目前挑战是，现在虽然NEAR解决了很多问题，但通常情况下，你需要先购买一些Crypto，才能在区块链上进行交易来赚取，这个过程反其道而行了。
就像企业一样，他们会说，嘿，首先，你需要购买一些公司的股权才能使用它。这是我们NEAR正在解决的很多问题之一。现在让我们稍微深入讨论一下人工智能方面。语言模型并不是什么新鲜事物，50年代就存在了。它是一种在自然语言工具中被广泛使用的统计工具。很长一段时间以来，从2013年开始，随着深度学习重新被重新启动，一种新的创新就开始了。这种创新是你可以匹配单词，新增到多维度的向量中并转换为数学形式。这与深度学习模型配合得很好，它们只是大量的矩阵乘法和激活函数。
这使我们能够开始进行先进的深度学习，并训练模型来做很多有趣的事情。现在回顾起来，我们当时正在做的是神经元神经网络，它们在很大程度上是模仿人类的模型，我们一次可以读取一个单词。因此，这样做速度非常慢，对吧。如果你试图在Google.com上为用户展示一些内容，没有人会等待去阅读维基百科，比如说五分钟后才给出答案，但你希望马上得到答案。因此，Transformers 模型，也就是驱动ChatGPT、Midjourney以及所有最近的进展的模型，都是同样来自这样的想法，都希望有一个能够并行处理数据、能够推理、能够立即给出答案。
因此这个想法在这里的一个主要创新是，即每个单词、每个token、每个图像块都是并行处理的，利用了我们具有高度并行计算能力的GPU和其他加速器。通过这样做，我们能够以规模化的方式对其进行推理。这种规模化能够扩大训练规模，从而处理自动训练数据。因此，在此之后，我们看到了Dopamine，它在短时间内做出了惊人的工作，实现了爆炸式的训练。它拥有大量的文本，开始在推理和理解世界语言方面取得了惊人的成果。
现在的方向是加速创新人工智能，之前它是一种数据科学家、机器学习工程师会使用的一种工具，然后以某种方式，解释在他们的产品中或者能够去与决策者讨论数据的内容。现在我们有了这种 AI 直接与人交流的模式。你甚至可能都不知道你在与模型交流，因为它实际上隐藏在产品背后。因此，我们经历了这种转变，从之前那些理解AI如何工作的，转变成了理解并能够将其使用。
因此，我在这里给你们一些背景，当我们说我们在使用GPU来训练模型时，这不是我们桌面上玩视频游戏时用的那种游戏GPU。
每台机器通常配备八个GPU，它们都通过一个主板相互连接，然后堆叠成机架，每个机架大约有16台机器。现在，所有这些机架也都通过专用的网络电缆相互连接，以确保信息可以在GPU之间直接极速传输。因此，信息不适合CPU。实际上，你根本不会在CPU上处理它。所有的计算都发生在GPU上。所以这是一个超级计算机设置。再次强调，这不是传统的“嘿，这是一个GPU的事情”。所以规模如GPU4的模型在大约三个月的时间里使用了10,000个H100进行训练，费用达到6400万美元。大家了解当前成本的规模是什么样的以及对于训练一些现代模型的支出是多少。
重要的是，当我说系统是相互连接的时候，目前H100的连接速度，即上一代产品，是每秒900GB，计算机内部CPU与RAM之间的连接速度是每秒200GB，都是电脑本地的。因此，在同一个数据中心内从一个GPU发送数据到另一个GPU的速度比你的计算机还快。你的计算机基本上可以在箱子里自己进行通信。而新一代产品的连接速度基本上是每秒1.8TB。从开发者的角度来看，这不是一个个体的计算单元。这些是超级计算机，拥有一个巨大的内存和计算能力，为你提供了极大规模的计算。
现在，这导致了我们面临的问题，即这些大公司拥有资源和能力来构建这些模型，这些模型现在几乎已经为我们提供了这种服务，我不知道其中究竟有多少工作，对吧？所以这就是一个例子，对吧？你去找一个完全集中式的公司提供者，然后输入一个查询。结果是，有几个团队并不是软件工程团队，而是决定结果如何显示的团队，对吧？你有一个团队决定哪些数据进入数据集。
举个例子，如果你只是从互联网上爬取数据，关于巴拉克·奥巴马出生在肯尼亚和巴拉克·奥巴马出生在夏威夷的次数是完全相同的，因为人们喜欢猜测争议。所以你要决定要在什么上进行训练。你要决定过滤掉一些信息，因为你不相信这是真的。因此，若像这样的个人已经决定哪些数据会被采用且存在这些数据，这些决定在很大程度上是由做出它们的人所影响的。你有一个法律团队决定。因此，在某种程度上，有很多这样的过滤和操纵行为。这些模型是統計模型。它們會從數據中挑選出來。如果數據中沒有某些內容，它們就不會知道答案。如果數據中有某些內容，它們很可能會將其視為事實。現在，當你從AI得到一個回答時，這可能會令人擔憂。對吧。現在，你理應是從模型那裡得到回答，但是沒有任何的保證。你不知道結果是如何生成的。一家公司可能會把你的特定會話賣給出價最高的人來實際改變結果。想象一下，你去詢問應該買哪種車，豐田公司決定覺得應該偏向豐田這個結果，豐田將支付這家公司10美分來做到這一點。
因此，即使你將這些模型用作應該中立並代表數據的知識庫，實際上在你得到結果之前，會發生很多事情，這些事情會以一種非常特定的方式對結果進行偏見。這已經引發了很多問題，對吧?這基本上就是大公司和媒體之間不同法律訴訟的一個星期。SEC，現在幾乎每個人都在試圖起訴對方，因為這些模型帶來了如此多的不確定性和權力。而且，如果往前看，問題在於大型科技公司將永遠有繼續增加收入的動機，對吧?比如，如果你是一家上市公司，你需要報告收入，你需要繼續保持增長。
為了實現這一目標，如果你已經佔據了目標市場，比如說你已經有20億用戶了。在互聯網上已經沒有那麼多新用戶了。你沒有太多的選擇，除了最大化平均收入，這意味著你需要從用戶那裡提取更多的價值，而他們可能根本沒有什麼價值，或者你需要改變他們的行為。生成式人工智能非常擅長於操縱和改變用戶的行為，特別是如果人們認為它是以一切知識智能的形式出現的。因此，我們面臨著這種非常危險的情況，在這種情況下，監管壓力很大，監管機構並不完全了解這項技術的工作原理。我們幾乎沒有保護用戶免受操縱的情況。
操縱性內容、誤導性內容，即使沒有廣告，你也可以只是截取一些東西的屏幕截圖，改變標題，發布到Twitter上，人們就會發瘋。你有經濟激勵機制，導致你不斷地最大化收入。而且，這實際上不像在谷歌內部你是在做惡事，對吧?當你決定啟動哪個模型時，你會進行A或B測試，看看哪個能帶來更多收入。因此，你會通過從用戶那裡提取更多價值來不斷地最大化收入。而且，用戶和社區並沒有對模型的內容、使用的數據以及實際嘗試實現的目標有任何輸入。這就是應用程序用戶的情況。這是一種調節。
這就是為什麼我們要不斷推動WEB 3和AI融合的原因，web 3 可以是一種重要的工具，它允許我們有新的激勵方式，並且還是以去中心化的形式去激勵我們生產更好的軟件和產品。這是整個web 3 AI 開發的大方向，現在為了幫助理解細節，我會簡單講一下具體的部分，首先第一部分是Content Reputation。
再次強調，這不是一個純粹的人工智能問題，儘管語言模型為人們操縱和利用信息帶來了巨大的影響力並擴大了規模。你想要的是一種可以追蹤的、可追溯的加密聲譽，當你查看不同的內容時，它會顯現出來。所以想象一下，你有一些社區節點，它們實際上是加密的，並且在每個網站的每個頁面上都可以找到。現在，如果你超越這一點，所有這些分發平台都將會受到干擾，因為這些模型現在幾乎將閱讀所有這些內容並為你提供個性化摘要和個性化輸出。
因此，我們實際上有機會創造新的創造性內容，而不是試圖重新發明，讓我們在現有內容上加上區塊鏈和NFTs。圍繞模型訓練和推理時間的新創作者經濟，人們創造的數據，無論是新的出版物、照片、YouTube，還是你創作的音樂，都將進入一個基於其對模型訓練的貢獻程度的網絡。因此，根據這一點，根據內容可以在全球範圍內獲得一些報酬。因此，我們從現在由廣告網絡推動的吸引眼球的經濟模式過渡到了真正帶來創新和有趣信息的經濟模式。
我想提一件重要的事情，那就是大量的不確定性來自浮點運算。所有這些模型都涉及大量的浮點運算和乘法。這些都是不確定性的操作。
現在，如果你將它們在不同架構的GPU上進行乘法運算。所以你拿一個A100和一個H100，結果會有所不同。因此，很多依賴確定性的方法，比如加密經濟和樂觀主義，實際上會遇到很多困難，並且需要很多創新才能實現這一點。最後，有一個有趣的想法，我們一直在構建可編程貨幣和可編程資產，但是如果你能想象一下，你給它們添加這種智能，你就可以有智能資產，它們現在不是由代碼定義的，而是由自然語言與世界互動的能力來定義，對吧?這就是我們可以有很多有趣的收益優化、DeFi，我們可以在世界內部進行交易策略。
現在的挑戰在於所有當前事件都不具備強大的Robust行為。它們並沒有被訓練成具有對抗性的強大性，因為訓練的目的是預測下一個token。因此，說服一個模型給你所有的錢會更容易。在繼續之前，實際上解決這個問題非常重要。所以我就給你留下這個想法，我們處在一個十字路口上，對吧?有一個封閉的人工智能生態系統，它有極端的激勵和飛輪，因為當他們推出一個產品時，他們會產生大量的收入，然後把這些收入投入到建設產品中。但是，該產品天生就是為了最大化公司的收入，從而最大化從用戶那裡提取的價值。或者我們有這種開放、用戶擁有的方法，用戶掌控著局面。
這些模型實際上對你有利的，試圖最大化你的利益。它們為你提供了一種方式，真正保護你免受在互聯網上的許多危險。所以這就是為什麼我們需要AI x Crypto更多的開發和應用。謝謝大家。