谷歌、英偉達聯手打造 AI 超級計算機架構，Agent 業態初顯且已商業化，谷歌的基礎設施太全面了

作者 | 趙鈺瑩

省流版：基礎軟件相當能打，新的 TPU v5p 支持下的 AI 超級計算機架構足以應對最嚴苛的生成式 AI 大語言模型和場景。Agent 已經商業化，單就用例本身（視頻智能生成、智能辦公等等）國內均有類似形態的產品，沒有“WoW”的感覺，但與國內同樣產品相比，谷歌的用例精細化能力相當高，足以應對企業級場景的需求。

美國時間 4 月 9 日，Google Cloud Next ’24 在拉斯維加斯正式召開。Google Cloud CEO Thomas Kurian 等帶來了主題爲「即刻踏上雲端新旅程」的開幕演講。

在會議開始之前，媒體及分析師們均十分期待谷歌本次大會上與生成式 AI 相關的發佈，包括今年引起巨大討論的 Gemini 系列，以及 vertexAI、硬件層面的更新等，包括是否會與英偉達最新發布的芯片合作等。

事實證明，谷歌已經圍繞生成式 AI 構建起一整套的成熟架構，這是屬於 AI 時代的超級計算架構。Thomas Kurian 表示自上次 Cloud Next 大會以來，谷歌已經進行了一千多次的產品更新，並聲稱這是世界上增長最快的雲提供商。Alphabet 首席執行官 Sundar Pichai 特別讚揚了 Gemini 系列爲各地企業提供了很多發展機會。與此同時，本屆大會展示了谷歌已經構築起的生成式 AI 全景圖。

1 基礎設施看谷歌，聯手英偉達，AI Hypercomputer 超級能打

一系列芯片更新...

爲了支持當今企業中採用的日益強大的生成式人工智能模型，谷歌宣佈全面推出迄今爲止最強大、可擴展的張量處理單元 - TPU v5p，其設計目的只有一個——訓練和運行最苛刻的生成式 AI 模型。

TPU v5p 旨在提供巨大的計算能力，單個 Pod 包含 8,960 個協同運行的芯片，這是 TPU v4 Pod 數量的兩倍多。谷歌方面表示，TPU v5p 提供了令人印象深刻的性能提升，每秒浮點運算次數增加了一倍，每芯片的高帶寬內存增加了三倍，從而大大提高了整體吞吐量。爲了使客戶能夠訓練和服務在大規模 TPU 集羣上運行的 AI 模型，谷歌在 Google Kubernetes Engine 上添加了對 TPU v5p 虛擬機的支持，Google Kubernetes Engine 是其用於運行軟件容器的雲託管服務。

如預期，谷歌與英偉達聯手，用戶可以使用英偉達的最新硬件在 Google Cloud 上訓練其生成式 AI 模型。除了 TPU 系列之外，它還通過新的 A3 系列虛擬機提供對 Nvidia H100 GPU 的訪問。A3 Mega VM 將從下個月開始全面上市，其主要優勢之一是支持“機密計算”，這是指即使在處理最敏感的數據時也可以保護其免受未經授權的訪問的技術。

這是一個極其關鍵的發展，這爲生成式 AI 模型提供了一種方法來訪問以前被認爲處理風險太大的數據，而數據安全隨着生成式 AI 的爆火而愈發重要。

“Character.AI 正在使用 Google Cloud 的 Tensor 處理器單元和在 Nvidia H100 Tensor Core GPU 上運行的 A3 VM 來更快、更高效地訓練和推斷 LLM，”Character Technologies Inc. 首席執行官 Noam Shazeer 表示。“在強大的人工智能優先基礎設施上運行的 GPU 和 TPU 的可選性使 Google Cloud 成爲我們顯而易見的選擇，因爲我們需要擴展規模，爲數百萬用戶提供新的特性和功能。”

與此同時，谷歌官宣了其宏偉計劃 -AI Hypercomputer，面向生成式 AI 時代的超級計算機架構，提供端到端的基礎設施，從硬件到軟件的一切服務，並宣佈了 Google Axion 處理器，這是谷歌首款專爲數據中心設計的基於 Arm 的定製 CPU。Axion 提供業界領先的性能和能源效率，並將於今年晚些時候向 Google Cloud 客戶提供。

更令人興奮的是谷歌將在今年晚些時候推出的產品。儘管沒有透露具體時間，但谷歌方面確認計劃將英偉達最近宣佈但尚未發佈的 Blackwell GPU 引入其 AI 超級計算機架構。谷歌方面表示， Blackwell GPU 將提供兩種配置，虛擬機由 HGX B200 和 GB200 NVL72 GPU 提供支持。前者是爲最苛刻的人工智能工作負載而設計的，而後者則有望支持實時大語言模型推理和萬億參數規模模型的大規模訓練的新時代。

2 Gemini 1.5 Pro 正式發佈公共預覽版

Gemini 1.5 Pro 的預覽版發佈只能說中規中矩，畢竟該系列在今年 2 月份就已經面世，這個模型最大的特點就是創下了最長上下文窗口的紀錄。

根據官方披露，Gemini 1.5 Pro 將上下文窗口容量提到了 100 萬 token（極限爲 1000 萬 token），遠遠超出了 Gemini 1.0 最初的 32000 個 token，此前的 SOTA 模型也纔將上下文窗口容量提高到了 20 萬 token。

這意味着 Gemini 1.5 Pro 可以自如地處理 22 小時的錄音、超過十倍的完整的 1440 頁的書（587,287 字）《戰爭與和平》，以及四萬多行代碼、三小時的視頻。

憑藉超長上下文理解能力，Gemini 1.5 Pro 得到了很多用戶的認可。很多測試過 Gemini 1.5 Pro 的人更是直言，這個模型被低估了。如今預覽版正式推出，期待後續廣大開發者的反饋。

Kurian 現場介紹了衆多可能的用例，並強調通過系列新增功能，谷歌雲仍然是唯一提供廣泛使用的第一方（Gemini 系列）和第三方模型（主要指 vertexAI 上面的模型）服務的雲服務商。

3 Google Search 升級

通過使用新的提示管理工具對模型進行更精細的調整，包括解釋爲什麼某些提示比其他提示效果更好等，可以進一步提高搜索結果的質量，顯著降低產生幻覺的可能性。

這些現均已在 Vertex AI 上提供，Vertex AI 是 Google Cloud 的平臺，用於定製和全面管理各種領先的人工智能模型。如今，超過 100 萬開發人員正在使用谷歌的生成式 AI 工具，包括 AI Studio 和 Vertex AI。此外，通過 Vertex AI，客戶現在可以通過兩種新方式增強和基礎他們的模型——將模型輸出連接到可驗證的信息源。第一個是 Google Search，它提供高質量的信息以提高響應的準確性。第二個是用戶自己的數據和事實來源，例如 Workday 或 Salesforce 等企業應用程序以及 BigQuery 等 Google Cloud 數據庫。

生成式 AI 時代，基礎設施是一切創新的基礎，極其重要，而單看這一部分，谷歌還是相當全面，超級能打。

4 Agent、Agent、Agent，已經商業化

會議現場，谷歌公佈了系列 Agent 用例，比如 Custom Agent、Code Agent。可能是國內應用市場的繁榮導致平常“吃得太好”，這部分用例並沒有讓筆者有“Wow”的感覺，但單從 Demo 來看，谷歌公佈出來的場景效果確實足夠精細，這種精細指的是“足以在企業場景中落地”，極其重要的是谷歌已經將這些商業化了，每一個用例都跟着一個客戶故事。

爲了有效創建下一代 Agent，谷歌宣佈了新的 Vertex AI Agent Builder，其提供了一個更簡單的流程來訓練、編輯和啓動相關工具，包括相關控制能力和基礎響應。

今年初，國內外對 Agent 寄予厚望，這被認爲是生成式 AI 最有可能變現的一條路。如今看來，谷歌已經實現了，奔馳、沃爾瑪等企業均在利用谷歌提供的 Agent，而主會場的後半程幾乎都被 Agent 所佔據。

由於這部分用例較多，且大部分國內感知有限（比如 Google Workspace），就不一一列舉，着重聊下 Data Agents 和 Code Agents。

視頻生成、剪輯相關用例

Data Agents 類似的產品形態，國內其實也有一些簡單的嘗試，通過在數據庫或者數據平臺上添加一些基本功能，讓用戶可以通過自然語言的方式與“業務數據”做交互。谷歌基於 BigQuery 做了 Data Agents 方面的嘗試，沃爾瑪執行副總裁 Suresh Kumar 也通過視頻表示已經利用該功能來創造新的見解和個性化體驗。

Code Agent 也顯示出了人工智能將爲代碼編寫帶來巨大變化。Gemini Code Assist 獲得了強大關注，谷歌現在正在將其擴展到 Gitlab、Github、本地和外部。谷歌表示，Gemini 1.5 Pro 即將加入 Code Assist，爲編碼帶來 100 萬 tokens，“徹底改變”編碼。Gemini Cloud Assist 還可跨應用程序框架工作，讓業務更順暢、更輕鬆地推出和擴展。

國內外的智能編碼工具不少，大部分目前是集成在 IDE 中使用，Agent 這種形態確實比較領先。早前，筆者從國內頭部編碼工具廠商那裡瞭解到，其也將在今年下半年推出 Agent 版本，或許是國內目前來看比較有希望的節點。

面向生成式 AI 時代，谷歌的每一層架構都做好了準備。Kurian 提到：“我們正處於行業的關鍵時刻，我們正在重塑基礎設施以支持人工智能新時代”。

“我們正在共同構建一種新的雲方式。”

探索軟件開發的新境界！QCon 全球軟件開發大會迎來全新升級，現已華麗轉型爲【QCon 全球軟件開發大會暨智能軟件開發生態展】。這不僅是一場技術盛宴，更是深度交流與創新展示的交匯點。我們誠邀您於 2024 年 4 月 11 日至 13 日，蒞臨北京·國測國際會議會展中心，共同見證並參與這場融合技術分享、深度研討與前沿展覽的綜合性盛會。讓我們攜手開啓智能軟件開發的新篇章！

距離【QCon】開幕倒計時 1 天，全面覆蓋“人工智能 +”的典型案例！購票請聯繫票務經理 17310043226 。查看「閱讀原文」可瞭解大會最新日程，期待與各位開發者現場交流。