o1核心作者分享：激勵AI自我學習，比試圖教會AI每一項任務更重要

“o1發佈後，一個新的範式產生了”。

其中關鍵，OpenAI研究科學家、o1核心貢獻者Hyung Won Chung，剛剛就此分享了他在MIT的一次演講。

演講主題爲“Don’t teach. Incentivize（不要教，要激勵），核心觀點是：

思維鏈作者Jason Wei迅速趕來打call：

在演講中，Hyung Won還分享了：

下面奉上演講主要內容。

對待AI：授人以魚不如授人以漁

先簡單介紹下Hyung Won Chung，從公佈的o1背後人員名單來看，他屬於推理研究的基礎貢獻者。

資料顯示，他是MIT博士（方向爲可再生能源和能源系統），去年2月加入OpenAI擔任研究科學家。

加入OpenAI之前，他在Google Brain負責大語言模型的預訓練、指令微調、推理、多語言、訓練基礎設施等。

在谷歌工作期間，曾以一作身份，發表了關於模型微調的論文。（思維鏈作者Jason Wei同爲一作）

回到正題。在MIT的演講中，他首先提到：

在他看來，AI領域正處於一次範式轉變，即從傳統的直接教授技能轉向激勵模型自我學習和發展通用技能。

理由也很直觀，AGI所包含的技能太多了，無法一一學習。（主打以不變應萬變）

具體咋激勵呢？？

他以下一個token預測爲例，說明了這種弱激勵結構如何通過大規模多任務學習，鼓勵模型學習解決數萬億個任務的通用技能，而不是單獨解決每個任務。

他觀察到：

對此他打了個比方，“授人以魚不如授人以漁”，用一種基於激勵的方法來解決任務。

然後AI就會自己出去釣魚，在此過程中，AI將學習其他技能，例如耐心、學習閱讀天氣、瞭解魚等。

其中一些技能是通用的，可以應用於其他任務。

面對這一“循循善誘”的過程，也許有人認爲還不如直接教來得快。

但在Hyung Won看來：

換句話說，面對有限的時間，人類也許還要在專家 or 通才之間做選擇，但對於機器來說，算力就能出奇跡。

他又舉例說明，《龍珠》裡有一個設定：在特殊訓練場所，角色能在外界感覺只是一天的時間內獲得一年的修煉效果。

原因也衆所周知，大型通用模型能夠通過大規模的訓練和學習，快速適應和掌握新的任務和領域，而不需要從頭開始訓練。

他還補充道，數據顯示計算能力大約每5年提高10倍。

總結下來，Hyung Won認爲核心在於：

此外，他還認爲當前存在一個誤區，即人們正在試圖讓AI學會像人類一樣思考。

但問題是，我們並不知道自己在神經元層面是如何思考的。

在他看來，一個系統或算法過於依賴人爲設定的規則和結構，那麼它可能難以適應新的、未預見的情況或數據。

造成的結果就是，面對更大規模或更復雜的問題時，其擴展能力將會受限。

回顧AI過去70年的發展，他總結道：

與此同時，面對當前人們對scaling Law的質疑，即認爲僅僅擴大計算規模可能被認爲不夠科學或有趣。

Hyung Won的看法是：

舉個例子，在機器學習中，一個模型可能在小數據集上表現良好，但是當數據量增加時，模型的性能可能會下降，或者訓練時間會變得不可接受。

這時，可能需要改進算法，優化數據處理流程，或者改變模型結構，以適應更大的數據量和更復雜的任務。

也就是說，一旦識別出瓶頸，就需要通過創新和改進來替換這些假設，以便模型或系統能夠在更大的規模上有效運行。

訓練VS推理：效果相似，推理成本卻便宜1000億倍

除了上述，o1另一核心作者Noam Brown也分享了一個觀點：

這意味着，在模型開發過程中，訓練階段的資源消耗非常巨大，而實際使用模型進行推理時的成本則相對較低。

有人認爲這凸顯了未來模型優化的潛力。

不過也有人對此持懷疑態度，認爲二者壓根沒法拿來對比。

對此，你怎麼看？