從GPT-1到GPT-4看ChatGPT的崛起
作者 | 阿法兔
ChatGPT是個啥？
*本文3900字左右
ChatGPT是個啥？
近期，OpenAI 發佈了 ChatGPT，是一個可以對話的方式進行交互的模型，因爲它的智能化，得到了很多用戶的歡迎。ChatGPT 也是OpenAI之前發佈的 InstructGPT 的親戚，ChatGPT模型的訓練是使用RLHF（Reinforcement learning with human feedback）也許ChatGPT的到來，也是OpenAI 的GPT-4正式推出之前的序章。
什麼是GPT？從GPT-1到GPT-3
Generative Pre-trained Transformer (GPT)，是一種基於互聯網可用數據訓練的文本生成深度學習模型。它用於問答、文本摘要生成、機器翻譯、分類、代碼生成和對話 AI。
2018年，GPT-1誕生，這一年也是NLP（自然語言處理）的預訓練模型元年。性能方面，GPT-1有着一定的泛化能力，能夠用於和監督任務無關的NLP任務中。其常用任務包括：
自然語言推理：判斷兩個句子的關係（包含、矛盾、中立）
問答與常識推理：輸入文章及若干答案，輸出答案的準確率
語義相似度識別：判斷兩個句子語義是否相關
分類：判斷輸入文本是指定的哪個類別
雖然GPT-1在未經調試的任務上有一些效果，但其泛化能力遠低於經過微調的有監督任務，因此GPT-1只能算得上一個還算不錯的語言理解工具而非對話式AI。
GPT-2也於2019年如期而至，不過，GPT-2並沒有對原有的網絡進行過多的結構創新與設計，只使用了更多的網絡參數與更大的數據集：最大模型共計48層，參數量達15億，學習目標則使用無監督預訓練模型做有監督任務。在性能方面，除了理解能力外，GPT-2在生成方面第一次表現出了強大的天賦：閱讀摘要、聊天、續寫、編故事，甚至生成假新聞、釣魚郵件或在網上進行角色扮演通通不在話下。在“變得更大”之後，GPT-2的確展現出了普適而強大的能力，並在多個特定的語言建模任務上實現了彼時的最佳性能。
之後，GPT-3出現了，作爲一個無監督模型（現在經常被稱爲自監督模型），幾乎可以完成自然語言處理的絕大部分任務，例如面向問題的搜索、閱讀理解、語義推斷、機器翻譯、文章生成和自動問答等等。 而且，該模型在諸多任務上表現卓越， 例如在法語-英語和德語-英語機器翻譯任務上達到當前最佳水平，自動產生的文章幾乎讓人無法辨別出自人還是機器（僅52%的正確率，與隨機猜測相當），更令人驚訝的是在兩位數的加減運算任務上達到幾乎100%的正確率，甚至還可以依據任務描述自動生成代碼 。一個無監督模型功能多效果好，似乎讓人們看到了通用人工智能的希望，可能這就是GPT-3影響如此之大的主要原因
GPT-3模型到底是什麼？
實際上，GPT-3就是一個簡單的統計語言模型。從機器學習的角度，語言模型是對詞語序列的概率分佈的建模，即利用已經說過的片段作爲條件預測下一個時刻不同詞語出現的概率分佈。語言模型一方面可以衡量一個句子符合語言文法的程度（例如衡量人機對話系統自動產生的回覆是否自然流暢），同時也可以用來預測生成新的句子。例如，對於一個片段“中午12點了，我們一起去餐廳”，語言模型可以預測“餐廳”後面可能出現的詞語。一般的語言模型會預測下一個詞語是“吃飯”，強大的語言模型能夠捕捉時間信息並且預測產生符合語境的詞語“吃午飯”。
通常，一個語言模型是否強大主要取決於兩點：首先看該模型是否能夠利用所有的歷史上下文信息， 上述例子中如果無法捕捉“中午12點”這個遠距離的語義信息，語言模型幾乎無法預測下一個詞語“吃午飯”。其次，還要看是否有足夠豐富的歷史上下文可供模型學習，也就是說訓練語料是否足夠豐富。 由於語言模型屬於自監督學習，優化目標是最大化所見文本的語言模型概率，因此任何文本無需標註即可作爲訓練數據。
由於GPT-3更強的性能和明顯更多的參數，它包含了更多的主題文本，顯然優於前代的GPT-2。作爲目前最大的密集型神經網絡，GPT-3能夠將網頁描述轉換爲相應代碼、模仿人類敘事、創作定製詩歌、生成遊戲劇本，甚至模仿已故的各位哲學家——預測生命的真諦。且GPT-3不需要微調，在處理語法難題方面，它只需要一些輸出類型的樣本（少量學習）。可以說GPT-3似乎已經滿足了我們對於語言專家的一切想象。
注：上文主要參考以下文章：
1.GPT4發佈在即堪比人腦，多位圈內大佬坐不住了！-徐傑承、雲昭 -公衆號51CTO技術棧- 2022-11-24 18:08
2.一文解答你對GPT-3的好奇！GPT-3是什麼？爲何說它如此優秀？-張家俊 中國科學院自動化研究所 2020-11-11 17:25 發表於北京
3.The Batch: 329 | InstructGPT，一種更友善、更溫和的語言模型-公衆號DeeplearningAI-2022-02-07 12:30
GPT-3存在什麼問題？
但是 GTP-3 並不完美，當前有人們最擔憂人工智能的主要問題之一，就是聊天機器人和文本生成工具等很可能會不分青紅皁白和質量好壞，地對網絡上的所有文本進行學習，進而生產出錯誤的、惡意冒犯的、甚至是攻擊性的語言輸出，這將會充分影響到它們的下一步應用。
OpenAI也曾經提出，會在不久的將來發布更爲強大的GPT-4：
將 GPT-3 與GPT-4、 人腦進行比較（圖片來源：Lex Fridman @youtube）
據說，GPT-4會在明年發佈，它能夠通過圖靈測試，並且能夠先進到和人類沒有區別，除此之外，企業引進GPT-4的成本也將大規模下降。
ChatGP與InstructGPT
ChatGPT與InstructGPT
談到Chatgpt，就要聊聊它的“前身”InstructGPT。
2022年初，OpenAI發佈了InstructGPT；在這項研究中，相比 GPT-3 而言，OpenAI 採用對齊研究（alignment research），訓練出更真實、更無害，而且更好地遵循用戶意圖的語言模型 InstructGPT，InstructGPT是一個經過微調的新版本GPT-3，可以將有害的、不真實的和有偏差的輸出最小化。
InstructGPT的工作原理是什麼？
開發人員通過結合監督學習+從人類反饋中獲得的強化學習。來提高GPT-3的輸出質量。在這種學習中，人類對模型的潛在輸出進行排序；強化學習算法則對產生類似於高級輸出材料的模型進行獎勵。
訓練數據集以創建提示開始，其中一些提示是基於GPT-3用戶的輸入，比如“給我講一個關於青蛙的故事”或“用幾句話給一個6歲的孩子解釋一下登月”。
開發人員將提示分爲三個部分，並以不同的方式爲每個部分創建響應：
人類作家會對第一組提示做出響應。開發人員微調了一個經過訓練的GPT-3，將它變成InstructGPT以生成每個提示的現有響應。
下一步是訓練一個模型，使其對更好的響應做出更高的獎勵。對於第二組提示，經過優化的模型會生成多個響應。人工評分者會對每個回覆進行排名。在給出一個提示和兩個響應後，一個獎勵模型(另一個預先訓練的GPT-3)學會了爲評分高的響應計算更高的獎勵，爲評分低的回答計算更低的獎勵。
開發人員使用第三組提示和強化學習方法近端策略優化(Proximal Policy Optimization, PPO)進一步微調了語言模型。給出提示後，語言模型會生成響應，而獎勵模型會給予相應獎勵。PPO使用獎勵來更新語言模型。
本段參考：The Batch: 329 | InstructGPT，一種更友善、更溫和的語言模型-公衆號DeeplearningAI-2022-02-07 12:30
重要在何處？核心在於——人工智能需要是能夠負責任的人工智能
OpenAI的語言模型可以助力教育領域、虛擬治療師、寫作輔助工具、角色扮演遊戲等，在這些領域，社會偏見、錯誤信息和毒害信息存在都是比較麻煩的，能夠避免這些缺陷的系統才能更具備有用性。
Chatgpt與InstructGPT的訓練過程有哪些不同？
總體來說，Chatgpt和上文的InstructGPT一樣，是使用 RLHF（從人類反饋中強化學習）訓練的。不同之處在於數據是如何設置用於訓練（以及收集）的。（這裡解釋一下：之前的InstructGPT模型，是給一個輸入就給一個輸出，再跟訓練數據對比，對了有獎勵不對有懲罰；現在的Chatgpt是一個輸入，模型給出多個輸出，然後人給這個輸出結果排序，讓模型去給這些結果從“更像人話”到“狗屁不通”排序，讓模型學習人類排序的方式，這種策略叫做supervised learning，本段感謝張子兼博士）
ChatGPT存在哪些侷限性？
如下：
a) 在訓練的強化學習 (RL) 階段，沒有真相和問題標準答案的具體來源，來答覆你的問題。
b) 訓練模型更加謹慎，可能會拒絕回答（以避免提示的誤報）。
c) 監督訓練可能會誤導/偏向模型傾向於知道理想的答案，而不是模型生成一組隨機的響應並且只有人類評論者選擇好的/排名靠前的響應
注意：ChatGPT 對措辭敏感。，有時模型最終對一個短語沒有反應，但對問題/短語稍作調整，它最終會正確回答。訓練者更傾向於喜歡更長的答案，因爲這些答案可能看起來更全面，導致傾向於更爲冗長的回答，以及模型中會過度使用某些短語，如果初始提示或問題含糊不清，則模型不會適當地要求澄清。
ChatGPT’s self-identified limitations are as follows.
Plausible-sounding but incorrect answers:
a) There is no real source of truth to fix this issue during the Reinforcement Learning (RL) phase of training.
b) Training model to be more cautious can mistakenly decline to answer (false positive of troublesome prompts).
c) Supervised training may mislead / bias the model tends to know the ideal answer rather than the model generating a random set of responses and only human reviewers selecting a good/highly-ranked responseChatGPT is sensitive to phrasing. Sometimes the model ends up with no response for a phrase, but with a slight tweak to the question/phrase, it ends up answering it correctly.
Trainers prefer longer answers that might look more comprehensive, leading to a bias towards verbose responses and overuse of certain phrases. The model is not appropriately asking for clarification if the initial prompt or question is ambiguous. A safety layer to refuse inappropriate requests via Moderation API has been implemented. However, we can still expect false negative and positive responses.
參考文獻：
1.https://medium.com/inkwater-atlas/chatgpt-the-new-frontier-of-artificial-intelligence-9aee81287677
2.https://pub.towardsai.net/openai-debuts-chatgpt-50dd611278a4
3.https://openai.com/blog/chatgpt/
4.GPT 4發佈在即堪比人腦，多位圈內大佬坐不住了！-徐傑承、雲昭 -公衆號51CTO技術棧- 2022-11-24 18:08
5.一文解答你對GPT-3的好奇！GPT-3是什麼？爲何說它如此優秀？-張家俊 中國科學院自動化研究所 2020-11-11 17:25 發表於北京
6.The Batch: 329 | InstructGPT，一種更友善、更溫和的語言模型-公衆號DeeplearningAI-2022-02-07 12:30
中文推特：https://twitter.com/8BTC_OFFICIAL
英文推特：https://twitter.com/btcinchina
Discord社區：https://discord.gg/defidao
電報頻道：https://t.me/Mute_8btc
電報社區：https://t.me/news_8btc