大腦如何區分和存儲記憶？

在神經科學領域諸多關於記憶的研究論文中，有一個高頻出現的名字—— Henry Molaison（簡稱H.M.）。

他曾是一位嚴重的癲癇患者。1953年，他決心接受一項有望治療癲癇的外科手術——切除包括海馬體1（圖1）在內的腦組織。手術後的H.M.在大多數方面都表現得相當正常：他的個性、抽象思維能力和推理能力並未受到影響；他也保留了童年的記憶，能夠清晰地記得小時候老家的地址。然而，讓世人感到疑惑的是，H.M.幾乎完全喪失了創造長期記憶的能力。他不記得手術後經常看他的醫生，甚至也不記得剛剛吃過飯。

H.M.的經歷，讓人們對海馬體與記憶之間的功能聯繫產生了興趣。目前，神經科學家和心理學家已經開始認識到，我們的大腦中存在多種類型的記憶：有關過去經歷的情節性記憶，有關事實的語義記憶，短時和長時記憶等。但是，爲什麼這些記憶會以不同類型存在？不同類型的記憶都儲存在大腦的什麼地方？對科學家來說，這些問題仍是未解之謎。

▷圖1 ：H.M.的海馬體在手術中被剝除。圖片來源：brainfacts

記憶指的是大腦編碼、存儲和檢索過往經驗的能力。對過往經驗的存儲和概括有益於動物做出適應性的決策。舉例來說，記住通往特定水源的安全路徑，並對這些記憶線索進行概括，就能發現能預測新水源的環境特徵，如周圍的地貌、植被類型等。因而，這種能夠被用來識別和理解當前的情境，並基於過去的經驗預測將要發生的事情的記憶的能力，即可預測記憶，對生物的環境適應能力尤爲重要。

▷ 原始論文：Organizing memories for generalization in complementary learning systems

如今，一項經人工神經網絡實驗證實的新理論表明，大腦可能會通過評估記憶在未來的有用程度，對記憶進行分類。具體來說，可預測記憶2（比如每天早餐吃什麼或上班的路線怎麼走）會保存在大腦的新皮質中，它們將幫助你更好的適應不斷變化的環境和做出相應有效的決策。至於一些不太有用的記憶，比如在一個派對上喝過的特殊飲料的味道，則會被直接保存在海馬體中，不再會在新皮質中被鞏固。

可見，大腦會根據記憶的有用性和可預測性對其進行分類“裝箱”，優化了記憶的可靠性，來幫助我們應對新穎的情境。

關於記憶在腦區間的存儲，目前較爲經典的研究理論是互補學習系統假說（圖2）。該理論認爲，大腦中存在兩個互補的學習系統——海馬體和新皮質。海馬體，位於腦內深處，人們認爲它在學習初期特別活躍。海馬體主要負責快速地將新的信息進行編碼和存儲，並且對於空間導航、事實和事件的短期記憶至關重要。新皮質則是大腦外層的一部分，它會對信息進行更長期的存儲和整合。新皮質的學習過程相對較慢，但它能夠處理更加複雜和抽象的信息，並將其整合到長期記憶中。這兩個系統配合着一起工作，就形成了學習和記憶的動態過程。海馬體在學習初期迅速編碼新信息，然後逐漸將這些信息傳遞給新皮質，再由新皮質進行更加穩固和長期的存儲。

▷ 圖2：海馬體與新皮質在儲存記憶時的互補學習過程。圖源：researchgate

基於上述互補學習系統假說，研究人員建立了一個叫做“教師-筆記本-學生”的系統鞏固神經網絡模型（圖3），該模型由三個功能不同的神經網絡組成——教師、筆記本和學生網絡。教師網絡代表生物生存的環境，它提供經驗性的輸入；筆記本網絡則代表海馬體，能夠快速地編碼環境所提供的每個經驗的所有細節；而學生網絡則代表新皮質，其通過海馬體（筆記本）中記錄的經驗來預測環境（教師）提供的信息。

具體來說，在神經網絡模型中，“教師”是一個線性前饋網絡，通過固定的權重和附加輸出噪聲生成“輸入-輸出對”。“學生”是一個與之大小相匹配的權重可學習的線性前饋網絡。“筆記本”則是一個稀疏的Hopfield網絡。在模型訓練的過程中，“學生”從包含信號和噪聲的有限經驗集合中進行權重的學習，最終希望“教師”的輸出和“學生”的預測之間的平方差應儘可能小。另外，研究人員也提出假設，在這個模型中，“學生”的主要目標是優化泛化性能，能夠最終較好地預測新的“教師”輸出。

▷圖3：教師-學生-筆記本結構圖 圖源：參考文獻1

研究人員使用該神經網絡模型模擬了記憶和泛化的動態過程，來研究系統鞏固3的實際影響和特徵。爲了優化學生的記憶回溯，研究人員將模型建模爲無限的筆記本回放。在每次模擬中，他們會根據三個不同可預測性（信噪比）的教師網絡（高預測性、輕微預測性以及不可預測性），生成經驗輸入。

結果發現（圖4），儘管對於無噪聲的教師網絡輸入，學生網絡的泛化誤差單調減小，但有噪聲的教師網絡輸入最終仍使得學生網絡泛化效果不佳（紅色實線）。也就是說，在不可預測的環境中，過度的系統鞏固可能會嚴重降低模型的泛化性能，導致新皮質（學生）過度擬合環境（教師）中不可預測的元素。

這也預示着，在建構神經網絡模型的過程中，爲了最終能夠提高模型的泛化能力，有必要將系統鞏固水平考慮在內。

▷圖4：在優化學生記憶時，學生概括錯誤、學生記憶錯誤、筆記本概括錯誤和筆記本記憶錯誤的動態變化。圖源：參考文獻1

泛化優化的互補學習系統 （Go-CLS模型） Go-CLS模型

Go-CLS模型是在系統鞏固神經網絡模型的基礎上建構而成的。考慮到上述實驗中在不可預測的環境裡系統鞏固對模型泛化能力的不利影響，研究人員調整了模型的系統鞏固水平。該理論的基本假設是，系統鞏固的程度是自適應調節的，當系統鞏固到一定程度後，如果繼續鞏固反而會削弱模型的泛化能力，就應該停止鞏固。從目前Go-CLS模型的訓練結果看，在這種設定下，學生（紅色實線）可以從每位教師的經驗中實現幾乎最佳的泛化性能。

▷圖5：在優化概括的表現時，學生概括錯誤、學生記憶錯誤、筆記本概括錯誤和筆記本記憶錯誤的動態變化。（b）高可預測性（無噪聲）；（d）輕微可預測性（輕微噪聲）；（f）不可預測性（多噪聲）。圖源：參考文獻1

與系統鞏固的神經網絡模型比較

研究人員將上述兩個模型進行比較，發現兩者在處理不同預測性教師數據時表現出明顯差異。在標準系統鞏固模型中，所有記憶都會被鞏固，但泛化能力隨着教師可預測性的不同而有很大變化。對於可預測性較低的教師，這種模型的泛化誤差較高（圖6，左）。與之相較，Go-CLS模型消除了過擬合的有害效應，在學生能夠到達最優記憶性能之前結束。並且隨着教師的可預測性程度增加，泛化性能和記憶性能均得到改善（圖6，右）。

▷圖 6: 鞏固模型與Go-CLS模型下學生泛化性能隨教師的可預測性程度變化的比較。左：系統鞏固的神經網絡模型，右：Go-CLS模型。圖源：參考文獻1

可見，Go-CLS模型不僅在逆行性遺忘4（即過去記憶的丟失）方面與系統鞏固的神經網絡模型表現不同，還在時間依賴性泛化方面表現出顯著差異。在模擬海馬體剝除後，在逆行性遺忘方面，系統鞏固的神經網絡模型總會表現出記憶逐漸丟失的趨勢，即過去的記憶更容易被遺忘。而Go-CLS模型則能夠解釋不同類型的記憶丟失現象，包括那些隨時間變化而不同的記憶丟失模式。在時間依賴的泛化層面，在處理不同的可預測性的經驗時，兩種模型都會產生多樣的泛化曲線，最大泛化性能隨着教師的可預測性增加而提高。然而，在學生過擬合時，只有Go-CLS能夠維持其隨時間變化的泛化能力。系統鞏固的神經網絡模型甚至可能導致學生過度泛化，產生極不準確的輸出。

Go-CLS神經網絡模型的實驗結果爲互補學習系統假說提供了新的見解。海馬體和新皮質耦合的快速和慢速學習模塊——是互補學習假設的基本前提。

於是，研究人員又利用Go-CLS神經網絡模型比較了耦合的學生-筆記本網絡（圖7，左）與孤立的學生（圖7，中）和筆記本網絡（圖7，右）的泛化性能。考慮到Go-CLS神經網絡模型中，“學生”表徵的是互補學習系統假說中的新皮質，“筆記本”表徵的是海馬體，因此孤立的學生和筆記本網絡的實驗組，則分別表示各自僅用新皮質或僅用海馬體學習的情境。

▷ 圖 7: 學習系統模型示意圖，（a）使用學生-筆記本網絡；（b）僅使用學生網絡；（c）僅使用筆記本網絡。圖源：參考文獻1

孤立學生網絡模型必須在線從每個教師網絡的經驗中學習，並且無法重新訪問或是回顧以往的信息。這就限制了它的泛化性能（圖8，橙色與黑色曲線相比）。結果表明，使用兩個包含學生的網絡模型都要比僅含筆記本的網絡模型泛化性能更好。另外，當教師網絡提供適量可預測的數據時，學生-筆記本耦合網絡模型的泛化增益要遠遠大於孤立的學生網絡模型。因此，在數據適中且環境中噪聲適度的情況下，學生-筆記本耦合網絡模型在泛化性能上更爲優越。

另外，當學生的經驗數量等於學習模型中可調整的參數數量時，使用“回顧先前的學習經驗來進行學習”（回放功能）可以最有效地提升學生的學習能力。但這種情況下也存在風險：大腦可能會過度適應這些舊信息，導致對新情況的反應不夠靈活，就像機器學習中的“雙峰下降”現象一樣。在這種現象中，當數據量處於與網絡大小相關的中等水平時，過擬合最爲嚴重。當記憶模式的數量接近網絡模型可以處理的最大數量（容量）時，神經網絡必須最精細地調整其權重。這通常需要對權重進行大幅度的更改，以減小小的訓練誤差。爲了避免這個問題，最優學生-筆記本網絡模型可以通過根據教師的可預測性調整系統鞏固的數量，以防止過度適應噪聲。這預示着，大腦可能也在以類似的方式根據經驗的可預測性來調節學習和記憶的方式。

▷圖8：互補學習系統的優勢。圖源：參考文獻1。

總結

Go-GLS模型爲我們提供了一個有趣的理論假設，即大腦可能是通過評估記憶的可預測性和對未來的有用性來對記憶進行分類的。

▷圖9：用一則故事說明系統鞏固模型與 Go-CLS 模型在概念上的差異 圖源：參考文獻1。

設想這樣的情境：一個小女孩與父親在湖邊度過快樂的一天。在這一天的經歷中，可能包含了新鮮採摘的草莓，味道很甜這樣的可預測關係。Go-GLS模型的研究結果表明：可預測關係應該從經驗中提取出來，並與相關經驗的記憶相互整合，通過系統鞏固過程來生成記憶，並被強化，實現可預測經驗的泛化。在這一天的經歷中，也可能會出現不可預測的共現事件，比如父親的襯衫顏色剛好與草莓的顏色都是紅色。但這類關係不應在新皮質中被鞏固。當然，它們仍然可以作爲這一天的情景記憶的一部分存放在海馬體中。

另一方面，Go-GLS模型與人工智能研究有許多微妙的聯繫。Go-CLS模型通過教師-學生對的最優逼近誤差來定義可預測性。但是，這與實際情況中，是否可以學到最優學生權重是不同的。比如梯度下降可能陷入局部最小值或短暫地降低泛化性能。另外，由於過擬合同樣可以在更復雜的學生架構以及現代深度學習模型中觀察到，Go-GLS模型中提出的基本概念也適用於更廣泛的模型類別。同樣，一些機器學習方法可以插值訓練數據並很好地泛化，因此我們有必要尋找能夠在學習過程中更好地平衡記憶和泛化的學生網絡架構和學習規則。

然而，Go-GLS模型僅關注了簡單的監督學習問題，未來我們仍需要解決在具有更爲多樣化的泛化情境下的最優鞏固問題，例如強化學習和大型語言模型中的新興少樣本學習。

參考文獻：