智源大會巔峰對話：至少在未來5年裡，Scaling Law仍將是大模型產業發展的主要方向

《科創板日報》6月15日訊（記者 李明明）雖然大模型爆火，但距離人們理想中的通用人工智能，其本身還有許多科學問題亟待解決。

2024年6月14日，AI行業盛會“2024北京智源大會”在中關村展示中心開幕。在大會上，零一萬物CEO李開復、清華大學智能產業研究院院長張亞勤就大模型下一步的發展等關鍵問題展開思考和對話。

大模型是至今爲止人工智能發展最成功的一個技術方向。那麼，是什麼原因使得大模型如此成功？還有哪些欠缺的地方需要進一步發展？

李開復認爲，AI 2.0是有史以來最偉大的科技革命和平臺革命，大模型Scaling Law的重要性在這個時代得以凸顯，人類能夠用更多計算和數據不斷增加大模型的智慧，且還遠沒有觸達天花板。

但是，大模型正面臨着一些挑戰。比方說，如果“僅僅用更多算力就能把它往前推動”是主要方向的話，就會導致只有那些GPU資源豐富的公司和國家能夠在這方面勝出。但是，很多國內大模型在部分案例裡接近、打平或者偶爾超過了美國的大模型。所以，當下需要關注的是算法和工程創新一體化的推進，以及怎麼以這種能力避免進入“盲目堆算力推動模型性能提升”的狀態。

此外，大模型還存在記憶的問題、窗口長度的問題、幻覺問題等等，但可以看到的是，當全球如此多聰明的大腦涌入這個領域後，大部分問題不能說被完美地解決，但是都在逐步被攻克的過程中，所以對大模型的未來相當樂觀。

張亞勤則從大模型“三個做對了”的和“三個目前需要改進”的來展開。

在大模型“三個做對了”方面，他認爲，規模定律Scaling Law的實現，主要得益於對海量數據的利用以及算力的顯著提升。再加上現在的Diffusion和Transformer架構能夠高效地利用算力和數據，使得“飛輪效應”得以正循環。至少在未來5年裡，它仍將是產業發展的主要方向。

其次在大模型中，“Token”是一個基本元素。無論是文本、語音、圖像、視頻，還是自動駕駛中的激光雷達信號，甚至是生物領域的蛋白質和細胞，最終都可以抽象爲一個Token。Token之間的訓練、學習和生成是核心環節，這與人們大腦中的神經元工作原理相似，無論執行何種任務，其基礎機制都是相同的。

第三，大模型現在的通用性不僅體現在文本處理上，還擴展到了多模態領域，甚至可以生成如蛋白質等複雜結構。此外，它在物理世界（如具身智能）和生物世界（如生物智能）中也有着廣泛的應用前景。

在現階段大模型存在的主要問題上，他認爲，首先是效率較低。特別是大模型的計算效率低下問題，與人類大腦的高效性形成了鮮明的對比。人類大腦擁有860億個神經元，每個神經元又有數千個突觸連接，卻只需要20瓦的能量，重量還不到三斤；而GPT4這個萬億參數模型則需要巨大的算力和能源，與人腦相比相差1000倍之多。此外，人腦能夠根據不同的情境靈活調用不同區域的神經元，而大模型卻每次輸入一個問題都要調用和激活幾乎大量參數。因此，如何借鑑人類大腦的計算方法，在降低計算耗能、提高效率方面進行探索和創新，是一個值得關注的方向。

其次，大模型目前還未能真正理解物理世界，相關的推理能力、透明性以及幻覺等問題都還在深入研究中。大模型它在生成式表述與對真實世界的描繪之間仍存在矛盾。因此，我們需要探索如何將生成式的概率大模型與現有的“第一性原理”或真實模型、知識圖譜相結合。他預測，在未來五年內，將會有一個全新的架構出現，這個架構有望取代目前的Transformer和Diffusion模型。

第三個欠缺的地方是邊界問題。現在大模型無法知道“我不知道什麼”，這是目前要解決的問題，是它的邊界效應。