調研180多篇論文，這篇綜述終於把大模型做算法設計理清了

本文第一作者柳斐（https://feiliu36.github.io/ ）是香港城市大學計算機科學系博士生，師從張青富教授。研究領域爲計算智能，自動算法設計，組合優化等。姚一鳴，郭平，楊致遠，趙哲和林熙來自香港城市大學張青富教授團隊。陸智超爲香港城市大學計算機科學系助理教授。王振坤爲南方科技大學系統設計與智能製造學院助理教授。童夏良和袁明軒來自華爲諾亞方舟實驗室。

算法設計（AD）對於各個領域的問題求解至關重要。大語言模型（LLMs）的出現顯著增強了算法設計的自動化和創新，提供了新的視角和有效的解決方案。在過去的三年裡，LLMs 被整合到 AD（LLM4AD）中取得了顯著進展，在優化、機器學習、數學推理和科學發現等各個領域獲得廣泛研究和應用。鑑於這一領域的快速發展和廣泛應用，進行系統性的回顧和總結既及時又必要。本文對 LLM4AD 的研究進行了系統性回顧。首先，我們概述和總結了現有研究。然後，我們沿着四個維度，包括 LLMs 的作用、搜索技術、提示策略和應用，提出了一個系統性分類和現有研究的回顧，討論了使用 LLMs 的潛力和成就。最後，我們探討當前的挑戰，並提出了幾個未解問題和未來研究的方向。

1. 引言

算法在解決各個領域的問題中發揮着至關重要的作用，包括工業、經濟、醫療和工程等領域。傳統的手工設計算法的方法繁瑣且耗時，需要廣泛的專業知識和大量的努力。因此，人們越來越關注在算法設計中採用機器學習和計算智能技術以自動化和增強算法開發過程。

近年來，大型語言模型（LLMs）已經成爲生成人工智能領域的重大突破。LLMs 以其龐大的模型規模、巨大的訓練數據和在語言理解、數學推理、代碼生成等各個研究領域中有着出色的表現。在過去的三年裡，大型語言模型用於算法設計（LLM4AD）已經成爲一個新興的研究領域，有望增強甚至重塑算法的構思、優化和實施方式。LLMs 的強大功能和適應性展示了其在改進和轉變算法設計過程中的潛力，包括啓發式生成、代碼優化，甚至創造針對特定問題的新算法。這種方法不僅減少了設計階段所需的人力，還提高了算法設計過程的創新性和效率。

儘管 LLM4AD 領域正在受到廣泛研究和應用，但在這一新興領域仍然缺乏系統性綜述。本文旨在通過提供一個最新的多維度的系統綜述來填補這一空白，全面展示 LLMs 在算法設計中的應用現狀、主要挑戰和未來研究方向。本文有助於深入探討 LLMs 在增強算法設計方面的潛力，併爲這一令人興奮的領域的未來創新打下堅實基礎。我們希望這將成爲對該領域感興趣的研究人員的有益資源，併爲經驗豐富的研究者提供一個系統性的綜述。本文的貢獻如下：

2. 大模型用於算法設計概覽

本文旨在對新興領域 “大語言模型用於算法設計”（LLM4AD）中現有研究工作進行系統的梳理和分類。我們並不打算涵蓋所有關於大型語言模型（LLMs）和算法的文獻。我們的調查範圍如下所述：1）“大語言模型” 一詞指的是規模足夠大的語言模型。這些模型通常採用 Transformer 架構，並以自迴歸方式運行。使用較小模型進行算法設計的研究，如傳統的基於模型和機器學習輔助的算法，不在考慮範圍內。雖然精確定義 “大型” 模型具有挑戰性，但大多數前沿的大型語言模型包含超過十億個參數。使用其他大型模型缺乏語言處理能力的研究，如純視覺模型，不在考慮範圍內。然而，包括語言處理的多模態大型語言模型則在我們的調查範圍之內。2）“算法” 一詞指的是一組設計用來解決問題的數學指令或規則，特別是當由計算機執行時。這個廣泛的定義包括傳統的數學算法、大多數啓發式方法，以及可以被解釋爲算法的某些策略。

我們介紹了論文收集和掃描的詳細流程，包括四個階段：

圖中展示了隨時間變化的論文發表數量趨勢，時間線以月份表示。圖表顯示，與 LLM4AD 相關的研究活動顯著增加，特別是注意到大多數研究是在近一年進行的。這表明 LLM4AD 是一個新興領域，隨着來自不同領域的學者意識到其巨大潛力，我們預計在不久的將來研究產出將顯著增加。

圖中還顯示了在 LLM4AD 出版物中領先的機構及其所在國家。美國領先，緊隨其後的是中國，這兩個國家單獨佔據了 50％的出版物。接下來的八個國家，包括新加坡、加拿大和日本，共同貢獻了總出版物的三分之一。發表最多論文的研究機構包括清華大學、南洋理工大學和多倫多大學等知名大學，以及華爲、微軟和谷歌等大型公司。這種分佈強調了研究主題的廣泛興趣和它們在現實世界中的實際應用的重大相關性。

我們從所有審查過的論文的標題和摘要中生成了詞雲，每個詞至少出現五次。它展示了前 80 個關鍵詞，這些詞被組織成四個顏色編碼的簇，分別是 “語言”、“GPT”、“搜索和優化” 以及 “科學發現”。還突出顯示了幾個關鍵詞，如 “進化”、“策略”、“優化器” 和 “代理”。

3. 大模型用於算法設計的四種範式

LLM4AD 論文按照大模型的結合方法可以分爲四個範式：1）大模型作爲優化算子（LLMaO）、2）大模型用於結果預測（LLMaP）、3）大模型用以特徵提取（LLMaE）、4）大模型用來算法設計（LLMaD）。

4. 大模型用於算法設計中的搜索方法

目前的經驗表明，單獨採用大模型來進行算法設計往往難以應對特定的複雜算法設計任務。通過搜索方法的框架下調用大模型能夠顯著提升算法設計效率和效果。我們綜述了目前在 LLM4AD 中採用的搜索方法，並將其大致分爲四類：1）基於採樣的方法，2）單點迭代的搜索方法，3）基於種羣的搜索方法和 4）基於不確定性的搜索方法。詳細的介紹和討論可以在原文中查看。

5. 大模型用於算法設計中的提示詞設計

圖中展示了文獻中使用的領域或預訓練語言模型（LLMs）的百分比。其中，超過 80％的研究選擇使用未經特定微調的預訓練模型，大約 10％的研究在領域數據集上對預訓練模型進行了微調，其中只有 4.4％的模型是在特定問題上從頭開始訓練的。圖中還展示了最常使用的 LLMs。在 LLM4AD 的論文中，GPT-4 和 GPT-3.5 是使用最多的 LLMs，總共佔了大約 50％。Llama-2 是最常用的開源 LLM。一旦我們擁有了預訓練的 LLMs，提示工程對於有效整合 LLMs 到算法設計中非常重要。我們討論了 LLM4AD 論文中使用的主要提示工程方法的應用情況，包括零樣本、少樣本、思維鏈、一致性和反思。

6. 大模型用於算法設計的應用領域

我們整理了四個主要的應用領域：1）優化，2）機器學習，3）科學發現，4）工業。其主要工作按照應用類別、方法、大模型結合範式、提示詞策略和具體應用問題進行了分類羅列。具體介紹可以在全文中查看。

7. 未來發展方向

8. 總結

本文提供了一份最新的關於大語言模型在算法設計中應用（LLM4AD）的系統性綜述。通過系統回顧這一新興研究領域的主要貢獻文獻，本文不僅突出了 LLM 在算法設計中的當前狀態和發展，還引入了一個全新的多維分類體系，分類了 LLM 的結合範式、搜索方法、提示詞方法和應用場景。這一分類體系爲學術界和工業界的研究人員提供了一個框架，幫助他們理解和使用 LLM 進行算法設計。我們還討論了該領域當前面臨的限制和挑戰並提出和探討未來研究方向來激發和指引後續研究。

展望未來， LLM 與算法設計的交叉具有革命性地改變算法設計和應用方式的巨大潛力。LLM 在算法設計過程中的應用有助於極大的提高自動化程度並可能促進產生更高效、更有效和更具創造性的算法，以更好解決各個領域的複雜問題。我們希望本文能夠有助於理解這一潛力，並促進 LLM4AD 這一有前景的研究領域的發展。