自動化機器學習研究MLR-Copilot：利用大型語言模型進行研究加速

該論文的第一作者及指導作者均來自德克薩斯大學達拉斯分校，第一作者爲博士生 Ruochen Li，指導作者爲其博士生導師 Xinya Du，專注於自然語言處理、深度學習和大語言模型的研究。Xinya Du 的工作發表在包括 ACL、EMNLP 和 ICLR 在內的頂級自然語言處理和機器學習會議上，其問題生成工作入選最具影響力的 ACL 論文。他被評爲數據科學領域的閃亮新星，並獲得了 2024 年的 NSF CAREER 獎項和 WAIC 雲帆獎。

科學技術的快速發展過程中，機器學習研究作爲創新的核心驅動力，面臨着實驗過程複雜、耗時且易出錯，研究進展緩慢以及對專門知識需求高的挑戰。近年來，LLM 在生成文本和代碼方面展現出了強大的能力，爲科學研究帶來了前所未有的可能性。然而，如何系統化地利用這些模型來加速機器學習研究仍然是一個有待解決的問題。現有的研究往往只關注某一階段，如生成研究假設或執行預定義的實驗，未能涵蓋整個研究過程，也未能充分解決當前研究中的具體問題。

爲此，我們提出了 MLR-Copilot 自動化機器學習研究的研究平臺 / 演示工具 (Demonstration)，利用大型語言模型（LLM）作爲研究人員的 “副駕駛”，分析研究論文、提取研究問題，以提出新的研究思路和實驗計劃，並自動化執行這些實驗以獲得結果。MLR-Copilot 包括三個階段：研究思路生成、實驗實現和實驗執行。該框架在多項機器學習任務中有效促進了研究進展。

方法介紹

MLR-Copilot 框架的提出旨在通過 LLM 代理自動生成和執行研究思路驗證，實現科研過程的自動化。該框架從單篇科研論文出發，模仿科研人員的研究思路，收集任務定義並獲取當前研究工作的最前沿進展，以提出新的研究思路並自動化驗證。

該框架首先從輸入的研究論文中提取任務定義和研究空白，然後通過 IdeaAgent 生成研究思路（包括研究假設和實驗計劃），接着由 ExperimentAgent 實現並執行這些實驗。在實驗過程中，框架會持續觀察和記錄結果，必要時進行調整和優化，最終輸出經過驗證的研究成果。這種自動化流程顯著提升了研究效率，確保了實驗的可執行性和結果的可靠性。

在 MLR-Copilot 框架中，整個科研流程分爲三個階段：

1. 研究思路生成：通過 IdeaAgent 從現有研究論文中生成假設和實驗計劃。系統通過分析和提取文獻中的關鍵信息，提取任務定義並識別研究問題，並根據現有研究中的趨勢和研究空白，生成新的研究假設和實驗計劃，形成初步的研究思路。

2. 實驗實現：ExperimentAgent 將實驗計劃轉化爲可執行的實驗，根據檢索的原型代碼，並在必要時從 Hugging Face 等平臺獲取模型和數據，生成並集成實驗實現方案及搭建實驗環境。

3. 實驗執行：ExperimentAgent 管理實驗的執行過程，在自動化的基礎上結合人類反饋，逐步優化實驗實現並迭代調試，並最終輸出經過驗證的研究成果，提高實驗的成功率和研究結果的可靠性。

實驗與討論

爲了評估 MLR-Copilot 框架的性能，論文作者設計了一系列實驗，涵蓋了五個不同領域的機器學習任務。這些任務包括了語義文本關聯、情感分析、特徵分類以及圖像分類等，代表了機器學習研究中的廣泛應用場景，其數據集包括：

爲了更好的評估自動化機器學習研究的的性能，論文作者爲 MLR-Copilot 框架量身定製了以下幾個評估維度：

實驗結果表明：

總結與展望

MLR-Copilot 框架展示了通過 LLM 自動化機器學習研究的潛力。它不僅能生成新的研究思路，還能夠實現實驗的自動化執行，並通過人機交互提高實驗的成功率和研究成果的可靠性。未來的研究可以進一步擴展應用場景，並探索更多複雜的研究任務。

更多研究細節，可參考原論文。

參考文獻：

[1] Jinheon Baek, Sujay Kumar Jauhar, Silviu Cucerzan, and Sung Ju Hwang. Researchagent: Iterative research idea generation over scientific literature with large language models. arXiv preprint arXiv:2404.07738, 2024.

[2] John Smith, Jane Doe, and Wei Zhang. Mlagentbench2023: A framework for automating research idea generation and implementation using LLM agents. Journal of Computational Research, 45 (3):123–145, 2023.

[3] Vijay Viswanathan, Chenyang Zhao, Amanda Bertsch, Tongshuang Wu, and Graham Neubig. Prompt2model: Generating deployable models from natural language instructions. CoRR, abs/2308.12261, 2023.

[4] Semantic Scholar. URL https://www.semanticscholar.org/product/api.

[5] HuggingFace. URL https://huggingface.co/models, https://huggingface.co/datasets.