李飛飛吳佳俊團隊推出具身智能決策能力評價基準，o1-preview登頂

大模型的具身智能決策能力，終於有系統的通用評估基準了。

李飛飛吳佳俊團隊新提出的評估框架，對具身智能決策的四項關鍵子能力來了個全面檢查。

這套基準已經被選爲了NeurIPS數據和測試集（D&B）專欄Oral論文，同時也被收錄進了PyPI，只要一行代碼就能快速調用。

該框架名爲Embodied Agent Interface（簡稱EAI），提供了連接不同模塊和基準環境的標準接口。

利用這套框架，作者對18款主流模型進行了測試，形成了一篇超百頁的論文。

測試結果顯示，在已公開的大模型當中，o1-preview的綜合成績位列第一。

李飛飛本人表示，對這項合作研究感到非常興奮。

有網友評價說，這項成果爲大模型具身智能決策塑造了未來。

首先，EAI提供了一種統一的目標表示方法，能夠兼容不同類型的目標，並支持複雜約束的描述。

團隊認爲，現有的具身決策任務通常針對特定領域設計目標，缺乏一致性和通用性。

例如，BEHAVIOR和VirtualHome都是具身智能體的評測基準和模擬環境，用於研究智能體在複雜環境中完成任務的能力。

但二者又有所區別，BEHAVIOR使用基於狀態的目標，而VirtualHome使用時間擴展的目標。

EAI則通過引入線性時態邏輯（LTL），實現了目標表示方式的統一，提高了模塊之間的互操作性，便於比較不同模型在同一任務上的表現。

在具體的評估過程當中，EAI採用了模塊化的評估方式，並將評估指標進行了更細粒度的劃分。

以往的研究通常將大模型作爲整體進行評估，很少關注其在具身決策各個子任務上的表現；

同時，這些現有基準通常只關注任務的最終成功率，很少深入分析模型的錯誤類型和原因。

爲了更深入理解大模型的行爲模式和優劣勢分佈，EAI提出了四個關鍵能力模塊，並設計了一系列細粒度的評估指標：

具體來說，四個關鍵模塊及內容分別是：

另外，EAI選取了兩個具有代表性但特點迥異的環境，也就是前面提到的BEHAVIOR和VirtualHome。

相比於單一環境評估，EAI更能考察大模型跨領域的泛化能力，有助於全面理解其適用範圍和侷限性。

利用EAI這套標準，研究團隊對GPT、Claude、Gemini等18款主流模型（型號）的決策能力進行了評估。

在BEHAVIOR和VirtualHome環境下，o1-preview均獲得了排行榜綜合成績第一名。

其中在BEHAVIOR環境中，o1-preview得分爲74.9，比第二名的Claude 3.5 Sonnet高了10多分，排在之後的是60分左右的Claude 3 Opus和GPT-4o。

到了VirtualHome環境下，依然是o1-preview領先，但前三名的成績相對接近。

同時Gemini 1.5 Pro變成了第二名，不過整體來看排行靠前的幾個模型和BEHAVIOR環境類似。

當然如果比較單項能力，不同模型也體現出了各自不同的優勢項目。

比如在BEHAVIOR環境中，總分排第二的Claude 3.5 Sonnet，目標解釋能力略高於總分排第一的o1-preview。

在VirtualHome環境中，總分相對靠後的Mistral Large，在動作序列規劃上取得了第一名。

作者還對各模型的失敗情況進行了深入分析，發現了將中間狀態誤識別爲最終目標狀態、對隱含的物理關係理解不足、忽略重要的前提條件等具體問題。

這些發現能夠讓研究人員對模型的優缺陷進行更深層的瞭解，爲之後的研究提供了重要參考。

項目主頁：https://embodied-agent-interface.github.io/論文：https://arxiv.org/abs/2410.07166代碼：https://github.com/embodied-agent-interface/embodied-agent-interface數據集：https://huggingface.co/datasets/Inevitablevalor/EmbodiedAgentInterface