“端側模型”能力大幅提升，面壁智能新品趕上GPT-3.5

9月5日，面壁智能發佈了旗艦端側模型“小鋼炮”系列的MiniCPM 3.0基座模型。MiniCPM 3.0是一款4B大小的模型，在自然語言理解、知識、代碼、數學等能力上可達到GPT-3.5水平，經過量化處理後內存爲2.2GB。

MiniCPM 3.0強調了自身的長文本、Function Call（函數調用）與RAG（檢索增強生成）三個模型功能。

長文本並不是一個稀缺技能，面壁智能的差異化在於，團隊通過長本文分幀處理技術，打破了上下文長度的拓展限制。這使得在InfiniteBench大模型長文本能力的權威評測集中，MiniCPM 3.0的表現超過了GPT-4、KimiChat、Qwen2-70B。

Function Calling是智能體（Agent）應用的重要技能，它能夠將用戶模糊化的輸入語義轉換爲機器可以精確理解執行的結構化指令，並讓大模型連接外部工具和系統。公司表示，MiniCPM 3.0的Function calling性能目前已接近GPT-4o水平。

RAG技術是端側模型加強檢索與生成能力，儘可能減少大模型幻覺問題的重要手段。面壁智能爲MiniCPM 3.0加入了MiniCPM-Embedding（檢索模型）、MiniCPM-Reranker（重排序模型）和麪向RAG場景的LoRA插件（生成模型）共三個外掛模型。

總體而言，面壁智能在MiniCPM 3.0上降低了參數並提升了性能。這是端側模型生存突圍的唯一路徑。

與衆多互聯網大廠和創業公司搶入通用大模型領域不同，面壁智能從成立至今就把目標放在小尺寸大模型上，尤其以MiniCPM系列發力端側模型，團隊的技術目標一直在於如何提升模型的知識密度（即模型能力/參與計算的模型參數）。

相較於雲端大模型，兼具小尺寸和強性能的端側模型天然更適合智能硬件產品，因爲後者有更高的計算效率、實時反饋、安全隱私等方面的要求。

“從技術角度來說，端到端的方案通常都是上限更高，而且能夠帶來更新體驗的方案。”面壁智能CTO曹國洋表示。以機器人爲例，端側模型有機會帶來傳統技術所無法實現的通用能力，例如通過更長的上下文完成對人的情緒與意圖的理解。

不過，以OpenAI爲代表的大模型公司，也正在通過剪枝、量化等手段開發小尺寸模型，這是否意味着在可見的未來，通用大模型有可能會全面覆蓋小尺寸模型的能力表現，以面壁智能爲代表的端側模型將成爲前者的子集？

這個問題的本質是面壁智能在技術上的挑戰。曹國洋解釋道，從技術路線上來說，端側模型與雲端大模型有一部分是共通的，主要體現在模型的知識密度和能力上，但是面壁智能需要在一些技術上採取更適配端側模型的路徑，纔有可能實現以小博大的目的。

不過，在真正落地端側設備時，端側模型的優勢會得到顯現。由於端側設備對運算資源有極大限制，端側模型會從模型的訓練技巧、數據配比、數據精度等方面做大量工作，而云端大模型整體更注重效果和成本的平衡，大都採取MoE（Mixture of Experts）架構等技術以追求性價比，長期來看，如果僅採取剪枝等傳統技術，雲端模型難以持續大幅提升模型的知識密度。

當端側模型的表現提升到足夠好，面壁智能的下一步就是啓動商業模式的嘗試和挑戰。

目前，面壁智能已經與MTK合作，爲梧桐科技提供MiniCPM車載多模態大模型，邁入了智能座艙芯算一體的合作領域。

面壁智能CEO李大海表示，手機、PC、機器人和汽車是面壁智能目前很明確的四個落地方向。對於端側模型與智能硬件相結合的量產節點，李大海推測是在明年。同時，他提到，今年年底可能就會有配備面壁智能端側模型的產品上市，但暫未透露具體廠家和產品形態。

一個不可迴避的問題是，當前，無論是蘋果、三星還是華爲等頭部硬件廠商，都在打磨自有端側大模型，並與自有產品做結合。面壁智能作爲模型供應商，如何看待與這些終端廠商的競爭，以及更好服務其他廠商客戶？

李大海認爲，儘管終端廠商掌握場景，但並非所有廠商都有能力打造足夠好的端側模型，而今天的智能化競爭，無論在哪個產業都十分激烈。爲了面向消費者達成更好的交付效果，廠商都在追求最好的端側模型能力。從這個角度而言，面壁智能仍有機會通過與廠商的溝通協作獲得更多收入和市場份額。