DenseNet共一作者劉壯官宣新去向,將任普林斯頓大學助理

機器之心報道

機器之心編輯部

最新消息,DenseNet 作者之一劉壯將於 2025 年 9 月加盟普林斯頓大學,擔任計算機科學系助理教授一職。

劉壯主導了 DenseNet 和 ConvNeXt 的開發,這兩款模型如今已成爲深度學習和計算機視覺領域最主流的神經網絡架構之一。

在正式踏入學術界之前,劉壯還會在 Meta AI Fair 繼續擔任研究科學家。因爲普林斯頓大學離紐約不遠的,劉壯在官宣新去向後,還曬了張地圖:「我離這世界上最棒的地兒不遠。」

田淵棟等各路大佬第一時間齊刷刷地送上了祝福:

在 AI 技術骨幹紛紛離職單飛,投入 AI 創業大軍的時候,擁抱學術界的選擇似乎並不多見。

大三就提出了 DenseNet

2013 年,劉壯以安徽省理科高考第一名的成績,考進了清華大學計算機科學實驗班(姚班)。大三期間,在康奈爾大學訪學的劉壯與黃高合作了 DenseNet,這篇論文後來成爲了 CVPR 2017 的最佳論文。

文章轉載:[vb.4yanshuma.com)

在 CVPR 還沒「通貨膨脹」的時代,突破了傳統深度網絡的單向直鏈結構的 DenseNet 在 CV 圈掀起了一陣熱潮。

文章轉載:[bg.sxldb.net)

DenseNet 通過將前面所有層與後面的層進行密集連接,實現了特徵重用,不僅緩解了隨着網絡深度增加產生的梯度消失現象,也能讓網絡以更少的參數和計算量實現更優的性能。

文章轉載:[zc.xpb18.com)

DenseNet網絡結構

文章轉載:[gc.wanchendc.com)

在學術界,DenseNet 被圖靈獎得主 Yann LeCun 與 VGG、GoogleNet、ResNet 並列爲當代四種主流深度網絡。至今,DenseNet 的論文引用量超過 4.8 萬次,成爲了教科書上的範本。

文章轉載:[sb.haitaidi.com)

2017 年,從清華畢業後,劉壯前往加州大學伯克利分校深造博士學位,拜入 Trevor Darrell 教授門下,和賈揚清成爲了同門師兄弟。讀博期間,劉壯筆耕不輟,入選頂會的論文源源不斷,其中不少還獲選 Spotlight。

文章轉載:[rv.englishbogota.com)

博士畢業後,劉壯進入 Meta AI Research 工作。在此之前,他曾在康奈爾大學、英特爾實驗室、Adobe Research 和 FAIR 擔任訪問研究員 / 實習生。

文章轉載:[uft.qlxyly.com)

在 Meta 實習期間,劉壯和謝賽寧合作,發表了 ConvNeXt,這是一篇「make CNN great again」的代表性工作。

文章轉載:[fvr.ahxueyu.com)

自從 ViT 提出,視覺識別開啓了「咆哮的 20 年代」,基於 Transformer 的模型在計算機視覺的各個領域開始全面超越 CNN。然而,這種混合方法的有效性在很大程度上仍歸功於 Transformer 的內在優勢,而不是卷積固有的歸納偏置。

文章轉載:[nd.zqi88.com)

那麼,純 ConvNet 的極限在哪裡?能否設計一個純 CNN 模型,讓它實現和基於 Transformer 的視覺模型同樣的效果呢?

文章轉載:[in.kaedeso.com)

劉壯及其研究團隊參考了 Swin Transformer,基於標準 ResNet,升級出了 ConvNeXt。無論在圖像分類還是檢測分割任務上,ConvNeXt 均超過了 Swin Transformer,同時還能保持標準 ConvNet 的簡單性和有效性。

文章轉載:[lyx.aliitastyle.com)

入職 Meta 後,劉壯似乎更加高產,對數據集以及(多模態)大型語言模型也產生了研究興趣。

文章轉載:[oi.weimaobi.com)

近期,他和何愷明關於數據集偏差的研究也引發了廣泛關注。

文章轉載:[ss.peiwoapi.com)

論文的結論指出:雖然業界爲構建更多樣化、更全面的數據集付出了諸多努力,但神經網絡似乎越來越善於「過擬合」到特定的數據集上,也就是說,AI 更加擅長用一種「模板答案」來套不同的數據集中的題目了。

文章轉載:[fq.pc0467.com)

正如劉壯在主頁所說:「我的研究經常挑戰現有的觀念(例如,架構、數據集、剪枝、訓練)」。未來在學術界,劉壯將會在哪些方向上發出新挑戰,讓我們拭目以待。

文章轉載:[yu.ruamradio.com)

https://x.com/liuzhuang1234/status/1847019331122876928

文章轉載:[gv.shinichitoda.com)

https://liuzhuang13.github.io/

文章轉載:[tet.bzeindia.com)