成都女生如何改寫了AI進程

李飛飛,現在是AI圈內外一個人盡皆知的名字。

她是斯坦福大學終身教授,HAI(以人爲本AI研究院)院長,新晉獨角獸World Labs創辦者,具身智能、空間智能多項前沿AI技術引領者,以及改變深度學習命運的ImageNet的創造者。

她(可能)也是AI領域地位最高的華人,不論是從學術,還是產業影響力,她的門生桃李,正在全面影響着AI的進程,包括她沒那麼正面評價的“AGI”……很多人關注李飛飛的過去,更多人則期望這個從成都走出的華人女性未來有更大的成功,甚至給了她“AI教母”的稱謂。

即便她跟Hinton一樣,不是AI“科班出身”。

被物理學迷妹改寫的AI進程

李飛飛最開始學習的專業是物理學,她的偶像是愛因斯坦。

在2024年諾獎影響下,物理學和AI之間的關係變得奇妙,但在1995年不是如此。

1990年代,Hinton的反向傳播算法爲神經網絡補全最後一塊拼圖,LeCun在卷積神經網絡上的突破證實演算法能在現實世界中運作。

但是人工智能依舊處於寒冬時代。在計算、數據等方面的制約下,神經網絡的能力無法完全釋放。

李飛飛與人工智能的第一次直接接觸,是大二暑假去UC伯克利分校擔任一項實驗的項目助理。

這是一項探索大腦運作機制的實驗。在去之前,李飛飛一直擔心自己沒有生物學背景,不能被研究團隊所接納。

但意料之外,這是一項要從計算角度研究大腦的實驗。希望通過截取貓大腦的信號,來重建貓看到的影片。最終這項研究被髮表在了《神經科學期刊》上。

這爲李飛飛人生中幾乎最重要的選擇埋下伏筆。

1999年,當李飛飛從普林斯頓大學物理系畢業後,面對來自華爾街諸多誘人的offer,在家人的支持下李飛飛遵循本心,選擇做科學家。

但是做什麼樣的科學家?

在UC伯克利的實驗讓她看到了智能的奧秘,也讓她意識到,鑽研視覺或許是解開智能奧秘的關鍵。

因此在碩士階段,李飛飛奔赴加州理工學院,師從計算機視覺專家Pietro Perona教授和Christof Koch教授,並行研究神經科學和計算機科學。

如果一定要計算,2001年,李飛飛才正式開始學習人工智能。

這時距離她人生中影響力最大的工作——ImageNet被提出,只有5年。

2009年6月,至今仍是世界上最大的圖像標記數據集ImageNet發佈,讓李飛飛和她的團隊一躍成爲CV領域最耀眼的明星。

簡單理解,這是一個精選的互聯網圖像數據集,共計1500張圖片,涵蓋22000個概念、對象類別概念。

如此規模與形式,放在當下不足爲奇。但是在演算法佔據AI領域主導地位的2006年,ImageNet更像是一個怪想法。

一方面,當時的人工智能領域尚處於寒冬之中。演算法是主流方向,大家都在做一些複雜的網絡,數據被認爲不過是一種訓練工具。

另一方面,ImageNet從被提出開始,就是衝着大規模去的。李飛飛從WordNet上找到靈感,參考這個大型詞彙數據庫,她希望從圖像維度建立起一個“人類意義地圖”,那麼ImageNet將擁有幾萬個類別。

這個規模放在當時是不可思議的。彼時,一個模型能辨認一、兩個類別就已經很了不起了。

這麼做有必要嗎?用這麼多圖像訓練一個模型要花費多少時間?會有人用嗎?以及背後巨大的工作量,給每一張圖像加上標註又需要多少時間?

因此,當李飛飛帶着ImageNet的想法與同事討論時,往往孤掌難鳴。

以及這個計劃對李飛飛自己的前途也將產生頗多影響。被她尊稱爲“學術祖父”的Jitendra Malik就曾勸導她,儘管ImageNet是電腦視覺所需要的,但是科學的竅門是跟着領域一起成長,而不是跑在領域的前頭。

但從最純粹的學術角度來看。李飛飛意識到,當時的機器學習有些停滯不前,大家都在做更復雜的模型,卻沒有足夠的數據來驅動機器學習。用更行業內的話來說,泛化上存在問題。

她在自傳中寫道:生物智能不像演算法那樣是被設計出來的,而是演化的結果。而演化不就是環境對生物的影響?現代人類的認知,不是承載了無數代祖先生活、死亡與不斷適應的印記?

現在人類能夠立刻辨認出一種物體,得益於此前的感官刺激。對應來看,自然圖像就是數據。

所幸,這種認知還是有人認同。

在普林斯頓,李飛飛遇到了“第一位知音”——李凱教授。

李凱教授是1980年代的留美高材生,拿到了耶魯大學全獎錄取通知書。師從世界上第一位圖靈獎獲得者Alan·Perlis,博士畢業後來到普林斯頓大學任教併成爲計算機系終身教授,也是當時普林斯頓計算機系教職員工中僅有的華人面孔。

遇見李飛飛時,李凱已是微處理器架構的頂級專家,他擅長把數百萬個納米級電晶體組成全世界最精密的裝置,是高效廉潔微處理器與大容量存儲裝置的先驅。也曾在硅谷創業,研製出世界上首款商用重複數據刪除產品,並在後來被易安信收購。

李飛飛自述中說,李凱教授即像她的母親,很知性;又像她的父親,很會自我解嘲。是個看上去不苟言笑、衣着樸素,但實則又溫暖慷慨的人。

他成爲了當時極少數看好李飛飛的人之一。

由於所在領域的交集不多等因素,李凱沒有直接參與ImageNet計劃。但他爲李飛飛提供了兩項重要幫助:捐贈一組初始工作站;引薦得意門生鄧嘉,後來他更爲人熟知的身份是ImageNet第一作者。

由此,在2007年的普林斯頓,ImageNet正式啓動了。

此後大約3年時間裡,李飛飛師徒二人都投身於此。其中面臨的困難自不必說,工作量巨大、鮮有人看好、燒錢……

2009年,李飛飛已經帶着鄧嘉和絕大部分學生來到了西海岸的斯坦福後,ImageNet才終於完成第一版,並在CVPR上正式亮相。

之後爲了進一步推廣ImageNet,李飛飛開始舉辦ImageNet挑戰賽。這個比賽邀請全球學者通過ImageNet進行對象識別,讓不同的算法能夠在同一基準下進行比較。

即便如此,ImageNet產生的影響也還很有限。

直到2012年,時間線開始收緊,Hinton與李飛飛的故事終於發生交集。

有一天夜裡,鄧嘉突然給李飛飛打來電話。一向內斂冷靜的學生,語氣激動:我們看到了一份與衆不同的作品。

這就是AlexNet。

後面的故事開始變得更爲人熟知。憑藉着驚人的準確率,AlexNet重新證明了神經網絡,也開啓了人工智能第二輪浪潮。

再後來,Hinton帶着Ilya、Alex完成拍賣,自己加入谷歌;Ilya加入OpenAI擔任首席科學家,推動了GPT早期版本、DALL·E系列、CodeX、ChatGPT等技術誕生。

變革的齒輪加速轉動。

那麼,李飛飛呢?

在ImageNet大獲成功後,李飛飛的AI之路變得順暢。

2012年,她拿到斯坦福終身教職,晉升爲副教授。於2013年開始領導斯坦福人工智能實驗室。

期間,她還利用學術假期加入谷歌雲人工智能暨機器學習的中國中心團隊。這時是2016年,深度學習革命開啓之年。

之後,2017年1月-2018年9月,她出任谷歌副總裁,併兼任谷歌雲AI/ML首席科學家。

2018年9月,李飛飛宣佈返回斯坦福任教,並任斯坦福以人爲本人工智能研究院(HAI)院長,同年晉升爲終身教授。

2020年,李飛飛當選爲美國國家工程院院士、美國國家醫學院院士;2021年當選爲美國文理科學院(藝術與科學院)院士;2021年11月當選爲IEEE Fellow。

與此同時,從李飛飛實驗室走出了數十位學生弟子。他們中諸多人物,亦爲AI發展帶來深刻影響。

高徒羣星閃耀

執教快20年,李飛飛帶出了一大批高徒,宛如羣星閃耀——

其中我們熟知的,有OpenAI創始成員Andrej Karpathy、英偉達科學家Jim Fan和朱玉可,以及上海交大教授盧策吾、前Google AI中國中心總裁李佳、前阿里自動駕駛掌舵人王剛……

帶卡帕西時,當時他正讀研二,李飛飛對這位身材欣長、說話速度頗快的學生評價是:

她給團隊和卡帕西佈置的任務是:輸入一張圖片,最終能自動輸出文字說明。

卡帕西第一次交的作業,看起來確實完成了。但是她指出,這項作業主要靠“匹配”已有數據來完成,無法應對新情況,也就是不具備泛化能力。

遭受挫折的卡帕西,整個人癱倒在座位上。看到他如此,李飛飛還插空提醒:

不過好在沮喪過後,卡帕西身上的“工程師特質”開始發揮作用。

果然,他最後成功了……

讀博期間,他還親自設計並主講了一門名爲「CS231n:用於視覺識別的卷積神經網絡」的課程,成爲斯坦福授課深度學習的講師。

這門課一直廣受好評,非常火爆。

拿到博士後,卡帕西面對多種職業選擇(當時普林斯頓大學願意直接給他一個位子),最終卻選擇跳出學術界,毅然加入當時還名不見經傳的OpenAI。

對此李飛飛還勸了一番,不過卡帕西一心認準了OpenAI:

後來的事大家都很熟悉了,他曾二進二出OpenAI,看起來頗有量子糾纏內味兒了(doge)。

2016年,他作爲研究員加入OpenAI(也是聯合創始人),領導早期GPT系列、Dall·E系列以及ChatGPT等模型開發。工作1年零6個月後,被馬斯克挖去了特斯拉,領導自動駕駛的計算機視覺團隊。

而特斯拉也在卡帕西和另一位負責硬件的Pete Bannon領導下,最終推出了FSD。

直到2023年2月,他再次迴歸OpenAI,當時Sam Altman還發推表示歡迎。在近1年時間裡,他建立了一個小團隊,負責改進GPT-4,然後就又離職了……

而他的下一站,也是創業。

今年7月,他宣佈創辦Eureka Labs,一家AI原生的新型學校。

其首個產品,也是首門課程LLM101n(老本行了)。

除了卡帕西,李飛飛的自傳新書中,斯隆獎得主鄧嘉更是被多次提及。

鄧嘉於2006年本科畢業於清華大學計算機系,隨後赴美國普林斯頓大學師從李凱教授攻讀博士學位。

2007年,他被導師李凱推薦給李飛飛,輔助ImageNet的研究。

2009年,當ImageNet發表時,鄧嘉爲第一作者。

對於鄧嘉,李飛飛評價他含蓄內斂:

直到2017年李飛飛宣佈停辦ImageNet之前,鄧嘉一直在幫忙運營ImageNet項目。

博士畢業後(2012年畢業),他於2014年開始擔任密歇根大學計算機科學與工程系助理教授。

僅幹了4年,他又回到了普林斯頓大學。目前是該校計算機科學副教授,領導普林斯頓視覺與學習實驗室。

值得一提的是,他還獲得過2018年斯隆研究獎 (Sloan Research Fellowships)。

該獎代表了當今(美國和加拿大地區)最有前途的科學研究人員,自1955年設立以來誕生過衆多諾貝爾、菲爾茲獎獲得者。

當然了,在李飛飛執教早期,還有兩位學生不得不提:前Google AI中國中心總裁李佳、前阿里自動駕駛掌舵人王剛。

李佳,1998年進入中國科大自動化系學習,曾獲得新加坡南洋理工大學碩士學位。

2016-2010年,李佳師從李飛飛攻讀博士,在此期間還有一段師徒佳話。

因爲李飛飛先後在UIUC、普林斯頓和斯坦福任教,所以李佳也跟着3換學校、3考博士(每一次都成功了),是李飛飛最自豪的學生。

畢業後,她於2011年加入雅虎,兩三年後成爲資深研究員,開始領導雅虎實驗室的視覺計算和機器學習部門。在此期間,她獲得LEAP、Master Inventor等公司內部獎項,並獲得雅虎公司最高獎Super Star獎。

2015年2月,她新加入了Snapchat,成爲公司研發負責人,職責是開發核心CV/AI技術併爲產品提供創新支持。

此時的Snapchat,已明確了IPO計劃,一旦成功,將是Facebook上市以來,美國科技公司最大的一樁。

按理說沒有人會在此時選擇離開。

但導師李飛飛一召喚,李佳就在2016年9月離職了,師徒二人前後腳加盟谷歌。

谷歌期間,她們發佈了多個AutoML新產品和Contact Center AI集虛擬助理,並推動谷歌AI中國中心建立。李佳也出任谷歌AI中國中心總裁,幫助提升谷歌在中國的影響力。

結束在谷歌的使命後,師徒二人再次前後腳離職,中間僅相隔50天。

這一邊,李飛飛重返斯坦福,而李佳則考慮在AI方向上創業。

她先是在StartX擔任聯創&創始CEO,爲斯坦福校友的創業活動提供非營利“加速”支持。

同時也在斯坦福教授AI醫療方面的課程,課程全名《AI助力醫療保健》——

主要運用計算機視覺等AI技術,解決當前醫療保健行業的問題,比如家庭護理、外科輔助分析、AI輔助育兒、燒傷評估等等。

最新情況是,她選擇了面向企業的“AI解決方案”這條創業路線。

2023年3月,聯合創立LiveX AI,爲企業提供聊天機器人、AI搜索、語音智能體等各類產品,幫助企業增加付費轉化並降低客戶流失率。

這下,師徒二人又都走上了創業之路,看起來依舊默契十足(doge)。

另一位學生王剛,身上也是buff疊滿:南洋理工大學終身教授、阿里無人車的開創者、達摩院自動駕駛實驗室負責人、小蠻驢物流機器人之父……

王剛,2005年本科畢業於哈爾濱工業大學,其後於2010年在伊利諾伊大學香檳分校獲博士學位,讀博期間的導師正是李飛飛。

28歲博士畢業時,他已手握10篇頂會論文,引用量過千,是AI領域的新生代代表。

2017年加盟阿里前,34歲的王剛已是南洋理工大學的終身教授。

加盟阿里後,王剛出任阿里巴巴人工智能實驗室首席科學家,後成爲達摩院自動駕駛實驗室負責人。

他在阿里內部率先開啓了自動駕駛探索,並確定了商用落地業務方向——完全無人駕駛的物流機器人。

阿里由此成立小蠻驢智能科技,王剛出任總經理。在2020年雲棲大會上,小蠻驢正式對外亮相,進入量產和商用運營階段,這是達摩院成立以來,最具感知力和話題性的創新產品之一。

2022年1月,王剛被曝離職阿里,開啓創業。其創辦的新生紀智能科技,方向爲有大模型加持的商用清潔機器人。

據天眼查顯示,這家公司今年進行了2輪融資,投資方包括天堂硅谷、普華資本和柏泉資本。

除了自動駕駛,AI領域的另一大熱門——具身智能,也有李飛飛高徒的身影。

上海交大教授盧策吾,2015-2016博士後期間,指導導師也是李飛飛。

2013年,他獲得了港中文大學計算機博士學位,導師爲賈佳亞。

隨後又在香港科技大學,跟着鄧智強教授做了2年博士後研究。

2015年,他拿到了李飛飛的推薦信,並最終受邀加入李飛飛實驗室繼續攻讀博士後。

當時正處於具身智能萌芽期,李飛飛和學生們正討論開始研究機器人。

在這期間,盧策吾認識了同門朱玉可。

朱玉可,2013年本科畢業於浙江大學計算機系,隨後在斯坦福攻讀碩博學位。

加入李飛飛組後,朱玉可最初做的是視覺知識庫,2015年才和盧策吾一起轉機器人。

後來二人在機器人領域均大有成就。

盧策吾回國後加入上海交大計算機系,目前是該校教授。

2018年,他被《麻省理工科技評論》選爲“35歲以下科技創新35人”,且基於其在具身智能領域的傑出貢獻,獲得了2023年科學探索獎。

截至目前,他以通訊作者或第一作者在Nature、Nature Machine Intelligence、TPAMI等高水平期刊和會議發表論文100多篇。

除了學術研究,他還橫跨產業界:於2023年聯合創立了穹徹智能(兼首席科學家),致力於研發具身智能系統及其相關工具與平臺。

最新消息,就在今年9月,這家公司完成了數億元Pre-A輪融資。

此輪融資由Prosperity7 Ventures與廣發信德聯合領投,澤羽資本、創新工場、奇績創壇、璞躍中國(Plug and Play China)以及MFund魔量資本等機構參投。

而朱玉可,2019年8月取得斯坦福大學博士學位後,目前也是產學兩開花:

一邊在德克薩斯大學奧斯汀分校擔任計算機科學系助理教授,也是機器人感知與學習(RPL)實驗室主任;

一邊和另一同門Jim Fan(範麟熙)共同領導英偉達GEAR實驗室(研究通用具身智能體)。

沒錯,英偉達科學家Jim Fan也是李飛飛的學生。

Jim Fan,本科畢業於哥倫比亞大學,是當年的優秀畢業生代表,獲哥大Illig Medal。

2016-2021年,他在斯坦福大學讀博期間,就是在李飛飛的指導下開展深度強化學習、機器人學、CV等領域的研究。

有意思的是,期間他還成爲了OpenAI第一位實習生(與Ilya Sutskever和Andrej Karpathy合作)。

一畢業,他就加入英偉達,一路幹到高級研究科學家,期間主導了多個具身智能項目:

直到今年2月,老黃安排他和朱玉可(兩位90後)共同負責GEAR實驗室。

至此,可以看出李飛飛高徒遍佈AI各領域,且都有一股創業精神。

而李飛飛本人,也在今年9月正式官宣創辦World Labs,瞄準空間智能。

這家公司成立不到4個月時間,估值已突破10億美元。

有意思的是,這家公司的聯合創始人之一也是李飛飛高徒。

Justin Johnson,本科就讀於加州理工,後於斯坦福大學獲得計算機博士學位。

讀博期間,他和卡帕西還是論文搭子,兩人一起在斯坦福度過了一段同門時光。

同時,他和李飛飛一起構思了初版cs231n,並在2016-2019年間,成爲這門課的主要講師之一。

畢業之後,他獲得了密歇根大學的教職,擔任計算機科學與工程專業助理教授。

同一時間還曾是Meta FAIR的研究科學家。

除此之外,通過查看斯坦福視覺實驗室人員名單,我們還發現了更多華人面孔。

De-An Huang(黃德安),2020年獲得了斯坦福大學計算機科學博士學位,師從李飛飛和Juan Carlos Niebles。

碩士畢業於卡內基梅隆大學機器人專業。

讀博期間,曾在微軟、Facebook和英偉達實習,畢業至今,一直在英偉達擔任研究科學家。

Alan Zelun Luo,目前是斯坦福大學計算機科學系五年級博士生。

本科就讀於伊利諾伊大學香檳分校計算機專業,後赴斯坦福大學攻讀碩博。

雖然還沒畢業,但實習經歷頗豐,曾在Nvidia、Facebook、Google、Amazon、Yahoo等機構實習。

Yanan Sui(眭亞楠),目前是清華大學副教授,研究領域爲機器學習、神經工程和機器人。

2010年本科畢業於清華生物醫學工程專業,後在加州理工攻讀計算機和神經系統博士、博士後。

2020年,他被MIT TechReview列爲中國“35歲以下創新者之一”,目前任國際會議NeurIPS、ICLR領域主席、期刊《生物醫學工程學雜誌》編委。

Serena Yeung,目前是斯坦福大學助理教授,研究重點爲視覺AI在醫療保健方面的應用。

她領導着該校醫學人工智能和計算機視覺實驗室(MARVL),並擔任醫學與影像人工智能中心 (AIMI) 數據科學副主任。

從2006年開始,本碩博均爲斯坦福大學電氣工程專業,還去哈佛大學做了1年博士後。

One more thing

在自傳中,李飛飛提到,一直以來她都對科學的力量保持樂觀態度。

這一定程度上解釋了爲何在大模型浪潮飽受熱議時,李飛飛選擇開啓首次創業。

當然,這可能與這位成都女生身上始終的愛智求真追求息息相關。

在她今年出版的第一本自傳《我看見的世界》中,她完完整整講述了自己從一個成都七中女生輾轉美國,一度需要在洗衣店打工補貼家用,最後站上AI時代浪潮之巔的過程,解釋了始終指引她前行的“北極星”。

這本傳記成爲了外界更瞭解她的一扇窗,同時也看到了更多AI復興前後的趣聞往事,以及,李飛飛背後了不起的中國父親母親。

如果你想了解更多,不妨直接通過《我看見的世界》認識李飛飛。