除了Ilya，剛拿諾獎的Hinton還教出了這些AI博士

自近日獲知自己摘得諾貝爾物理學獎之後，76 歲的人工智能教父 Geoffrey Hinton 便「閒不住」了。

這不，谷歌首席科學家 Jeff Dean 曬出了自己參加 Hinton 諾貝爾獎派對前與老爺子的合照，以及短時間內可以參加該派對的 Hinton 博士們。

在幾十年研究生涯中，Hinton 培養出了 40 位博士生，其中不乏前 OpenAI 首席科學家 Ilya Sutskever、前蘋果 AI 總監 Ruslan Salakhutdinov 這樣的大牛。

在週二的一次演講中，Hinton 表示自己非常幸運，遇到了很多聰明的學生，他們取得了非常大的成功，有的做出了偉大的成果。其中他爲弟子 Ilya「解僱」奧特曼而感到自豪，並認爲奧特曼現在更關心利潤而不是安全。他同時呼籲加強對 AI 安全以及由好奇心驅使的基礎研究的支持。

機器之心盤點了自 1987 年以來，Hinton 博士弟子們的研究領域、研究成果以及其他信息。如有遺漏和錯誤，請在評論區指正。

桃李滿天下

Hinton 的博士跨越了近 40年

Peter Brown（1987）

Peter Brown 現在是文藝復興科技（Renaissance Technologies）的首席執行官，他也是 Hinton 的第一位博士生，當時 Hinton 還是 CMU 計算機科學教授。

Peter Brown 博士期間主要研究自動語音識別中的聲學建模問題。他曾在 IBM 研究所從事語音識別、機器翻譯和大規模語言模型的研究。

David Ackley（1987）

David Ackley 是新墨西哥大學計算機科學名譽教授，致力於在無限可擴展的計算機架構上研究、開發和倡導穩健優先、盡力而爲的計算。David Ackley 的工作涉及神經網絡、機器學習、進化算法，以及安全、架構和計算模型的生物學方法。

值得一提的是，Hinton 與 David Ackley 和 Terry Sejnowski 共同發明了玻爾茲曼機。

Mark Derthick（1988）

Mark Derthick 自 1995 年開始在卡內基梅隆大學（CMU）任訪問科學家、項目科學家、研究科學家，但目前已經離任。他的研究興趣包括人機信息交互、交互式信息可視化、知識表徵、探索性數據分析等。

Richard Szeliski（1988）

Richard Szeliski 是華盛頓大學計算機科學與工程系兼職教授、ACM Fellow、IEEE Fellow。Szeliski 在計算機視覺貝葉斯方法、基於圖像的建模和渲染以及計算攝影領域進行了開創性研究，是計算機視覺領域的大師級人物，他在計算機視覺研究方面有 30 多年的豐富經驗，主攻計算機視覺和計算機圖形學，是 CV 經典教材《計算機視覺：算法與應用》的作者。

Richard Szeliski 先後任職於 DEC（美國數字設備公司）、微軟研究院、Facebook、谷歌。1996 年，他在微軟研究院任職期間提出了一種基於運動的全景圖像拼接模型，採用 L-M 算法，通過求圖像間的幾何變換關係來進行圖像匹配。此方法是圖像拼接領域的經典算法，Richard Szeliski 也因此成爲圖像拼接領域的奠基人。2017 年，Richard Szeliski 獲得 ICCV 大會頒發的傑出研究獎。

Kevin Lang（1989）

1989 年，Kevin Lang 在 Hinton 的指導下獲得了 CMU 的計算機科學博士學位。根據網上查詢到的有限資料顯示，他的研究興趣包括計算模型、細胞結構、形狀建模以及量子點和細胞自動機、語音識別。

Steven Nowlan（1991）

Steven Nowlan 是 Epsilon 公司決策科學高級副總裁，他曾在 Motorola 工作近 20 年，在移動和基於位置的應用程序、複雜的軟件架構以及研究科學家和軟件開發人員的組合管理方面擁有豐富的經驗，致力於將創新理念轉化爲成功的軟件產品和服務。

David Plaut（1991）

David Plaut 是卡內基梅隆大學的心理學教授，致力於使用計算模型並輔以實證研究來研究高級視覺、閱讀和語言以及語義領域正常和無序認知處理的本質。

David Plaut 的建模工作是在神經網絡框架內進行的，其中認知過程是通過大量類似神經元的處理單元之間的合作和競爭交互來實現的，以深入瞭解認知過程如何在大腦中實現，以及大腦功能障礙如何導致認知障礙。

Conrad Galland（1992）

1992 年，Conrad Galland 在 Hinton 的指導下獲得了多倫多大學的博士學位。根據網上查詢到的有限資料顯示，他的研究重點是矩陣計算。

Susanna Becker（1992）

Susanna Becker 是麥克馬斯特大學心理學、神經科學和行爲學名譽教授。1992 年，她在 Hinton 的指導下獲得多倫多大學博士學位，研究興趣包括記憶、計算神經科學、海馬神經發生、腦機接口和神經反饋。

Richard Zemel（1994）

Richard Zemel 是美國國家科學基金會（NSF）人工智能和自然智能研究所（ARNI）主任，研究致力於用少量標籤進行學習，創建強大且可控的機器學習系統，並且該系統可以遷移到各種任務和領域。他還對算法公平性有着濃厚的興趣。Richard Zemel 還是 NVIDIA 人工智能先鋒獎的獲得者。

Tony Plate（1994）

1994 年，Tony Plate 在 Hinton 的指導下獲得了多倫多大學計算機科學與人工智能博士學位。在攻讀博士期間研究瞭如何在神經網絡中表示覆雜的概念。博士畢業以後，他曾在新墨西哥州立大學擔任研究員、在不列顛哥倫比亞大學擔任博士後研究員、在惠靈頓維多利亞大學擔任助理教授，並在 2020 年 3 月之後加入谷歌擔任工程師至今。

Sidney Fels（1994）

Sidney Fels 自 1998 年起擔任不列顛哥倫比亞大學（UBC）電氣與計算機工程系教授。他因在人機交互、3D 顯示、生物力學建模、神經網絡、智能體等方面的工作而享譽國際。

Christopher Williams（1994）

Christopher Williams 是愛丁堡大學信息學院機器學習教授。他的研究興趣包括機器學習、統計模式識別、概率圖形模型和計算機視覺。他還是《機器學習的高斯過程》一書的作者之一。

Radford Neal（1994）

Radford Neal 是多倫多大學統計系和計算機科學系榮休教授。他的研究興趣包括貝葉斯推理、蒙特卡洛方法、信息論、機器學習和神經網絡。

Carl Rasmussen（1996）

Carl Rasmussen 是劍橋大學工程系教授，研究領域包括機器學習和氣候變化，研究重點包括概率推理、強化學習、近似推理、決策、非參數建模、隨機過程等。

Brendan Frey（1997）

Brendan Frey 是國際知名機器學習和基因組生物學研究者，主要研究因子圖、深度學習的 wake-sleep 算法，以及使用機器學習建模基因組生物學和理解遺傳性疾病。他創立了 Deep Genomics，現任首席執行官，並且是多倫多大學計算機科學和醫學教授。

Evan Steeg（1997）

Evan Steeg 是初創公司 stealth synthetic biology 的聯合創始人兼首席人工智能官，還是 BTC 諮詢公司總裁。他的研究興趣包括 AI、ML、計算生物學、創業和戰略規劃。

Radek Grzeszczuk（1998）

Radek Grzeszczuk 是初創公司 SkinBit 聯合創始人，曾在微軟擔任首席軟件工程師主管。他爲增強現實、基於圖像的建模、視覺搜索和計算成像等領域的發展做出了貢獻。

Brian Sallans（2002）

Brian Sallans 是機器學習、軟件開發、移動軟件專家，在奧地利第一儲蓄銀行（Erste Group）任高級數據科學家。

Sageev Oore（2002）

Sageev Oore 是加拿大 CIFAR 人工智能主席，戴爾豪斯大學計算機科學學院副教授，曾任谷歌大腦訪問研究科學家。

Andrew Brown（2002）

Andrew Brown 查詢到的信息不多，從 Google Scholar 主頁可以看到，他的研究興趣包括機器學習、神經網絡、隱馬爾可夫模型、循環神經網絡。

他的博士畢業論文爲《Product Models for Sequences》。論文介紹了一系列新的時序圖模型， 採用的思路是通過大量更簡單模型的密度組合來構建一個複雜的時序密度模型。

論文地址：https://dl.acm.org/doi/abs/10.5555/936308

Alberto Paccanaro（2002）

2002 年，Alberto Paccanaro 在 Hinton 的指導下獲得多倫多大學的博士學位，專攻機器學習，並主要從事基礎研究，在畢業論文中引入了線性關係嵌入，這是一種解決從示例中學習符號關係問題的新方法。

2006 年 2 月，他開始在倫敦大學皇家霍洛威學院的計算機科學系工作，此後晉升爲教授。他的研究興趣包括應用模式識別 / 機器學習技術來解決計算生物學問題。

Yee Whye Teh（2003）

Yee Whye Teh 是牛津大學統計系教授，也是 DeepMind 研究科學家。2003 年，他在 Hinton 的指導下獲得了多倫多大學的計算機博士學位。此後在加州大學伯克利分校和新加坡國立大學從事博士後研究。他的研究興趣包括機器學習、計算統計學，尤其是概率模型、貝葉斯非參數、大規模學習和深度學習。

2006 年，他與 Hinton、Simon Osindero 合著提出了深度信念網絡的論文。深度信念網絡是第一批成功應用深度架構訓練的非卷積模型之一。在引入深度信念網絡之前，研究社區通常認爲深度模型太難優化，還不如使用易於優化的淺層 ML 模型。

而藉助深度信念網絡，研究者可以在未標註數據上預訓練深度神經網絡，這是一種生成模型的方式。預訓練完成後，神經網絡可以在標註數據上實現判別式的精調，從而獲得很好的效果。

論文地址：https://www.cs.toronto.edu/~hinton/absps/fastnc.pdf

Simon Osindero（2004）

Simon Osindero 在取得劍橋大學的實驗和理論物理碩士學位之後，選擇攻讀英國倫敦大學學院的計算神經科學博士學位，導師爲 Hinton，還得到了神經學家 Peter Dayan 的指導。2004 年獲得博士學位後，他加入了 Hinton 團隊，成爲博士後研究員。2006 年，他與 Hinton、Yee Whye Teh 合著提出了深度信念網絡的論文。

畢業以後，他就職於多家企業，包括 2009 年至 2013 年 10 月擔任 LookFlow 的聯合創始人兼 CTO、2013 年 10 月至 2015 年 12 月先後擔任雅虎的高級工程經理、AI 架構師和高級負責人、2017 至 2019 年英國倫敦大學學院擔任客座講師、2016 年至今擔任谷歌首席研究科學家、DeepMind 研究總監。

Roland Memisevic（2008）

2008 年，Roland Memisevic 在 Hinton 的指導下獲得了多倫多大學的計算機科學博士學位。2012 年 9 月至 2016 年 5 月，他擔任蒙特利爾大學的助理教授。2016 年 5 月至 2021 年 7 月，他先後擔任其聯合創立的 AI / 計算機視覺初創公司 Twenty Billion Neurons 的首席科學家和 CEO。

2021 年 7 月，Twenty Billion Neurons 被高通收購，Roland Memisevic 擔任高通高級總監至今。他的研究興趣包括類人 AI 和神經網絡中出現的常識。

Ruslan Salakhutdinov（2009）

Ruslan Salakhutdinov 是卡內基梅隆大學的 UPMC 計算機科學教授， 主要從事統計機器學習領域的工作。他的研究興趣包括深度學習、概率圖模型和大規模優化。

2009 年，他在 Hinton 的指導下完成了在多倫多大學的機器學習博士學位。此後他擔任了 MIT 博士後研究員、多倫多大學助理教授（2011 年 - 2016 年）、AI 初創公司 Perceptual Machines 聯合創始人（被蘋果收購）、蘋果 AI 研究總監（2016 年 - 2020 年）、卡內基梅隆大學教授（2016 年至今）、Meta 生成式 AI 研究副總裁（2024 年 6 月至今）。

Graham Taylor（2009）

2009 年，Graham Taylor 在 Hinton 和另一位導師 Sam Roweis 的指導下獲得了多倫多大學計算機科學博士學位。此後，他在紐約大學柯朗數學科學研究所做了兩年的博士後研究員，與 Yann LeCun 等人一起工作。2012 年，他加入圭爾夫大學工程學院擔任助理教授。2017 年，他晉升爲副教授，併成爲 Vector 人工智能研究所的成員。

2018 年至 2019 年，他在蒙特利爾的 Google Brain 擔任客座教員。2021 年，他晉升爲教授，併成爲 Vector 人工智能研究所的臨時研究主任。2022 年，他正式成爲研究主任。2023 年，他結束了 Vector Institute 研究主任的兩年任期，此後更專注於自己的研究。他對生成模型、圖表示學習和順序決策等領域感興趣。

Andriy Mnih（2009）

Andriy Mnih 是 Google DeepMind 的研究科學家。2009 年，他在 Hinton 的指導下獲得了博士學位。此後到 2013 年 2 月，他擔任 Gatsby 的博士後研究員。他的研究興趣包括隱變量模型、變分推理、蒙特卡洛梯度估計和表徵學習。

Vinod Nair（2010）

Vinod Nair 是雅虎班加羅爾實驗室的研究員，2010 年，他在 Hinton 的指導下獲得了多倫多大學的機器學習博士學位。他的研究興趣包括機器學習和計算機視覺。

Josh Susskind（2011）

在多倫多大學攻讀博士期間，Josh Susskind 接受了 Hinton（機器學習）和 Adam Anderson（行爲科學）兩位教授的指導。他開發出了第一個可以識別和生成面部表情的深度神經網絡，並展示了這些計算模型學習到的統計學規律如何預測人類感知到的元素。他的工作成果曾發表在《自然神經科學》和《科學》等高影響力期刊以及計算機視覺頂會上。

2012 年，他聯合創立了一家專注於實時感知人類行爲的初創公司 Emotient，該公司在 2016 年被蘋果收購。此後至今，他擔任蘋果的研究經理、深度學習科學家。

Ilya Sutskever（2012）

Ilya Sutskever 可稱得上 Hinton 最得意的博士生了。在多倫多大學本科期間，Ilya Sutskever 從一個「改進隨機鄰域嵌入算法」的項目開始，與 Hinton 合作，後來在攻讀博士學位時正式加入了 Hinton 團隊。

2012 年，Hinton 帶着 Ilya Sutskever 和另一名研究生 Alex Krizhevsky 建立了一個名爲 AlexNet 的神經網絡，其識別照片中物體的能力遠遠超過了當時的其他系統。

Ilya Sutskever（左）、Alex Krizhevsky（中）、Geoffrey Hinton（右）

2012 年畢業後，Ilya Sutskever 在斯坦福大學跟隨吳恩達做了兩個月的博士後，隨後返回多倫多大學並加入了 Hinton 研究小組的衍生公司 DNNResearch 。

2013 年 3 月，Google 收購了 DNNResearch，聘請 Ilya Sutskever 擔任 Google Brain 的研究科學家。在谷歌，Ilya Sutskever 展示瞭如何將深度學習的模式識別能力應用於數據序列，包括單詞、句子。

他與 Oriol Vinyals 和 Quoc Le 合作創建了序列到序列（Seq2seq）學習算法，深度參與了 TensorFlow 的研究，也是 AlphaGo 論文的衆多作者之一。對語言的濃厚興趣，或許推動了 Ilya Sutskever 加入 OpenAI 的腳步。

2015 年 7 月，Ilya Sutskeve 參加了 Y Combinator 總裁 Sam Altman 在 Sand Hill Road 一家餐廳舉辦的晚宴，在那裡遇到了 Elon Musk 和 Greg Brockman。那場晚宴上誕生了 OpenAI。

2015 年底，Ilya Sutskever 以「研究總監」的頭銜開始領導 OpenAI 的研究和運營，這個組織還吸引了幾位世界知名的人工智能研究者，包括「GAN 之父」Ian Goodfellow、UC 伯克利的 Pieter Abbeel 以及 Andrej Karpathy。

2016 年，OpenAI 的第一個 GPT 大型語言模型問世。從 GPT-2 到 GPT-3，模型的能力越來越強大，證明了這條路線的實際正確性。每一次發佈，OpenAI 都在不斷提高人們的想象力上限。

隨着 GPT-4 以及後續一系列更強大的大語言模型的更新，以 Ilya Sutskever 爲代表的一部分 OpenAI 成員越來越擔憂 AI 的可控性問題。於是有了後來的突然與 Sam Altman 所代表的派系決裂、離職收場的故事。

今年 5 月 15 日，Ilya Sutskever 官宣從 OpenAI 離職，並在 6 月 20 日宣佈成立安全超級智能公司（SSI），追求安全的超級智能，希望通過一支精幹頂尖的小團隊取得革命性的成果，進而實現這一目標。9 月，SSI 宣佈融資 10 億美元，投資者包括了頂級風險投資公司 Andreessen Horowitz、Sequoia Capital、DST Global 和 SV Angel。

Abdel-rahman Mohamed（2013）

Abdel-rahman Mohamed 是 FAIR 研究科學家。在加入 FAIR 之前，他是 Amazon Alexa AI 團隊的首席科學家經理。2014 年至 2017 年，他是微軟雷德蒙德研究院（MSR）的研究員。

2013 年，他在 Hinton 和另一位導師 Gerald Penn 教授的指導下獲得了多倫多大學的博士學位。他還是 2009 年開啓口語處理深度學習革命的團隊成員，並在 2016 年獲得了 IEEE 信號處理協會最佳期刊論文獎。他的研究興趣包括深度學習、口語處理和自然語言理解。

Vlad Mnih（2013）

Vlad Mnih 是 Google DeepMind 的一名研究科學家。2013 年，他在 Hinton 的指導下獲得了多倫多大學的機器學習博士學位。在此之前，他在阿爾伯特大學獲得了計算機科學碩士學位。他的研究興趣包括深度強化學習、多目標識別、視覺注意力等。

Navdeep Jaitly（2014）

2014 年，Navdeep Jaitly 在 Hinton 的指導下獲得了多倫多大學機器學習和計算機科學博士學位。畢業以後，他先後任職於 Google Brain（高級研究科學家）、英偉達（傑出研究科學家）、 再次 Google Brain（科學家）、投資管理公司 The D. E. Shaw Group（深度學習負責人、副總裁）以及 2021 年至今蘋果（機器學習研究科學家）。他的研究興趣在於前沿深度學習。

Tijmen Tieleman（2014）

2014 年，Tijmen Tieleman 在 Hinton 的指導下獲得了多倫多大學的深度學習博士學位。2018 年以來，他先後擔任 AI 初創公司 minds.ai 的 CTO、CEO、聯合創始人和首席科學家。他的研究興趣包括具有不尋常成分的多層確定性前饋神經網絡以及使用受限玻爾茲曼機的多層神經網絡等。

George Dahl（2015）

George Dahl 是美國山景城 Google Brain 團隊的一名研究科學家。2015 年他在 Hinton 的指導下獲得了博士學位，攻讀博士期間，他與其合作者訓練出了第一個成功的自動語音識別深度聲學模型，還領導團隊贏得了 Kaggle 主辦的默克分子活性挑戰賽。他的研究興趣包括深度學習、自然語言處理和統計機器學習。

Yichuan Charlie Tang（2015）

Yichuan Charlie Tang 從事深度學習和統計機器學習領域的工作。2015 年，他在 Hinton 和另一位導師前蘋果 AI 總監 Ruslan Salakhutdinov 的指導下獲得了多倫多大學的機器學習博士學位。他的研究興趣廣泛，包括機器人 / 自主技術應用、計算機視覺、自然語言處理和強化學習。

2017 年 1 月至 2020 年 6 月，他在蘋果先後擔任研究科學家和高級研究科學家。此後他在投資管理公司 The D. E. Shaw Group 擔任機器學習研究副總裁。

Nitish Srivastava（2016）

Nitish Srivastava 的研究興趣包括機器學習、深度網絡和人工智能。他在多倫多大學計算機科學系攻讀博士，導師爲 Hinton 和前蘋果 AI 總監 Ruslan Salakhutdinov 的博士，並於 2016 年獲得博士學位。

2017 年 2 月至 2022 年 2 月，他在蘋果先後擔任機器學習工程師和機器學習研究科學家。2022 年至今，他聯合創立了機器人初創公司 Vayu Robotics 並擔任 CTO。

Jimmy Lei Ba

Jimmy Lei Ba 是多倫多大學助理教授。他從本科（2011）、碩士（2014）到博士（2018）都是在多倫多大學完成的，博士期間導師爲 Hinton。他的研究興趣涵蓋了 NeurIPS、ICLR 和 ICML 等研究社區的廣泛主題，並對強化學習、自然語言處理和人工智能感興趣。他是 CIFAR AI 主席，還曾是 2016 年 Facebook 機器學習研究生獎學金獲得者。

Cem Anil（在讀博士生）

Cem Anil 是多倫多大學和 Vector Institute 的在讀博士生，接受 Hinton 和 Roger Grosse（副教授）的指導。他還是 Anthropic 對齊科學團隊的成員。他的工作涉及深度學習和 AI 安全，並對大語言模型的穩健性和泛化性模式感興趣。他同時致力於推導 Scaling law 來預測潛在危險能力的發展。

參考鏈接：https://www.cs.toronto.edu/~hinton/gradstuphd.html