AI黑箱怎麼破？神經網絡算法使機器學習透明化

編者按：人們可以訓練人工智能 （AI）和機器人完成任務，但整個過程在黑箱中運作。我們並不知道AI和機器人是如何決策的。一家名爲OptimizingMind的初創公司想要解決這個問題。這篇文章將講述該公司對建立透明 AI 決策過程的願景和大膽嘗試。本文發表於 TechRepublic，作者 Hope Reese，原標題《 Transparent machine learning: How to create 'clear-box' AI》。未經許可，不得轉載。

AI 領域的下一個大事件並不是教會 AI 完成某項任務，而是讓機器向人們解釋爲什麼它們做出了某項決策。比方說，一個機器人決定走一條特定路線去倉庫，又比如，一輛無人駕駛汽車決定向左或向右轉。我們怎麼知道 AI 爲什麼做出這些決定？

卡內基梅隆大學計算機科學教授 Manuela Veloso 是研究協作機器人的專家。他表示，能解釋自身行爲的 AI 對贏得大衆對人工智能的信任至關重要。“我們需要質疑爲什麼算法程序會做出這樣那樣的決定，如果我們不在 AI 動機解釋上花功夫，就無法信任這個智能系統。”

爲解決該問題， 創業公司 OptimizingMind 發明了一項能觀察智能機器決策過程的技術。

這個算法的目的是創造 “透明訪問”系統，以呈現機器學習是如何做出預期（expectations）的。OptimizingMind 的負責人 Tsvi Achler 說：

“該系統以人腦的神經模型爲基礎，能把任何深度網絡 （deep networks）轉化爲該系統的模式。它的目的是探索 AI 行爲的潛在預期 （underlying expectations），並且找出 AI 思維模式的哪個方面對決策影響最大”。

有着神經科學、醫藥和計算機科學多重學科背景的 Achler 認爲，我們能從人腦如何作出和解釋決策中學習到很多（應用到 AI 的知識）。

“我感興趣的是，大腦和計算機的共同點在哪裡？爲什麼人腦可以在學會任何模型之後把它解釋出來。如果我說 ‘章魚’，你是否能告訴我那是什麼？如果我問章魚觸手長什麼樣，你能告訴我嗎？”

人能做到，AI 爲什麼不行？

他說，當人類觀察到一個新模式（或規律）的時候，會立刻學會那個模式。這對 AI 暫時還不可能。 AI 的學習方法被稱爲批量學習。如果你想要對 AI 加入一個新模式或者新註解，你必須從頭開始把所有的新舊模式重新教一遍。

Achler 開發的算法呈現出神經科學裡的 “爆裂” 現象。當人觀察到一個新模式時，多個神經元被同時激發，然後它們沉寂下來。當你向某人展示一個模式的時候，下一瞬間會發生神經興奮，之後逐漸地平靜下來。在這個算法裡你會看到同樣的事情。

實際上，這種研究方式是對傳統機器學習進行了重新思考，Achler 認爲該過程就像深度學習、感知器、支持向量機（SVM） 、 卷積神經網絡（CNN）、遞歸神經網絡（RNN）、反向傳播等研究一樣。研究者們並沒有打算解決即時學習這一難題。 “這項技術的目的非常明確，那就是嘗試解釋 AI 是怎樣思考的。沒有人想過如何讓系統變得更靈活或是更具可信度，而它的整體目標是讓 AI 決策更容易被訪問。”

OptimizingMind 是一種以人腦運行方式爲基礎的算法，旨在使開發者能“觀察到系統內部，理解它們（AI 系統）在幹什麼，並且很方便地編輯它們，而無需從頭開始訓練”。這能讓機器學習“一步到位”，而神經網絡馬上就能學會。舉例來說，人們能告訴 Siri 某一個詞的定義，然後它會被存儲起來。今天神經網絡還達不到這一點，它們需要用無數案例不斷訓練學習。

所以 “透明訪問”系統是什麼意思呢？根據  Achler 的說法， 這個系統提供了一種實時觀察 AI 決策的方法。 它可以訪問權重、特點和節點，提供能讀取這些信息的靈活性，並且能改寫它們。最終，這個系統能讓我們理解神經網絡是怎麼做出一個決策的。這個工具能幫助工程師們大幅減少機器開發的時間，幫企業節省資源。

此外 Achler 還表示，在提供透明度之外，這個算法還可以被修改。不但預期（expectations）能被表達出來，每個單獨預期還能隨着新信息立刻改變。

今天，大多數機器學習的方法使用一個正反饋（feedforward）技術。風險投資公司 Naiss.io 的聯合創始人 Ed Fernandez 說，正反饋使用優化過的權重執行任務。在正反饋系統裡，獨特性信息（ uniqueness information）依據訓練中出現的頻率被錄入權重。這意味着整套訓練中的權重必須經過優化。這又意味着 OptimizingMind 可以“根據正在被識別的模式執行優化”，這不是爲了權重而優化，而是爲了模式識別去優化。

當機器學習與商業更緊密結合，併成爲無人駕駛和其他極其重要科技的基石，理解機器學習中到底發生了什麼就變得至關重要。事實上， DARPA 最近啓動了一項對可解釋 AI （XAI，explainable artificial intelligence） 的投資。

正如 Veloso 教授說的：“我們不能假定 AI 系統完美無缺。”我們必須從 AI 的錯誤中學習。Veloso 表示，“如果某天發生了一起 AI 事故，我們必須避免它再次發生。”

via techrepublic