Pomerleau手握一輛經過特別改裝的悍馬軍車的方向盤在城市中行駛。當時，他是美國卡內基·梅隆大學機器人專業的研究生。而與他同行的是一臺經過其編程的計算機，后者能通過攝像機查看路況，解讀交通狀況，并記下Pomerleau對各種狀況的應對方式。Pomerleau希望這臺機器最終能自己掌握方向盤。
在每次行程中，Pomerleau都會先對系統做幾分鐘訓練，然后讓它自行駕駛。一切似乎都進展順利，直到有一天，悍馬在一座橋頭突然偏向一側。他敏捷地抓住了方向盤，避免了一場事故。
回到實驗室，Pomerleau試圖弄清電腦哪里出錯了。“我論文的部分內容就是打開黑匣子，搞清楚電腦在想什么。”他解釋道。但該怎么做？他將計算機功能編程為“神經網絡”—— 一種以大腦為原型的人工智能（AI），它有望比常規算法更適合應對復雜的現實情況。
不幸的是，神經網絡和大腦一樣是不透明的。它也沒有將學到的東西條理清晰地儲存在數字記憶中，而是以一種極難解的方式散布信息。在全面測試了軟件對各種視覺刺激的反應后，Pomerleau才發現了問題：他的“神經網絡”一直在使用長草的路沿作為道路方向的指示，因而被橋的出現所迷惑。
打開黑匣子
25年后，破解黑匣子的難度呈指數上升。但該AI技術本身的復雜性和應用范圍也經歷了爆炸式增長。現在，Pomerleau在卡內基·梅隆大學兼職教授機器人學，他說，比起今天計算機上的巨型神經網絡，他的系統只能算是個簡陋的低配版。用海量數據訓練AI深度學習的技術也已投入各種商業應用，從自動駕駛汽車到根據用戶的瀏覽歷史推薦商品的網站，都能見到它的身影。
該技術還有望在科研中大顯身手。未來的射電天文臺也需要深度學習，尋找值得探測的信號，否則將無法處理海量信息；引力波探測器需要用它理解和排除最微弱的噪聲源；出版商將會用它檢索和標記數以百萬計的研究論文和書籍。
一些研究者認為，能進行深度學習的計算機最終或能表現出想象力和創造力。“把數據交給機器，它便會推理出自然法則。”加州理工學院物理學家Jean-Roch Vlimant說。
但這些進展只會讓黑匣子問題顯得更突出。例如，這些機器如何找到有價值的信號？人們怎樣才能確定機器是對的？人們對深度學習的信任應到什么程度？
“在這些算法面前，我覺得我們正在丟失陣地。”哥倫比亞大學機器人專家Hod Lipson表示。他把這比作外星生物，它們不只看到紅、綠、藍三原色，還有第四種顏色，要想讓人類理解它們看世界的方式，或是讓外星人向人們解釋其方式都非常困難。計算機向人們解釋問題也面臨類似困難。“在某種程度上，這就像給狗解釋莎士比亞的作品一樣”。
面對這些挑戰，AI研究者采取了和Pomerleau一樣的應對方式——打開黑匣子，用相當于神經科學研究的方式理解其中的網絡。但歐洲核子研究中心（CERN）物理學家Vincenzo Innocente表示，答案無法讓人豁然開朗。Innocente是在粒子物理學領域應用人工智能的先鋒，他提到，“作為科學家，我對僅僅將小貓和小狗區分開來是不滿意的，科學家會希望能說出區別到底在哪里”。
卷起袖子做硬科學
歷史上第一個人工神經網絡出現在上世紀50年代初，幾乎與有能力執行算法的計算機同時產生。人工神經網絡的思路是模擬排列成不同層次的小計算單元（也就是“神經元”）與大量數字“突觸”相連。底層的單元會收集外部數據，然后將信息傳遞給下一層次的單元。這些單元隨后會根據簡單數學法則整合輸入的數據，然后將結果向上傳遞。頂層最終會給出答案，比如判斷圖形到底是貓還是狗。
這類網絡的優勢在于其學習能力。有了附帶正確答案的訓練數據集，該網絡便能調整每層連接的強度進而提升其表現，直到頂層的輸出結果也是正確的。這一過程模擬了大腦通過強化或弱化突觸學習的過程，最終得到能成功歸類非訓練集數據的網絡。
但這種學習方式也是網絡中信息分散的原因：就像人腦，記憶是在許多連接中編碼的，而非儲存在固定位置。“你手機號的第一位存在大腦的哪里？也許是在一堆突觸中，也許離存儲號碼其他數字的地方不遠。”加州大學歐文分校機器學習專家Pierre Baldi說。
對需要在各自學科中處理大數據的科學家而言，這使得深度學習成了一種需謹慎使用的工具。為了理解原因，英國牛津大學計算機學家Andrea Vedaldi讓人們想象這樣的情景：在不久的將來，人們用乳房X光片訓練深度學習網絡。經過訓練后，一位外表健康女性的乳腺組織在機器“看來”或許已經有了患癌的跡象。“該網絡或許暗中學會了辨認標志物能預測癌癥。”他說。
但如果機器無法解釋它是怎么知道的，Vedaldi說，就會給醫生和病人帶來嚴重困擾。對女性來說，因為會顯著提升乳腺癌風險的遺傳變異而選擇乳房切除術已經夠難了，但如果連風險因素是什么都不知道，做這樣的選擇就更困難了。
2012年，一些團隊開始研究這類黑匣子問題。加拿大多倫多大學機器學習專家Geoffrey Hinton領導團隊參加了一場計算機視覺競賽，他們首次表明，從含有120萬張圖像的數據庫中分類照片，深度學習法強于任何其他AI方法。
為了探索這一點是如何實現的，Vedaldi團隊反向運行了Hinton的算法，使用了事先經過訓練的網絡，試圖重建產生這些解讀的圖像。這有助于研究者識別出機器是如何表現不同特征的。這就好像是在詢問檢測癌癥的網絡：“你認為這張乳房X光片上的哪個部分是癌癥風險的標志物？”
不過2014年，懷俄明大學計算機科學家Jeff Clune團隊使用了能放大所有神經元而不僅僅是頂層神經元反應的方法，并發現黑匣子問題可能比人們之前所想的更為嚴重：神經網絡很容易被在人類看來是隨機噪聲的圖像，或是抽象的幾何圖形愚弄。
研究者提出了一些方法解決愚弄問題，但目前還沒有找到通用方法。在現實生活中，這很可能潛藏著危險。Clune說，尤為令人恐慌的是，黑客也能學會利用這些漏洞，他們可以讓自動駕駛汽車認為廣告牌是公路而一頭撞上去。“我們得卷起袖子做硬科學研究，讓機器學習更強大、更智能。”Clune總結道。
放開雙手
去年，英國劍橋大學機器學習研究者Zoubin Ghahramani發表了一種能將數據科學家工作自動化的算法——從檢查原始數據到寫論文都能完成。該軟件名叫自動統計學家，能發現數據集中的趨勢和異常，呈現結論，其中還包括對推論方式的詳細解釋。Ghahramani提到，這樣的透明度對科學應用來說至關重要，對許多商業應用也很重要。
但黑匣子也會引發擔憂。大數據公司Arundo Analytics的數據科學主管Ellie Dobson表示，許多機構都有類似的關注。例如，如果調整英國利率造成了不好的后果，“英格蘭銀行總不能說，‘是黑匣子讓我這么干的’。”她說。
計算機科學家認為，盡管存在種種擔憂，但開發透明AI應被視為深度學習方法的補充，而不是替代。他們表示，一些透明方法或許適用于已經被描述為一系列抽象事實的問題，但并不適用于感知，也就是從原始數據中提取事實。
無論如何，這些研究人員指出，機器學習給出的復雜答案是必不可少的科學工具，因為真實世界就是非常復雜的。例如，對天氣或是股票市場來說，綜合、簡化的描述可能并不存在。“有一些事情是無法用語言描述的。”巴黎綜合理工學院應用數學家Stéphane Mallat說，“如果你問醫生是如何做診斷的，醫生會告訴你一些理由，但人們為什么要用20年才能成為優秀的醫生呢？因為信息不僅僅在書本中。”
Baldi認為，科學家應該擁抱深度學習技術，而不必太介意黑匣子問題。畢竟，所有人的腦袋里都有一個黑匣子。“人們一直在使用大腦，也始終相信大腦，但并不知道它是怎么工作的”。
浙公網安備: 33028102000314號