|
前言 幾年前，那些能夠感知環(huán)境、探測重要細節(jié)（忽視其它部分）且使用這些細節(jié)來完成任務的技術(shù)應用似乎只存在于科幻小說里。然而在2020年，我們看到不少技術(shù)的突飛猛進不僅上了頭條新聞，也成為我們?nèi)粘Ｉ畹慕M成部分：智能語音助手能夠解讀并對人類語音的細微差別作出回應；相較于醫(yī)生使用的影像檢測，醫(yī)療應用能夠更準確地預測癌癥；無人駕駛車輛甚至能夠在動態(tài)環(huán)境中行駛。 三類機器學習之一的強化學習，正在驅(qū)動這些技術(shù)進步。一般原則促使計算機通過識別其所在環(huán)境的關(guān)鍵特性來作出最佳決定，而這項技能直到最近才成為可能。強化學習（RL)、人工神經(jīng)網(wǎng)絡（ANN) 和深度學習（DL) 既展示了人工智能應用全新的潛力, 也體現(xiàn)了其達到人類水平的難度。 機器學習的方法 機器學習是人工智能的一個子集，它促使計算機從實例和經(jīng)驗中學習。在機器學習的三個種類（圖表 1 - 上方）中，針對在相對容易預測的環(huán)境中解決明確界定的問題，監(jiān)督學習和無監(jiān)督學習或許是最廣為人知的方式。 
圖表 1：機器學習的種類包括監(jiān)督學習、無監(jiān)督學習和強化學習。強化學習的子類包括特征學習、人工神經(jīng)網(wǎng)絡和深度學習。強化學習的子類包括特征學習、人工神經(jīng)網(wǎng)絡和深度學習。 監(jiān)督學習方法 (SL) 用來解決有標記輸入數(shù)據(jù)的問題。監(jiān)督學習算法嘗試通過對這些已知實例模式和關(guān)聯(lián)的學習，對未知實例進行正確處理。一個經(jīng)典的例子就是圖像識別。附加人工注解的圖像被用來分析訓練模型數(shù)據(jù)，從而準確分類新捕捉的圖像。 無監(jiān)督學習方法 (UL) 在無標記的數(shù)據(jù)集中推斷隱藏的結(jié)構(gòu)或關(guān)系。一般來說這樣的學習方法不用過多的事先準備工作，而更具描繪性和解釋性的特征。它通常用來為受監(jiān)督的方法做鋪墊。常見的例子是在交易數(shù)據(jù)中識別不同的客戶群，以便稍后規(guī)劃并開展有針對性的營銷活動。 機器學習的第三個方法是強化學習 (RL)。這也是目前在頭條新聞中大家看到的最復雜且類似于人的應用。深度學習是一種能夠通過獎勵和懲罰評估個體行動及加權(quán)輸入變量的機器學習，目的是在此基礎(chǔ)上規(guī)劃未來行動。RL努力最大化獎勵, 最小化懲罰, 并沒有被明確告知如何解決問題。它并非僅限于解決特定的問題或限制特別的環(huán)境，而是聚焦于那些能夠基于來自動態(tài)環(huán)境中的復雜數(shù)據(jù)選擇最優(yōu)決策的機器。 強化學習 強化學習的基本理念是以接近人類（或任何足夠聰明的生物）處理的方式模型化學習，即用已具備的技能和工具試圖達成一個特定的目標（和獎勵相關(guān)），但無清晰的指令如何解決問題。舉個簡單的例子：機器人可以把手張開和握緊來把球放進盒子里。要想做到這一點，它必須學習如何抓住球，把手臂移動到合適的位置，再讓球落下。這項訓練需要多次迭代和重啟實驗；機器人獲得的唯一反饋是它的行為是否成功，從而調(diào)試動作直到目標達成。 這和監(jiān)督學習形成了鮮明的對比， 因為SL需要很多的例子（比如一組龐大且多樣的貓的已標記圖像）來以多種維度描述問題本身。只有這樣，算法才能學習到底哪些特征 （比如形狀或顏色）和最佳決定的作出有關(guān)�；氐街八e的機器人例子，同樣，它需要準確且謹慎地描述過程的每一個步驟， 比如把手放到哪兒，施加多少壓力等等。對于低變量的實例來說，做到這種程度的細節(jié)是可能的，但如果變量有差，就必須重新學習。球稍大點，機器人就可能犯錯。 在現(xiàn)實應用里，輸入、輸出和訓練數(shù)據(jù)的方程式出人意料的復雜。例如，無人駕駛車輛要處理大量幾乎實時的傳感器數(shù)據(jù)。錯過任何一個環(huán)境的細微差別都會造成不可想象的后果，因此風險很大。這就是為什么當創(chuàng)造訓練實例或指令在某一個環(huán)境中難以負擔或不可能時，強化學習是在這種背景下作決策的首選工具。 強化學習的子類型 和其它的機器學習方法一樣，強化學習有不同的子類型為未來鋪平道路（圖表 1 - 下方）。尤其是特征學習 (FL) 讓系統(tǒng)能夠識別輸入數(shù)據(jù)的不同細節(jié)。人工神經(jīng)網(wǎng)絡 (ANN) 和深度學習 (DL) 為高級解析、處理和學習提供了必要的框架，并使深度強化學習 (DRL) 得以實現(xiàn)。 特征學習 特征學習（也被稱為表示學習）是一種機器學習技術(shù)，讓機器能夠識別輸入數(shù)據(jù)的特征和獨立組成部分，而這些信息通常無法在算法中體現(xiàn)。比如，在一輛無人駕駛汽車里，環(huán)境是由不同的攝像頭、雷達和傳感器所感知的。即使有眾多信息幫助你決定下一步怎么走，相關(guān)的信息其實少之又少。比如，天空的顏色通常無關(guān)緊要，而紅綠燈的顏色則息息相關(guān)。 一只鳥飛過的速度和一個路人走到路邊的速度都無關(guān)痛癢。 具有體現(xiàn)這種程度的輸入功能的能力究竟為何如此重要？ 用于訓練目的的數(shù)據(jù)集在模型的準確性上扮演著關(guān)鍵的角色：訓練數(shù)據(jù)越多越好，尤其是數(shù)據(jù)集里具備差異性大且特征清晰的實例。也就是說，正是那些輸入數(shù)據(jù)中獨一無二的獨立特征幫助計算機彌補已學和未學內(nèi)容之間的差距，從而在任何情境下保證百分之百的準確性和連貫性。對差異因素的識別能力也有助于避免可能被忽視的特征和異常點, 因為隨著時間的推移，這將大幅減少數(shù)據(jù)的數(shù)量。 人工神經(jīng)網(wǎng)絡和深度學習 變數(shù)大的應用需要一個穩(wěn)健且可擴展的框架。尤其在監(jiān)督學習領(lǐng)域，受到高度關(guān)注的一種學習方法要數(shù)深度學習了。與強化學習的原則相結(jié)合，我們稱之為深度強化學習。 人工神經(jīng)網(wǎng)絡 (Artificial Neural Networks, ANN) 的最初設(shè)想要追溯到上世紀六十年代，籠統(tǒng)地建立在類似于網(wǎng)絡的人類大腦神經(jīng)結(jié)構(gòu)的基礎(chǔ)之上。ANN由一個龐大的人類神經(jīng)原網(wǎng)絡所組成，這些神經(jīng)原叫做感知器，能夠接受輸入信號，權(quán)衡輸入的不同特征，然后將信號導入網(wǎng)絡中，直到抵達輸出信號端。 網(wǎng)絡的屬性由神經(jīng)原的數(shù)量、其連接的強度和數(shù)量及激活上限來定義。輸入信號必須具有此強度才能被傳送。ANN擁有包含多種輸入層和輸出層的可升級結(jié)構(gòu)，使用中間“隱藏"層把輸入轉(zhuǎn)化成輸出層可使用的內(nèi)容。深度學習的專用名詞正是來自于由大量接連層級的神經(jīng)原網(wǎng)絡，因此是“深度的”。 為什么它被視為在復雜的輸入數(shù)據(jù)和動態(tài)的環(huán)境中創(chuàng)造最佳答案的最合適方法呢？答案就在它的學習方式：反向傳播。對于任何已給的訓練信號，比如描述向量坐標或一張圖像的顏色值，網(wǎng)絡會先檢查已生成的輸出正確與否，然后對權(quán)重稍作調(diào)整以實現(xiàn)想要的結(jié)果。經(jīng)過足夠的訓練迭代，網(wǎng)絡不僅穩(wěn)定性增加，而且能夠識別之前未知的情況。 人工神經(jīng)網(wǎng)絡、深度學習和強化學習的局限性 由于人工神經(jīng)網(wǎng)絡和深度學習有能力體現(xiàn)特征并在動態(tài)環(huán)境中得出最佳答案，因此他們的潛力不可估量。即便如此，它們的技能卻指向更多的挑戰(zhàn)，也呈現(xiàn)出與模仿人類智慧中的某些方面仍然存在的差距。 需要百萬千萬個節(jié)點、連接和訓練迭代 模塊化相關(guān)問題要求人工神經(jīng)網(wǎng)絡具備足夠數(shù)量的節(jié)點和連接來處理（分析和存儲）百萬千萬計的變量�，F(xiàn)代計算機直到最近才能夠做到這一點。同樣，訓練環(huán)路的數(shù)量可多達十億百億，且隨著環(huán)境變量的大小呈指數(shù)增長。強化學習的首次重大突破出現(xiàn)在像圍棋這樣的游戲中并非偶然，一個叫做阿爾法的圍棋機器人（AlphaGo）擊敗了人類最棒的職業(yè)圍棋選手：游戲的規(guī)則和目標非常明確，因此很容易讓人工智能通過和自己對戰(zhàn)快速模擬多輪游戲。下一步革命性的突破要數(shù)超級瑪麗或星際爭霸這樣的電子游戲。雖然行動和結(jié)果之間的關(guān)系更加復雜，但環(huán)境的局限性讓快速模擬多次迭代成為可能。 像無人駕駛這樣的現(xiàn)實問題的屬性則完全不同。制定安全到達目的地的這類高級任務本身難度并不高。然而環(huán)境的多樣性要求模擬必須更加成熟，才能更有效地學習實際問題。歸根結(jié)底，模擬駕駛最終還必須被現(xiàn)實駕駛所替代，以通盤考慮到所有其它無法被模塊化的因素，同時在與人類水平相當?shù)鸟{駛表現(xiàn)目標實現(xiàn)以前，密切監(jiān)控必不可少。舉例來說，2020年，自動駕駛汽車研發(fā)公司W(wǎng)aymo在一份新聞發(fā)布稿中提到，它們的汽車要想和人類一爭高下，還需要累計一千四百年的駕駛經(jīng)驗。這和我們只花幾周時間練習就能上路相比簡直不可想象。那么為何強化學習無法做到這一點呢？還是這并非不可能……？ 與抽象和推理相關(guān)的技能 人類能夠快速學習如何玩游戲或開車的一個重要原因是，我們通過抽象化和推理來學習。通過這種學習方式，駕駛員能夠以不同的角度或在不同的情境下想象紅綠燈是什么樣子，這依賴于人類與生俱來的空間意識。我們也可以在路上看見并判斷與以往看到的顏色不同的汽車，從觀察和經(jīng)驗中得出結(jié)論。 而這些功能直到最近才在人工神經(jīng)網(wǎng)絡中得以探索。即便不同的網(wǎng)絡層級能夠捕捉輸入數(shù)據(jù)的不同維度，例如 形狀和顏色，網(wǎng)絡還是只能處理那些訓練數(shù)據(jù)里明確容納的特征。假設(shè)人工智能的受訓時間是白天，那么模型將很難應付夜晚的各種情況。即使應用深度學習，在訓練數(shù)據(jù)中還是應該考慮到諸如此類的差異，那么來自訓練數(shù)據(jù)中可接受的偏差程度仍然非常低。 目前我們正在探索很多不同的通過抽象和推斷進行學習的技術(shù)，而這些技術(shù)甚至顯露了更多的挑戰(zhàn)性和局限性。人工神經(jīng)網(wǎng)絡失誤的一個著名例子是，有一種計算機視覺系統(tǒng)能夠識別西伯利亞哈士奇犬，而且可信度相較于對于其它犬類的辨識高出很多。實際上，更仔細的分析表明，網(wǎng)絡僅鎖定了幾乎所有哈士奇圖像中出現(xiàn)的雪，而幾乎忽視了狗本身。換句話說，模型并沒有認知地面顏色并非狗的先天特征之一，而這一細節(jié)對人類來說卻是微不足道的。 雖然這個例子稍顯牽強，但現(xiàn)實生活中的后果可能會是可怕的。我們不妨再次以無人駕駛車輛為例，雖然事故很少發(fā)生，但卻可追根溯源到情境的模糊性。2018年的一場車禍中，推著一輛自行車穿過四車道高速的路人喪生。人類駕駛員可能很容易地避免事故的發(fā)生，而人工神經(jīng)網(wǎng)絡的失誤卻導致了致命的車禍。由于當時的情況并沒有出現(xiàn)在很多小時的訓練中，網(wǎng)絡并沒有執(zhí)行以“如果你不知道該怎么做，就停車！”為命令的故障切換。因此系統(tǒng)開始陣腳大亂，原因是它實際上缺乏人類智慧的基石。 更糟的是，不懷好意的人可能會鉆人工智能盲點的空子。舉例來說，如果有人在訓練過程中插入經(jīng)操縱的圖像，那么圖像分類就會被誤導。如果說圖像中細小的變更對人類來說微乎其微，同樣的變更在ANN中則可能以不同的方式被認知和解讀。一個未加注解貼紙的停字牌可能被錯誤地認為其它交通標志。如果這一受訓模型被用在一輛真正的車里，那可能會造成交通事故。 反之，人類駕駛員肯定會毫無問題地認出停字牌。 跨越障礙和局限 這些障礙和其它的局限令我們不禁產(chǎn)生疑問，下一步該怎么走才能驅(qū)使人工神經(jīng)網(wǎng)絡繼續(xù)在作出最佳決策上彌補不足？ 簡單的答案是：“更多的訓練”。倘若訓練數(shù)據(jù)的差異性和質(zhì)量夠高，失誤率就能縮小到模型的準確率是可接受的程度。事實上現(xiàn)今的自動駕駛汽車事故率比人類駕駛員要低，但“令人驚恐失色的事故”的潛在性還是阻礙了其被更為廣泛的公眾所接受。 另一個系統(tǒng)性方法是對所需的背景知識進行明確編碼，并在機器學習過程中可用。比如，由Cycorp創(chuàng)造的知識庫已經(jīng)存在了很多年，涵蓋了數(shù)百萬的概念和關(guān)系，也包括了我們之前所說的停字牌的意義。目的是對人類知識以機器可讀的格式進行人工編碼，從而使人工智能不僅僅依賴于訓練數(shù)據(jù)，還能夠自行作出結(jié)論, 且至少以類似人類直覺的方式評估部分未知的情況。 總結(jié) 能夠感知環(huán)境、認知關(guān)鍵的細節(jié)并優(yōu)化決策的技術(shù)已經(jīng)不只存在于科幻小說中。機器學習三種類型之—的強化學習，為我們處理高維變量且與動態(tài)環(huán)境交互提供了工具和框架。然而，這些解決方案也帶來了新的挑戰(zhàn)，尤其是對于大量神經(jīng)網(wǎng)絡、全面培訓和通過抽象化處理及推導從而模仿人類學習能力的需要，從而適應新情況。雖然目前人工智能已經(jīng)取得了長足進展，也日益成為許多實際應用中不可或缺的一部分, 但是離達到人類水平的學習技能還相去甚遠。經(jīng)歷并體驗中間的過程可能比科幻小說本身更有意思。 文章來源：貿(mào)澤電子 作者簡介：Michael Matuschek是一位資深數(shù)據(jù)專家，來自德國杜塞爾多夫， 擁有計算機科學碩士學位和計算語言學博士學位， 曾從事過多個行業(yè)的各種自然語言處理項目和學術(shù)界的工作， 涵蓋的主題包括評論的情感分析、客戶電子郵件分類和本體富集。 |
