特斯拉「行為克隆」技術曝光：無需寫代碼，做到全自動駕駛？

　　新智元報導

　　編輯：張乾、大明

　　【新智元導讀】特斯拉最近曝光「行為克隆」技術，系統研究人類在各種場景中的駕駛動作並加以模仿。巧合的是，自動駕駛第一大廠Waymo不久前也在公布了模仿學習中的技術細節。模仿學習會成為全自動駕駛的一條捷徑嗎？

　　全自動駕駛的「捷徑」來了？

　　知情人士表示，特斯拉汽車收集了大量的來自錄影頭和其他傳感器的數據，即使Autopilot系統沒有開啟，開發團隊也可以研究傳統的人類在各種場景中的駕駛動作並加以模仿。

　　這種技術被稱為「行為克隆」，實際上是一種模仿學習（imitation learning）。

　　系統使用模仿的信息作為車輛在特定情況下決定駕駛方式，比如，行駛彎道或避開前方目標等。

　　無獨有偶，為了模仿專家駕駛，自動駕駛大廠Waymo不久前也創建了一個名為ChauffeurNet的深度RNN，該網路通過觀察場景的中層表示作為輸入，訓練它發出駕駛軌跡，最終的結果能超越純粹的模仿。

　　此外值得注意的是，上周AlphaStar戰勝人類選手之，就涉及到模仿學習。AlphaStar只通過觀察人類如何玩遊戲，就能模仿學習策略，最後將信息用於訓練各種智能體。

　　現在，自動駕駛界的兩只領頭羊都在嘗試做模仿學習，這會成為全自動駕駛的一條捷徑嗎？

　　特斯拉行為克隆：未來人們不需要寫代碼了

　　特斯拉的自動駕駛系統Autopilot的核心功能與其他半自動駕駛系統和全自動駕駛系統類似：在Autopilot可以運行之前，特斯拉從汽車的傳感器（如前置錄影頭）收集數據。

　　之後公司雇人對圖像中的汽車和其他物體進行數字標記，然後將一些圖像輸入神經網路計算系統，該系統會對其他車輛及其行進方式進行模式識別，並且隨著時間的推移提高車速。

　　通過神經網路提供足夠的真人駕駛數據，網路就可以學習如何在大多數情況下直接預測正確的轉向、制動和加速行為。

　　但特斯拉不同的地方在於，「行為克隆」讓Autopilot開發團隊也可以研究傳統的人類駕駛在各種場景中的動作，從而加以模仿。

　　這樣做的結果是，你不需要任何其他東西來教系統如何自主駕駛，在未來，人們不需要編寫代碼來告訴汽車在遇到特定情況時該怎麼做，因為汽車自會知道該怎麼做。

　　這個概念被特斯拉的一些工程師稱為「軟件2.0」。

　　深度理解模仿學習：未來或能交叉預測其他智能體的反應

　　「軟件2.0」可能是一種產品概念，「行為克隆」的背後是技（學）術概念——模仿學習。

　　目前，特斯拉對於模仿學習的詳細介紹資料比較少，但是Waymo去年11月發的一篇論文，可以窺見模仿學習的部分技術原理。

　　Waymo創建的ChauffeurNet的深度遞歸神經網路（RNN），通過觀察場景的中級表示作為輸入來訓練該網路生成駕駛路線的軌跡。中級表示不直接使用來自傳感器的原始數據，從而可以將感知任務分解出來，能夠將真實數據和模擬數據相結合，更容易地進行遷移學習。

　　如下圖所示，輸入表示包括一個自上而下（鳥瞰）環境視圖，其中包括地圖、周圍物體、交通信號燈狀態、車輛過往的運動等信息。該網路還能夠給出Google地圖風格的路線，引導車輛前往目的地。

　　為駕駛模型渲染輸入和輸出。上排從左至右：路線圖、紅綠燈，限速和路線。下排從左至右：當前智能體框、動態框、過往智能體姿勢，未來智能體姿勢輸出。

　　ChauffeurNet在每次迭代期間會沿著未來的駕駛軌跡輸出一個點，同時將預測點寫入在下一次迭代期間使用的存儲器中。從這個意義上講，這個RNN並不是傳統式的，因為存儲模型是定制化的。

　　接著，ChauffeurNet將由十個未來的點組成的軌跡輸出到一個低級控制器，該控制器將這個軌跡轉換為對車輛的控制命令，比如轉向和加速，來驅動汽車。

　　此外，Waymo還採用了一個單獨的「感知RNN」頭，能夠迭代式地預測環境中其他移動物體的未來軌跡，並且這個網路與預測車輛駕駛的RNN共享特徵。

　　ChauffeurNet內部分為兩個部分，FeatureNet和AgentRNN。 AgentRNN使用過去智能體姿勢的渲染圖像、由渲染輸入的卷積網路「FeatureNet」計算出的一組特徵、具有最後一個智能體框渲染的圖像，以及具有預測渲染的顯式存儲器，來預測下一個智能體姿勢和自上而下視圖中的下一個智能體框。這些預測用於更新AgentRNN的輸入，以預測下一個時間步長。

　　未來的一種可能是，車輛可以在選擇自己的駕駛軌跡的同時，更深入地交叉預測其他智能體的反應過程。

　　模仿學習是「捷徑」還是「普通路徑」？

　　「行為克隆」也好，「軟件2.0也好」，利用神經網路編寫代碼來自動駕駛，從而取代人類編寫的代碼，看上去可能是未來全自動駕駛的捷徑之一。

　　不過，特斯拉「行為克隆」的也有其局限性：這種方法不能教Autopilot系統處理無法輕易預測的危險情景。比如，老司機看到飄在前方的塑膠袋時不會轉向，但自動駕駛系統可能就會。

　　這也是自動駕駛存在的識別訓練數據相關性問題，它不能通過純粹觀察相關性來構建因果模型，並且無法在模擬中主動測試反事實。

　　另外，傳統方法做到完全自動駕駛系統，需要能夠處理現實世界中發生的長尾事件。

　　長尾事件的解決需要深度學習訓練盡可能多的數據，但現實情況往往是缺少有效訓練數據。

　　一位長期從事自動駕駛的業內人士告訴新智元，「行為克隆」是快速收集大量數據的捷徑，但網路傳輸速度和計算量都太大了。「至於是不是做到無人駕駛的捷徑，要看能不能搞出真正能用的系統。」

　　馭勢科技CEO吳甘沙告訴新智元，模仿學習的主要局限是數據的可獲得性和有效性，比如影子模式可能解決了可獲得性，但也包括了不值得提倡的司機行為。另一方面，它還是端到端的，在可解釋性上才剛剛有些進展。同時，因為是端到端，比較難在中間過程中接受其他的信息或指令。

　　吳甘沙認為，模仿學習「肯定是路徑之一，或者是決策的一個來源，但目前來看還不能作為唯一決策方法。」

　　One more thing： 特斯拉AI晶片專利曝光

　　據Hot Hardware報導，特斯拉向美國專利商標局提交的專利中提到，傳統處理器可以快速執行單個數學運算，但它有一個限制：這樣的處理器一次只能處理少量數據。

　　雖然GPU可以使用更大的數據集執行多個任務，但它們最初並不是為機器學習和AI開發的。

　　特斯拉的AI晶片專利內容如下：

　　「用於機器學習和人工智能的處理通常需要對大量數據集執行數學運算，並且通常涉及求解多個卷積層和匯集層。」

　　為了解決這個問題，特斯拉必須開發一種新的神經AI，可以進行「機器學習和人工智能特定的處理操作」。

　　因此，特斯拉提交了一些專利：

　　加速的數學引擎

　　具有可變延遲存儲器訪問的計算陣列微處理器系統

　　使用非連續數據格式的計算陣列微處理器系統

　　矢量計算單位。

　　目前，Autopilot 2.0的計算機組件由英偉達GPU提供支持。

　　同時，即將推出的升級版本將取代特斯拉目前使用的Autopilot 2.0平台，使用AI晶片的Autopilot 3.0能夠在汽車中做到全自動駕駛功能。

　　參考資料：

　　https://medium.com/waymo/learning-to-drive-beyond-pure-imitation-465499f8bcb2

　　https://www.theinformation.com/articles/what-makes-teslas-autopilot-different

　　https://www.reddit.com/r/MachineLearning/comments/aklwv8/n_report_tesla_is_using_behavior_cloning_ie/

　　更多閱讀：

　　孫劍出任院長！西交大成立人工智能學院，本科必修課表曝光

　　Science封面里程碑研究！奈米級成像，人類終於看清大腦每個神經元

　　剛剛，任正非回應一切：對今天的困難，華為已備戰十幾年！

　　【加入社群】