如何基于深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)一個(gè)端到端的自動(dòng)駕駛模型？如何設(shè)計(jì)一個(gè)基于增強(qiáng)學(xué)習(xí)的自動(dòng)駕駛決策系統(tǒng)？簡述算法設(shè)計(jì)思路。

【問題1】

如何基于深度神經(jīng)網(wǎng)絡(luò)

設(shè)計(jì)一個(gè)端到端的自動(dòng)駕駛模型？

分析與解答

本題屬于開放性設(shè)計(jì)題，回答者需要了解自動(dòng)駕駛模型的基本功能和研發(fā)中涉及到的主要問題，并結(jié)合深度學(xué)習(xí)領(lǐng)域的相關(guān)知識給出設(shè)計(jì)方案。

自動(dòng)駕駛模型是自動(dòng)駕駛系統(tǒng)的重要組成部分，其在功能上試圖模仿人類司機(jī)，通過給定當(dāng)前的車輛狀態(tài)和周圍環(huán)境信息，輸出為對車輛控制信號。傳統(tǒng)的駕駛模型設(shè)計(jì)方法人為地將自動(dòng)駕駛?cè)蝿?wù)分解成車道識別、場景抽象、路徑規(guī)劃和控制決策等多個(gè)子任務(wù)，然后再根據(jù)各個(gè)子任務(wù)的輸出，通過人工定義的規(guī)則來控制汽車的前進(jìn)；而通過建立從輸入信號到輸出信號的端到端模型，可以

無需引入大量的人工規(guī)則來控制汽車的行駛；

使整個(gè)自動(dòng)駕駛系統(tǒng)的結(jié)構(gòu)更加簡單、高效；

使模型自主地學(xué)到人沒有指定的子任務(wù)。

而對于端到端駕駛模型的具體設(shè)計(jì)，這里介紹業(yè)界較有影響力的工作——Nivdia于2016年提出的PilotNet模型以供參考。

PilotNet模型是一個(gè)端到端的深度神經(jīng)網(wǎng)絡(luò)，可以在自動(dòng)駕駛系統(tǒng)中控制車輛前進(jìn)的方向。模型根據(jù)安裝在汽車擋風(fēng)玻璃前的三個(gè)攝像頭采集到的原始圖片，通過深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)出汽車前進(jìn)所需要轉(zhuǎn)動(dòng)的角度。其整體架構(gòu)如 Fig. 2 所示 [3]。

Figure 1:Nivdia端到端的自動(dòng)駕駛系統(tǒng)

PilotNet是一個(gè)9層神經(jīng)網(wǎng)絡(luò)，由1個(gè)歸一化層(Normalization Layer)、5個(gè)卷積層(Convolutional Layer)和3個(gè)全連接層(Fully Connected Layer)組成，如 fig. 3 [4] 所示。模型的輸入為映射到Y(jié)UV平面的原始輸入圖像，輸出為車輛前進(jìn)需要偏轉(zhuǎn)的方向。網(wǎng)絡(luò)的前三個(gè)卷積層采用5*5的卷積核，后兩個(gè)卷積層采用3*3的卷積核。訓(xùn)練數(shù)據(jù)包含在不同類型道路上(高速公路、住宅區(qū)的街道、鄉(xiāng)間小路等)、不同光線強(qiáng)度、不同天氣條件下的真實(shí)的汽車行駛過程中收集到的視頻采樣圖片。

Figure 2: PilotNet網(wǎng)絡(luò)結(jié)構(gòu)圖

PilotNet在模擬仿真和實(shí)際路測均取得較好的實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)中定義車輛自動(dòng)化程度為評測指標(biāo)，即：

模擬系統(tǒng)中車輛偏離道路中心線超過一米時(shí)會發(fā)生一次人工干預(yù)，并假設(shè)人工干預(yù)平均需要消耗的時(shí)間約為6s/次。PilotNet模型在仿真系統(tǒng)上的評測結(jié)果為90%，路測指標(biāo)可以達(dá)到98%。

【問題2】

如何設(shè)計(jì)一個(gè)基于增強(qiáng)學(xué)習(xí)的自動(dòng)駕駛決策系統(tǒng)？

簡述算法設(shè)計(jì)思路

分析與解答

傳統(tǒng)的自動(dòng)駕駛決策系統(tǒng)多數(shù)采用人工定義的規(guī)則，但是人工定義的規(guī)則不夠全面，容易漏掉一些邊界情況，因而會考慮采用增強(qiáng)學(xué)習(xí)的原理設(shè)計(jì)一個(gè)自動(dòng)駕駛的決策系統(tǒng)，使自動(dòng)駕駛的決策系統(tǒng)能從數(shù)據(jù)中自動(dòng)學(xué)習(xí)并優(yōu)化自身的決策過程。

對于這一問題的解答可以參考Mobileye提出的基于增強(qiáng)學(xué)習(xí)的多智能體決策系統(tǒng) [5] 。自動(dòng)駕駛的決策系統(tǒng)不同于傳統(tǒng)的機(jī)器人決策系統(tǒng)：首先，其屬于多智能體的場景，其他智能體的行為難以預(yù)測，并會對主智能體的行為造成影響；其次，在決策中需要確保策略的安全性，安全地處理意料之外的場景，防止交通事故的發(fā)生。

所以，

Figure 3: 雙向變道決策過程的DAG

擴(kuò)展與總結(jié)

自動(dòng)駕駛系統(tǒng)極其復(fù)雜，本章所涉及的內(nèi)容僅僅涵蓋了其中一部分研發(fā)問題與進(jìn)展。深度學(xué)習(xí)在自動(dòng)駕駛領(lǐng)域的應(yīng)用在圖像識別、場景分割等計(jì)算機(jī)視覺相關(guān)領(lǐng)域中較為廣泛與深入，而在控制、決策方面的應(yīng)用還處在初步的嘗試階段。通過本章的介紹，希望大家能夠初步了解深度學(xué)習(xí)在自動(dòng)駕駛系統(tǒng)中的應(yīng)用現(xiàn)狀與主流應(yīng)用方式，而更深入的學(xué)習(xí)了解則請閱讀相關(guān)參考文獻(xiàn)。