摘要：現(xiàn)代汽車(chē)融合了越來(lái)越多的駕駛輔助功能，其中包括車(chē)道保持功能。該功能可以讓汽車(chē)正確定位在車(chē)道線內(nèi)，這對(duì)于完全自動(dòng)駕駛汽車(chē)中車(chē)道偏離或軌跡規(guī)劃決策有很重要的意義。傳統(tǒng)車(chē)道檢測(cè)方法依賴于高度專業(yè)的手工特征標(biāo)記和后處理啟發(fā)式算法的組合，這些技術(shù)計(jì)算昂貴，并且由于道路現(xiàn)場(chǎng)變化而易于擴(kuò)展。最近有研究利用深度學(xué)習(xí)模型來(lái)進(jìn)行像素級(jí)車(chē)道分割訓(xùn)練，也可以用于圖像由于較大的接收范圍而沒(méi)有標(biāo)記的情況。盡管有其優(yōu)點(diǎn)，但這些方法僅限于檢測(cè)預(yù)和定義固定數(shù)量的車(chē)道，并且不能應(yīng)對(duì)車(chē)道變化。

在本文中，我們超越了上述限制，提出將車(chē)道檢測(cè)問(wèn)題看作一個(gè)實(shí)例分割問(wèn)題（其中每個(gè)車(chē)道都形成自己的實(shí)例）可以進(jìn)行端到端的訓(xùn)練。為了在裝配車(chē)道前對(duì)分段的車(chē)道實(shí)例進(jìn)行參數(shù)化，我們應(yīng)用了一個(gè)以圖像為條件的學(xué)習(xí)透視變換（不適用于固定的“鳥(niǎo)瞰”變換），這樣，我們確保了一種對(duì)道路變化具有魯棒性的車(chē)道匹配，不像現(xiàn)有的方法，依靠固定、預(yù)定義轉(zhuǎn)換的方法?？傊?，我們提出了一種快速車(chē)道檢測(cè)算法，運(yùn)行速度為50幀/秒，可以處理不同數(shù)量的車(chē)道并應(yīng)對(duì)車(chē)道變化。我們?cè)趖uSimple數(shù)據(jù)集上驗(yàn)證了我們的方法并獲得了不錯(cuò)的結(jié)果。

本文作者Davy Neevn是魯汶大學(xué)博士研究生，魯汶大學(xué)是比利時(shí)久負(fù)盛名的最高學(xué)府，歐洲歷史最悠久且最受人尊敬的大學(xué)之一，也是享譽(yù)全球的世界級(jí)頂尖研究型大學(xué)。Davy Neevn近幾年一直在從事語(yǔ)義分割、場(chǎng)景理解、實(shí)例分割等課題的研究。

傳統(tǒng)車(chē)道線檢測(cè)技術(shù)

目前，無(wú)論是在學(xué)術(shù)還是工業(yè)層面，自動(dòng)駕駛都是計(jì)算機(jī)視覺(jué)和機(jī)器人技術(shù)研究的主要焦點(diǎn)。不論何種方案，都需要使用各種傳感器和控制模塊，感知汽車(chē)周?chē)沫h(huán)境?；跀z像頭的車(chē)道檢測(cè)是環(huán)境感知的重要方法，它可以讓車(chē)輛在車(chē)道內(nèi)正確定位，同時(shí)它對(duì)后續(xù)的車(chē)道偏離或軌跡規(guī)劃也至關(guān)重要。因此，準(zhǔn)確的基于攝像頭的車(chē)道檢測(cè)是實(shí)現(xiàn)完全自動(dòng)駕駛的關(guān)鍵推動(dòng)因素。傳統(tǒng)的車(chē)道檢測(cè)方法（例如[9]，[15]，[17]，[33]，[35]）依靠高度專業(yè)化的手工特征標(biāo)記和啟發(fā)式識(shí)別來(lái)識(shí)別車(chē)道線。這種手工標(biāo)記的方法主要是基于顏色的特征[7]，結(jié)構(gòu)張量[25]，條形過(guò)濾器[34]，脊線特征[26]等，它們可能與霍夫變換 [23]， [37]或卡爾曼濾波器[18]，[8]，[34] 相結(jié)合。識(shí)別車(chē)道線后，采用后處理技術(shù)來(lái)濾除誤檢以形成最終車(chē)道。通常，這些傳統(tǒng)方法很容易由于道路場(chǎng)景變化而導(dǎo)致魯棒性問(wèn)題。

基于深度學(xué)習(xí)的車(chē)道線檢測(cè)

最近的研究有人用深度神經(jīng)網(wǎng)絡(luò)取代手工標(biāo)記，通過(guò)構(gòu)建一定量學(xué)習(xí)密集的特征檢測(cè)器進(jìn)行預(yù)測(cè)，即像素級(jí)的車(chē)道分段。 Gopalan等人[11]使用像素級(jí)特征描述符來(lái)建模，并且使用增強(qiáng)算法來(lái)選擇用于檢測(cè)車(chē)道標(biāo)記的相關(guān)特征。類似地，Kim和Lee [19]將卷積神經(jīng)網(wǎng)絡(luò)（CNN）與RANSAC算法結(jié)合起來(lái)以檢測(cè)車(chē)道線。注意，在他們的方法中，CNN主要用于圖像增強(qiáng)，并且只有道路場(chǎng)景復(fù)雜時(shí)才會(huì)使用。Huval等人[16]用CNN模型用于高速公路駕駛，其中包括執(zhí)行車(chē)道檢測(cè)和端到端CNN分類。Li等人[22]提出了使用多任務(wù)深度卷積網(wǎng)絡(luò)，其重點(diǎn)在于尋找?guī)缀诬?chē)道屬性，如位置和方向，以及檢測(cè)車(chē)道的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。還有人 [21] 做了更多的研究，利用深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練如何在不利的天氣和低照度條件下共同處理車(chē)道和道路標(biāo)記檢測(cè)和識(shí)別。上述神經(jīng)網(wǎng)絡(luò)模型除了更好地劃分車(chē)道標(biāo)記的能力之外[16]，它們也可以在圖像中標(biāo)記不存在的情況下，估計(jì)車(chē)道線。然而，生成的二元分段車(chē)道仍然需要分解到不同的車(chē)道實(shí)例中。

為了解決這個(gè)問(wèn)題，一些研究應(yīng)用了后處理技術(shù)，這些技術(shù)依賴幾何特性為指導(dǎo)的啟發(fā)式算法。啟發(fā)式方法在計(jì)算上比較昂貴，并且由于道路場(chǎng)景變化容易出現(xiàn)魯棒性問(wèn)題。

實(shí)例分割方法實(shí)現(xiàn)端到端車(chē)道檢測(cè)

在本文中，我們超越了上述限制，提出將車(chē)道檢測(cè)問(wèn)題作為一個(gè)實(shí)例分割問(wèn)題，其中每個(gè)車(chē)道在車(chē)道類中形成自己的實(shí)例。受密集預(yù)測(cè)網(wǎng)絡(luò)在語(yǔ)義分割[24]，[28]，[31]，[6]和實(shí)例分割任務(wù)[36]，[38]，[30]，[2]，[14]等成功的啟發(fā)， [5]我們?cè)O(shè)計(jì)了一個(gè)多任務(wù)網(wǎng)絡(luò)分支，包括一個(gè)車(chē)道分割分支和一個(gè)車(chē)道嵌入分支，可以進(jìn)行端到端的訓(xùn)練。車(chē)道分割分支具有兩個(gè)輸出類別，即背景或車(chē)道，而車(chē)道嵌入分支進(jìn)一步將分段的車(chē)道像素分解成不同的車(chē)道實(shí)例。通過(guò)將車(chē)道檢測(cè)問(wèn)題分解為上述兩個(gè)任務(wù)，我們可以充分利用車(chē)道分割分支的功能，而不必為不同的車(chē)道分配不同的類別。相反，使用聚類損失函數(shù)訓(xùn)練的車(chē)道嵌入分支將車(chē)道ID分配給來(lái)自車(chē)道分割分支的每個(gè)像素，同時(shí)忽略背景像素。通過(guò)這樣做，我們減輕了車(chē)道變化的問(wèn)題，并且我們可以處理可變數(shù)量的車(chē)道。

通過(guò)估算車(chē)道實(shí)例，即哪些像素屬于哪條車(chē)道，我們希望將它們中的每一個(gè)轉(zhuǎn)換為參數(shù)描述。為此，曲線擬合算法被廣泛用于文獻(xiàn)中。流行的模型是三次多項(xiàng)式[32]，[25]，樣條曲線[1]或布盧姆曲線[10]。為了在保持計(jì)算效率同時(shí)提高組合的質(zhì)量，通常使用變換[39]將圖像轉(zhuǎn)換為“鳥(niǎo)瞰”圖像并在那里執(zhí)行曲線擬合。通常，變換矩陣是在單個(gè)圖像上計(jì)算的，并保持固定。但是，如果地平面變化較大（例如通過(guò)傾斜上坡），則該固定變換不再有效。為了彌補(bǔ)這種情況，我們?cè)趯?duì)曲線進(jìn)行擬合之前對(duì)圖像應(yīng)用透視變換，與現(xiàn)有的依靠固定變換矩陣進(jìn)行透視變換的方法相反，我們訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)輸出變換系數(shù)。神經(jīng)網(wǎng)絡(luò)將圖像作為輸入，并針對(duì)車(chē)道配合問(wèn)題量身定制一個(gè)損失函數(shù)進(jìn)行優(yōu)化。

該方法的一個(gè)固有優(yōu)點(diǎn)是對(duì)路面變化具有魯棒性，并且為了更好地?cái)M合車(chē)道而特別進(jìn)行了優(yōu)化。整個(gè)識(shí)別過(guò)程的概述可以在圖1中看到。我們的貢獻(xiàn)可以總結(jié)如下：（1）分支的多任務(wù)體系結(jié)構(gòu)，將車(chē)道檢測(cè)問(wèn)題作為實(shí)例分割任務(wù)來(lái)處理，處理車(chē)道變化和允許推斷任意數(shù)量的車(chē)道。特別地，車(chē)道分割分支輸出密集的每像素車(chē)道段，而車(chē)道嵌入分支進(jìn)一步將分段的車(chē)道像素分解成不同的車(chē)道實(shí)例。（2）給定輸入圖像的網(wǎng)絡(luò)估計(jì)透視變換的參數(shù)，透視變換允許車(chē)道擬合對(duì)路面變化具有魯棒性，例如，上坡/下坡。

圖1.系統(tǒng)概述。給定一個(gè)輸入圖像，Lane Net輸出一個(gè)車(chē)道實(shí)例地圖，車(chē)道ID標(biāo)記每個(gè)車(chē)道像素。接下來(lái)，使用H-Net輸出的變換矩陣變換車(chē)道像素，H-Net學(xué)習(xí)以輸入圖像為條件的透視變換。對(duì)于每一條車(chē)道，都用三階多項(xiàng)式擬合，并且車(chē)道被重投影到圖像上。

通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)行端到端的車(chē)道檢測(cè)，將車(chē)道檢測(cè)作為實(shí)例分割問(wèn)題來(lái)實(shí)現(xiàn)，解決了上述車(chē)道切換以及車(chē)道數(shù)的限制的問(wèn)題。我們將稱之為L(zhǎng)aneNet（參見(jiàn)圖2）的網(wǎng)絡(luò)，將二進(jìn)制車(chē)道分割與單鏡頭實(shí)例分割的聚類損失函數(shù)相結(jié)合。在LaneNet的輸出中，每個(gè)車(chē)道像素被分配它們對(duì)應(yīng)車(chē)道的ID。因?yàn)長(zhǎng)aneNET輸出每個(gè)車(chē)道的像素集合，我們必須通過(guò)這些像素來(lái)獲得車(chē)道參數(shù)化的曲線。

通常情況下，車(chē)道像素被投影成“鳥(niǎo)瞰圖”表示，使用一個(gè)固定的轉(zhuǎn)換矩陣。然而，由于變換參數(shù)對(duì)所有圖像都是固定的，所以當(dāng)遇到非地面時(shí)，例如在斜坡上，這會(huì)引起一些問(wèn)題。為了緩解這個(gè)問(wèn)題，我們訓(xùn)練一個(gè)網(wǎng)絡(luò)，稱為H-Network，它可以估算輸入圖像上的“理想”透視變換的參數(shù)。

圖2. LaneNet結(jié)構(gòu)。分割分支（底部）被訓(xùn)練以產(chǎn)生二進(jìn)制車(chē)道。嵌入分支（TOP）生成每個(gè)車(chē)道像素的n維嵌入，使得來(lái)自同一車(chē)道的嵌入是緊密的，而來(lái)自不同車(chē)道的嵌入是相距甚遠(yuǎn)的。為了簡(jiǎn)單起見(jiàn)，我們展示了每個(gè)像素的二維嵌入，它被可視化為XY網(wǎng)格中的顏色映射（所有像素）和點(diǎn)（僅是車(chē)道像素）。在利用分割分支的二值分割圖遮蔽背景像素之后，將車(chē)道嵌入（藍(lán)點(diǎn)）聚集在一起并分配給它們的聚類中心（紅點(diǎn)）。

結(jié)論

在本文中，我們介紹了一種以50幀/秒進(jìn)行端到端車(chē)道檢測(cè)的方法。受到最近實(shí)例分割技術(shù)的啟發(fā)，與其他相關(guān)的深度學(xué)習(xí)方法相比，我們的方法可以檢測(cè)可變數(shù)量的車(chē)道并且可以應(yīng)對(duì)車(chē)道變換。為了使用低階多項(xiàng)式對(duì)分段車(chē)道進(jìn)行參數(shù)化，我們已經(jīng)訓(xùn)練了一個(gè)網(wǎng)絡(luò)來(lái)生成透視變換的參數(shù)，以圖像為條件，其中車(chē)道擬合是最優(yōu)的。與流行的“鳥(niǎo)瞰視圖”方法不同，我們的方法通過(guò)調(diào)整相應(yīng)地參數(shù)進(jìn)行變換，可以有效抵抗地平面的坡度變化。