單目或三目構(gòu)成的視覺系統(tǒng)是目前智能駕駛的主流，其致命缺陷就是識(shí)別與檢測是一體的，也就是說要檢測目標(biāo)必須先識(shí)別目標(biāo)，無法識(shí)別就等于看不到，車輛不會(huì)有任何減速而直接撞上去，此類事故，特斯拉、小鵬和蔚來都發(fā)生過。普通人說識(shí)別，在計(jì)算機(jī)視覺里實(shí)際是分類，為了對應(yīng)傳統(tǒng)習(xí)慣，本文依然把分類叫識(shí)別。

圖片來源：Andrew Ng公開課

要解決這個(gè)問題最好的辦法是立體雙目，其次是沒有分類任務(wù)的激光雷達(dá)，典型代表就是奧迪A8上那種四線激光雷達(dá)，目前多線的激光雷達(dá)通常都是用與單目攝像頭一樣的應(yīng)用算法，同樣會(huì)遇到識(shí)別與檢測一體的問題。這也正是特斯拉不用激光雷達(dá)的原因之一，單目攝像頭遇到的困難，多線激光雷達(dá)一樣會(huì)遇到，而奧迪A8上那種四線激光雷達(dá)只能檢測到前方有沒有物體，是什么物體就不知道，算是加強(qiáng)版的毫米波雷達(dá)。對于復(fù)雜駕駛環(huán)境如城區(qū)則不太適合，只能用于塞車時(shí)的自動(dòng)跟車。最后是4D毫米波雷達(dá)，近似于4線激光雷達(dá)，缺點(diǎn)與4線激光雷達(dá)一樣。

立體雙目能完美解決問題，缺點(diǎn)是其標(biāo)定太麻煩，傳感器的尺寸一致性要求很高。還有就是立體匹配算法難度不低，最好使用FPGA，AI加速器完全無用，GPU的話消耗算力太多。熟悉FPGA的廠家很少，需要摸索很長時(shí)間，因此立體雙目只有老牌的博世、斯巴魯、奔馳和豐田堅(jiān)持使用。

大部分廠家沒有時(shí)間去摸索，看看Mobileye便知研發(fā)人員人工成本太高了，即便已經(jīng)占有超過75%的智能駕駛市場，利潤依然無法填平研發(fā)成本的坑。

為什么會(huì)出現(xiàn)無法識(shí)別的目標(biāo)，這就是深度學(xué)習(xí)的天生缺陷，無法改變。學(xué)術(shù)的說法叫Outof Distribution（OOD），OOD detection 指的是模型能夠檢測出OOD樣本，而OOD樣本是相對于InDistribution（ID）樣本來說的。傳統(tǒng)的機(jī)器學(xué)習(xí)方法通常的假設(shè)是模型訓(xùn)練和測試的數(shù)據(jù)是獨(dú)立同分布的（IID，Independent Identical Distribution），這里訓(xùn)練和測試的數(shù)據(jù)都可以說是InDistribution（ID）。在實(shí)際應(yīng)用當(dāng)中，模型部署上線后得到的數(shù)據(jù)往往不能被完全控制的，也就是說模型接收的數(shù)據(jù)有可能是OOD樣本，也可以叫異常樣本（outlier， abnormal）。

簡單地說，深度學(xué)習(xí)數(shù)據(jù)集就像窮舉法，但窮舉所有類型是不可能的，那樣數(shù)據(jù)集會(huì)異常龐大且成本高昂，并且現(xiàn)實(shí)世界每分每秒都在產(chǎn)生新的異常樣本，永遠(yuǎn)都無法窮盡。對于牽涉到安全的應(yīng)用，如無人駕駛和醫(yī)學(xué)識(shí)別，OOD是噩夢般的存在。雖然說異常樣本出現(xiàn)的幾率很低，但一旦出現(xiàn)就可能損失一條生命。有人會(huì)說，人開車會(huì)出事故，因此不能苛求機(jī)器開車不出事故，這顯然是錯(cuò)誤的，人是有糾錯(cuò)機(jī)制的，而機(jī)器不會(huì)，它犯錯(cuò)一次要一條人命，下次遇到異常樣本還是如此。

除了OOD外，還有一類物體是單目三目視覺系統(tǒng)永遠(yuǎn)都無法識(shí)別的，那就是側(cè)翻車輛。

畫面中這輛側(cè)翻的集裝箱車對單目三目來說也是噩夢，是一大片紅色，無紋理特征的圖像，任何計(jì)算機(jī)視覺技術(shù)皆無能為力，當(dāng)然，最困難的是白色，就等同于天空，特斯拉中國臺(tái)灣高速事故就是如此，無論何種單目計(jì)算機(jī)視覺都無從下手，立體雙目可以完美解決這個(gè)問題。

還有這種側(cè)翻，大面積反光，且有圖像顯示在車上，訓(xùn)練數(shù)據(jù)集都是基于正常車輛拍攝的圖像數(shù)據(jù)，這種側(cè)翻的非常罕見，數(shù)據(jù)集里肯定沒有，再加上它還能反光，還能顯示其他圖像，單目計(jì)算機(jī)視覺完全無能為力。

想完美解決問題是不可能的，目前學(xué)術(shù)界在嘗試用差異性網(wǎng)絡(luò)來解決這個(gè)問題。眾所周知，深度神經(jīng)網(wǎng)絡(luò)不具備可解釋性，永遠(yuǎn)存在概率，沒有確定性，而汽車領(lǐng)域一定要有確定性，但除了深度神經(jīng)網(wǎng)絡(luò)，人類開發(fā)智能駕駛沒有其他低成本方式，只能用它。當(dāng)然對于那種大面積空洞類似天空的目標(biāo)，任何基于單目三目的計(jì)算機(jī)視覺技術(shù)都無能為力。

目前對于無法識(shí)別物體的檢測，學(xué)術(shù)界研究主要方向是差異性網(wǎng)絡(luò)DiscrepancyNetworks。本文主要基于四篇論文：

第一篇是瑞士洛桑聯(lián)邦理工學(xué)院EPFL的計(jì)算機(jī)視覺實(shí)驗(yàn)室的《Detecting the Unexpected via Image Resynthesis》，

第二篇是豐田的《Road Obstacle Detection Method Based on an Autoencoder with SemanticSegmentation》，

還有一篇《Efficient Unknown Object Detectionwith Discrepancy Networks for Semantic Segmentation》。

最后一篇是微軟研究院和Wisconsin-Madison大學(xué)的《Unknown-Aware ObjectDetection Learning What You Don’t Know from Videos in the Wild》。

目前都局限于學(xué)術(shù)研究，離上車最快也要等10年。

思路都大同小異，即用GAN再合成圖像，制造差異性網(wǎng)絡(luò)。

EPFL的思路

圖片來源：EPFL

EPFL的思路，圖a是路上的兩個(gè)異常樣本物體，深度學(xué)習(xí)完全無法識(shí)別，也就檢測不到；圖b是圖像語義分割，這兩個(gè)物體消失了，用GAN再合成圖像，這兩個(gè)物體還是消失不見，但最后加上差異性網(wǎng)絡(luò)，這兩個(gè)物體找到了，就是圖d的高光顯示部分。

EPFL的做法

圖片來源：EPFL

EPFL的做法，用兩個(gè)VGG16網(wǎng)絡(luò)從原始圖像和再合成圖像中抽出特征并做金字塔矯正，特征和關(guān)聯(lián)送入一個(gè)跳過連接的解碼器，最終得到差異性圖像。

圖片來源：EPFL

基于CNN的圖像識(shí)別通常無法識(shí)別右邊這輛自行車，因?yàn)樗吭谥由稀?/p>

豐田的思路

圖片來源：豐田

微軟的思路

圖片來源：微軟

微軟提出了一種新的未知感知目標(biāo)檢測框架，該框架通過時(shí)空未知提?。⊿TUD）從野外視頻中提取未知對象，并有意義地正則化模型的決策邊界。視頻數(shù)據(jù)自然地捕獲了模型運(yùn)行的開放世界環(huán)境，并封裝了已知和未知對象的混合物；見圖1（b）。例如，建筑物和樹木（OOD）可能會(huì)出現(xiàn)在駕駛視頻中，盡管它們沒有明確標(biāo)注用于培訓(xùn)車輛和行人的物體檢測器（ID）。類似于化學(xué)中的蒸餾概念，即“從混合物中分離物質(zhì)的過程”。雖然經(jīng)典的目標(biāo)檢測模型主要使用標(biāo)記的已知對象進(jìn)行訓(xùn)練，微軟試圖通過聯(lián)合優(yōu)化目標(biāo)檢測和OOD檢測性能，利用未知對象進(jìn)行模型正則化。

微軟的STUD框架

圖片來源：微軟

《Efficient Unknown Object Detectionwith Discrepancy Networks for Semantic Segmentation》這篇論文比較新，是2022年8月發(fā)表的，作者單位名氣不大，有日本SenseTime和德州奧斯汀大學(xué)。

圖片來源：SenseTime

典型示例如上，圖中車輛車身上有大字，很容易被誤認(rèn)為標(biāo)志牌，或者無法識(shí)別。

圖片來源：SenseTime

作者的思路主要是加入了所謂深監(jiān)督（Deep Supervision），就是在深度神經(jīng)網(wǎng)絡(luò)的某些中間隱藏層加了一個(gè)輔助的分類器作為一種網(wǎng)絡(luò)分支來對主干網(wǎng)絡(luò)進(jìn)行監(jiān)督的技巧，用來解決深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練梯度消失和收斂速度過慢等問題。

雖然立體雙目可以完美解決所有難題，但立體雙目研發(fā)周期長，短期很難出成果，大部分企業(yè)都不會(huì)選擇立體雙目，深度學(xué)習(xí)太容易了，煉丹不需要知道因果關(guān)系，只需塞數(shù)據(jù)即可，立體雙目陣營目前也開始出現(xiàn)松動(dòng)，豐田還專門出了個(gè)深度學(xué)習(xí)加單目推測立體視覺再獲得深度數(shù)據(jù)的數(shù)據(jù)集，寶馬也在2021年放棄了立體雙目。年輕人幾乎沒有從事立體雙目研究的。

Argo關(guān)閉，Aurora和圖森市值暴跌95%，Cruise和Waymo沉寂多日，過度依賴深度學(xué)習(xí)的無人駕駛該何去何從？

審核編輯 ：李倩