傳感器融合被認為是智能駕駛的必然趨勢。這兩年，在交通部政策的推動下，部分L1和L2級別的ADAS功能被要求在一些商用車型中強制安裝，其中包括AEB（自動緊急剎車）。這里就借AEB在商用車上的落地談談傳感器融合的事情。

AEB的技術(shù)實現(xiàn)方法

目前，實現(xiàn)AEB的技術(shù)主要有三類，分別是基于視覺傳感器、毫米波雷達和激光雷達。由于成本限制因素，國內(nèi)主要使用前兩種方式。視覺傳感器和毫米波雷達實現(xiàn)對車輛的AEB功能的原理不同：毫米波雷達主要是通過對目標物發(fā)送電磁波并接收回波來獲得目標物體的距離、速度和角度。視覺方案稍復雜，以單目視覺方案為例，它需要先進行目標識別，然后根據(jù)目標在圖像中的像素大小來估算目標的距離。

這兩類技術(shù)各有優(yōu)劣?？傮w來講，攝像頭方案成本低，可以識別不同的物體，在物體高度與寬度測量精度、車道線識別、行人識別準確度等方面有優(yōu)勢，是實現(xiàn)車道偏離預警、交通標志識別等功能不可缺少的傳感器，但作用距離和測距精度不如毫米波雷達，并且容易受光照、天氣等因素的影響。毫米波雷達受光照和天氣因素影響較小，測距精度高，但難以識別車道線、交通標志等元素。另外，毫米波雷達通過多普勒偏移的原理能夠?qū)崿F(xiàn)更高精度的目標速度探測。

于是就有了第三種方案，將攝像頭和雷達進行融合，相互配合共同構(gòu)成汽車的感知系統(tǒng)，取長補短，實現(xiàn)更穩(wěn)定可靠的AEB功能。

融合方案也是國內(nèi)商用車AEB的落地上所強制要求的方式。在JT/T 1094-2016《營運客車安全技術(shù)條件》中提到，車長超過9米的營運客車需裝備符合JT/T 883規(guī)定的車道偏離預警系統(tǒng)（LDWS）和AEB（包括前車碰撞預警系統(tǒng)）。在交通部辦公廳所印發(fā)的《營運客車安全達標實車核查工作規(guī)范》中明確要求，營運客車駕駛室前面罩需要安裝AEBS毫米波雷達或激光雷達裝置。后續(xù)想必也會出臺政策推進在其他商用車車型上的普及，未來可能還會擴展覆蓋乘用車。

傳感器數(shù)據(jù)融合的原理與優(yōu)勢

采用融合方案后，攝像頭和雷達會獲取到不同的感知信息，這些信息之間可以相互補充，但也可能會存在矛盾。假設在某一場景下，來自攝像頭的信息是車輛前方50米左右有異型車，需要剎車，而雷達卻沒有反饋同樣的信息，這樣的矛盾信息可能會讓車輛不知所措。所以，為了讓車輛控制中心接收到一致且明確的行動指令，就需要將傳感器的數(shù)據(jù)進行融合。

傳感器數(shù)據(jù)融合的基本原理跟人腦綜合處理來自眼、鼻、耳等多器官的信息類似，主要是綜合多個傳感器獲取的數(shù)據(jù)和信息，把多傳感器在空間或時間上冗余或互補信息依據(jù)某種準則來進行組合，獲得對被測對象的一致性描述。

回到駕駛場景上，大致是這樣的流程：首先攝像頭和毫米波雷達分別針對觀測目標收集數(shù)據(jù)，然后對各傳感器的輸出數(shù)據(jù)進行特征提取與模式識別處理，并將目標按類別進行準確關(guān)聯(lián)，最后利用融合算法將同一目標的所有傳感器數(shù)據(jù)進行整合，從而得出關(guān)于目標威脅性的一致性結(jié)論。

以極目智能的視覺和雷達融合系統(tǒng)為例。如下圖，圖中藍色點和綠色點分別為攝像頭和毫米波雷達對同一目標的檢測，攝像頭主要負責目標外觀鎖定，毫米波雷達主要負責測距。紅色點是雷達檢測到的其他地物目標。

極目智能視覺和雷達融合系統(tǒng)

數(shù)據(jù)融合也有不同的策略，比如有的方案會選擇將不同傳感器各自處理生成的目標數(shù)據(jù)進行融合，有些會選擇將不同傳感器的原始數(shù)據(jù)進行融合，避免一些原始數(shù)據(jù)的丟失。在智能駕駛場景下，視覺和毫米波雷達的數(shù)據(jù)融合大致有3種策略：圖像級、目標級和信號級。

圖像級融合，是以視覺為主體，將雷達輸出的整體信息進行圖像特征轉(zhuǎn)化，然后與視覺系統(tǒng)的圖像輸出進行融合；目標級融合，是對視覺和雷達輸出進行綜合可信度加權(quán)，配合精度標定信息進行自適應的搜索匹配后融合輸出；信號級融合，是對視覺和雷達傳感器ECU傳出的數(shù)據(jù)源進行融合。其中，信號級別的融合數(shù)據(jù)損失最小，可靠性最高，但需要大量的運算。

測試數(shù)據(jù)顯示，與單視覺或單雷達方案相比，融合方案在系統(tǒng)可靠性和魯棒性、數(shù)據(jù)可信度、系統(tǒng)分辨能力等方面更具優(yōu)勢。

視覺傳感器和毫米波雷達融合的技術(shù)基礎(chǔ)

傳感器融合已被公認為是智能駕駛的必然趨勢。為了實現(xiàn)視覺和毫米波雷達的數(shù)據(jù)融合，需要具備一些技術(shù)基礎(chǔ)，比如系統(tǒng)化的圖像和雷達數(shù)據(jù)獲取和處理技術(shù)體系，在數(shù)據(jù)處理和目標分類識別等層面具有信息融合算法的優(yōu)化和設計能力，等等。鑒于當前國內(nèi)的視覺感知技術(shù)要比毫米波雷達更加成熟，那么對于視覺技術(shù)企業(yè)來講，他們在與外部雷達平臺進行融合的時候，則需要具備優(yōu)秀的雷達系統(tǒng)二次開發(fā)能力，盡量提高信息的利用率。

對于視覺和毫米波雷達的融合，技術(shù)實現(xiàn)上的主要難點在于攝像頭和雷達觀測值的匹配、數(shù)據(jù)融合、多目標場景下有效目標庫的維護等，需要考慮容錯性、靈活性、可拓展性、可靠性、安裝等多方面的因素。

同時，信息融合技術(shù)實現(xiàn)需要不斷配合大量路測，涉及設備輸出、真值標定以及二次數(shù)據(jù)開發(fā)等工作，對應的數(shù)據(jù)采集量、數(shù)據(jù)存儲量、數(shù)據(jù)交互量、數(shù)據(jù)處理工作量非常大，對于研發(fā)機構(gòu)的綜合開發(fā)能力有很高的要求。

最后，傳感器數(shù)據(jù)融合的核心關(guān)鍵還是在于采用合適的融合算法。作為一個新興領(lǐng)域，數(shù)據(jù)融合目前尚無統(tǒng)一的理論和廣義有效的融合模型和算法，需要根據(jù)具體場景來選擇，但可以預見，神經(jīng)網(wǎng)絡和人工智能等新技術(shù)在傳感器數(shù)據(jù)融合中將起到越來越重要的作用。

這也是各行業(yè)參與者打造技術(shù)壁壘，建立核心競爭力的關(guān)鍵所在。