[首發(fā)于智駕最前沿微信公眾號]在談及自動(dòng)駕駛時(shí)，有些方案中會提到“強(qiáng)化學(xué)習(xí)（Reinforcement Learning，簡稱RL）”，強(qiáng)化學(xué)習(xí)是一類讓機(jī)器通過試錯(cuò)來學(xué)會做決策的技術(shù)。簡單理解下，就是一個(gè)智能體在環(huán)境里行動(dòng)，它能觀察到環(huán)境的一些信息，并做出一個(gè)動(dòng)作，然后環(huán)境會給出一個(gè)反饋（獎(jiǎng)勵(lì)或懲罰），智能體的目標(biāo)是把長期得到的獎(jiǎng)勵(lì)累積到最大。和監(jiān)督學(xué)習(xí)不同，強(qiáng)化學(xué)習(xí)沒有一一對應(yīng)的“正確答案”給它看，而是靠與環(huán)境交互、自我探索來發(fā)現(xiàn)哪些行為好，哪些行為不好。在聊到強(qiáng)化學(xué)習(xí)時(shí)，常會出現(xiàn)“狀態(tài)”“動(dòng)作”“獎(jiǎng)勵(lì)”“策略”“價(jià)值”等詞，分別對應(yīng)著智能體感知的環(huán)境信息、它能采取的行為、環(huán)境給的好壞評價(jià)、依據(jù)怎樣選擇動(dòng)作的規(guī)則，以及衡量從某個(gè)狀態(tài)出發(fā)未來能獲得多少回報(bào)的估值。

對于自動(dòng)駕駛汽車來說，車輛本身就是一個(gè)智能體，道路和交通參與者構(gòu)成環(huán)境，傳感器的輸出是狀態(tài)，車輛轉(zhuǎn)向、加速、制動(dòng)是動(dòng)作，是否安全、是否平順、是否準(zhǔn)時(shí)等可以組合成獎(jiǎng)勵(lì)。強(qiáng)化學(xué)習(xí)的核心優(yōu)勢在于能直接優(yōu)化長期目標(biāo)，如在復(fù)雜路口做出既安全又高效的決策；但它的試錯(cuò)特性在真實(shí)道路上顯然不安全，所以強(qiáng)化學(xué)習(xí)通常依賴高保真仿真、離線數(shù)據(jù)和混合方法來落地。

強(qiáng)化學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用場景

強(qiáng)化學(xué)習(xí)在自動(dòng)駕駛里比較典型的應(yīng)用有低層控制、行為決策、局部軌跡優(yōu)化與策略學(xué)習(xí)等。在低層控制中，強(qiáng)化學(xué)習(xí)可以學(xué)習(xí)在特定車輛動(dòng)力學(xué)下做轉(zhuǎn)向/速度控制的策略，優(yōu)勢是能在非線性和復(fù)雜摩擦條件下表現(xiàn)得更魯棒。在行為決策上，像交叉路口的黃燈時(shí)機(jī)選擇、變道策略、跟車間距調(diào)整這樣的長期權(quán)衡問題，強(qiáng)化學(xué)習(xí)能自然把安全、舒適和效率放在同一個(gè)目標(biāo)里去優(yōu)化。在局部軌跡優(yōu)化時(shí)，強(qiáng)化學(xué)習(xí)可以在動(dòng)態(tài)障礙與復(fù)雜約束下生成短周期的軌跡調(diào)整，而不是單純靠基于模型的最優(yōu)控制求解每一步。

現(xiàn)階段端到端被眾多企業(yè)應(yīng)用到自動(dòng)駕駛中，端到端，即從相機(jī)或傳感器輸入直接映射到控制命令。端到端強(qiáng)化學(xué)習(xí)在實(shí)驗(yàn)室里能展示非常驚艷的效果，但在樣本效率、可解釋性和安全驗(yàn)證方面有很大短板，所以會采用強(qiáng)化學(xué)習(xí)輔助或作為策略搜索工具，而不是直接替換整個(gè)堆棧。

強(qiáng)化學(xué)習(xí)的實(shí)現(xiàn)要點(diǎn)與關(guān)鍵技術(shù)

對于強(qiáng)化學(xué)習(xí)來說，首先要解決的是如何定義狀態(tài)與獎(jiǎng)勵(lì)。狀態(tài)既要包含足夠的信息讓策略做出正確決策，又不能過于冗余導(dǎo)致學(xué)習(xí)困難。獎(jiǎng)勵(lì)設(shè)計(jì)則非常敏感，獎(jiǎng)勵(lì)信號如果不合理會導(dǎo)致“獎(jiǎng)勵(lì)劫持”或“走捷徑”現(xiàn)象，模型學(xué)到的策略看似得分高但行為危險(xiǎn)。因此在自動(dòng)駕駛里，獎(jiǎng)勵(lì)通常是多項(xiàng)組合，不僅要包括安全相關(guān)的大幅負(fù)分（如發(fā)生碰撞、侵占對向車道），也會按舒適度、軌跡偏差、到達(dá)時(shí)間等給予細(xì)致的正負(fù)反饋。同時(shí)會用約束或懲罰項(xiàng)來確保最低安全邊界，而不是單靠稀薄的到達(dá)獎(jiǎng)勵(lì)。

樣本效率對于強(qiáng)化學(xué)習(xí)來說也是非常關(guān)鍵的一個(gè)技術(shù)因素，很多經(jīng)典強(qiáng)化學(xué)習(xí)算法需要海量交互數(shù)據(jù)，而在自動(dòng)駕駛中真實(shí)道路數(shù)據(jù)代價(jià)極高。為此普遍依賴高質(zhì)量仿真環(huán)境進(jìn)行訓(xùn)練，并結(jié)合領(lǐng)域隨機(jī)化、域適應(yīng)、以及模型預(yù)訓(xùn)練等技術(shù)縮小仿真到現(xiàn)實(shí)的差距。還有一種做法是離線強(qiáng)化學(xué)習(xí)，利用大量已記錄的駕駛軌跡進(jìn)行策略學(xué)習(xí)，避免實(shí)時(shí)探索風(fēng)險(xiǎn)，但離線強(qiáng)化學(xué)習(xí)本身對分布偏差和保守性有特殊要求。

算法選擇與架構(gòu)對于強(qiáng)化學(xué)習(xí)來說依然重要，基于值的算法（比如Q-learning及其深度版本DQN）適合離散動(dòng)作空間，但實(shí)際車輛控制通常是連續(xù)的，所以更多會采用策略梯度類方法（例如REINFORCE、PPO）或演員-評論家（Actor-Critic）架構(gòu)。演員-評論家結(jié)合了策略直接優(yōu)化和價(jià)值估計(jì)的優(yōu)勢，在樣本利用和穩(wěn)定性上表現(xiàn)較好。對于需要長期規(guī)劃與短期控制結(jié)合的場景，層次化強(qiáng)化學(xué)習(xí)能把高層決策（如選擇變道/保持車道）和低層控制（如具體轉(zhuǎn)向角）分開學(xué)習(xí)，降低復(fù)雜度并提高可解釋性。

安全與穩(wěn)定性對于強(qiáng)化學(xué)習(xí)來說非常重要，因此在訓(xùn)練過程中需要引入安全過濾器、可驗(yàn)證的約束層或備用控制策略。在部署時(shí)可采用“安全外殼”設(shè)計(jì)，強(qiáng)化學(xué)習(xí)策略輸出建議動(dòng)作，但在動(dòng)作被實(shí)際執(zhí)行前先通過基于模型的約束檢查或已驗(yàn)證的追隨控制器。這樣即使強(qiáng)化學(xué)習(xí)策略出現(xiàn)異常，車輛也能回退到保守、安全的行為。

為了探索長尾場景，在技術(shù)設(shè)計(jì)時(shí)要采用聚類化采樣、風(fēng)險(xiǎn)驅(qū)動(dòng)的優(yōu)先經(jīng)驗(yàn)回放、以及基于場景的Curriculum Learning（從簡單到復(fù)雜逐步訓(xùn)練）來引導(dǎo)學(xué)習(xí)。對抗性訓(xùn)練也常被用來生成更具挑戰(zhàn)性的場景，從而提高策略魯棒性。

限制、風(fēng)險(xiǎn)與工程落地建議

強(qiáng)化學(xué)習(xí)面臨的一個(gè)核心限制是可驗(yàn)證性與可靠性。自動(dòng)駕駛是高安全要求的系統(tǒng)，監(jiān)管和商業(yè)部署需要強(qiáng)有力的可解釋性與可復(fù)現(xiàn)的驗(yàn)證流程。純粹依賴黑箱強(qiáng)化學(xué)習(xí)策略的系統(tǒng)很難通過法規(guī)和安全審查，因此很多企業(yè)把強(qiáng)化學(xué)習(xí)作為策略優(yōu)化和能力補(bǔ)強(qiáng)的工具，而不是替代現(xiàn)有基線控制和規(guī)則引擎。

獎(jiǎng)勵(lì)設(shè)計(jì)不成熟導(dǎo)致表面上“完美”但實(shí)際有害的行為也是強(qiáng)化學(xué)習(xí)經(jīng)常會遇到的問題。舉個(gè)容易理解的例子，如果把“盡量快到達(dá)目的地”作為主要目標(biāo)，而未對安全擾動(dòng)給出足夠懲罰，模型可能在復(fù)雜交通中做出冒險(xiǎn)超車等行為。因此要把硬性安全約束放在首位，把效率和舒適度作為可優(yōu)化的次級目標(biāo)，并通過詳細(xì)的仿真場景和對抗測試來發(fā)現(xiàn)潛在的“獎(jiǎng)勵(lì)黑箱”問題。

想讓自動(dòng)駕駛技術(shù)落地，應(yīng)采取分層策略，在仿真里用強(qiáng)化學(xué)習(xí)做策略搜索和參數(shù)調(diào)優(yōu)，生成候選策略后在離線回放數(shù)據(jù)上驗(yàn)證，接著在受控封閉場地進(jìn)行帶人或遙控測試，再逐步放寬場景。并且應(yīng)把強(qiáng)化學(xué)習(xí)模塊設(shè)計(jì)為可插拔、可回退的子系統(tǒng)，有明確的監(jiān)控指標(biāo)和安全撤退機(jī)制。對數(shù)據(jù)與模型應(yīng)保存完整實(shí)驗(yàn)記錄，支持線下審計(jì)與回放復(fù)現(xiàn)。

混合方法通常比純強(qiáng)化學(xué)習(xí)更實(shí)用。把模仿學(xué)習(xí)用于初始化策略可以大幅降低訓(xùn)練難度；把基于模型的規(guī)劃與基于學(xué)習(xí)的策略結(jié)合能兼顧理論可解釋性與經(jīng)驗(yàn)表現(xiàn)。離線強(qiáng)化學(xué)習(xí)、保守策略梯度、以及安全約束優(yōu)化等技術(shù)的應(yīng)用都是常見的折衷方案。

如何把強(qiáng)化學(xué)習(xí)安全地帶入自動(dòng)駕駛

強(qiáng)化學(xué)習(xí)為自動(dòng)駕駛帶來的并不是一套現(xiàn)成的解決方案，而是一種強(qiáng)有力的決策優(yōu)化工具。它擅長處理那些帶有長期依賴、稀疏反饋和復(fù)雜交互的任務(wù)，但在樣本效率、安全驗(yàn)證與可解釋性方面仍需工程化的補(bǔ)強(qiáng)。想把強(qiáng)化學(xué)習(xí)安全地帶入自動(dòng)駕駛，更合理的路線是把強(qiáng)化學(xué)習(xí)作為補(bǔ)充和增強(qiáng)，在仿真環(huán)境中探索策略、在離線數(shù)據(jù)上穩(wěn)健化、用規(guī)則與約束保證安全、在真實(shí)道路上逐步驗(yàn)證并留有回退。只有在設(shè)計(jì)時(shí)明確邊界、構(gòu)建嚴(yán)格的測試與回滾機(jī)制，強(qiáng)化學(xué)習(xí)才能把它的優(yōu)勢轉(zhuǎn)化為可部署、可審計(jì)的自動(dòng)駕駛能力。

審核編輯 黃宇