大家經(jīng)常會(huì)問(wèn)到的一個(gè)問(wèn)題是，如何實(shí)現(xiàn)普通圖像和事件的對(duì)齊？在產(chǎn)品層面，DAVIS240和346能夠同時(shí)輸出event和frame，CeleX5的不同模式也能輸出兩種數(shù)據(jù)但并不是同時(shí)，除此之外似乎并無(wú)他法。
實(shí)則不然，在論文中看到過(guò)采用分光鏡（Beam Splitter，準(zhǔn)確翻譯應(yīng)為“分束鏡”，但我認(rèn)為這里稱作“分光”更合適，因此下文統(tǒng)稱“分光鏡”）的方案。但是這些論文只是一句“我們用分光鏡啦”，但并沒有說(shuō)很多細(xì)節(jié)即背后可能遇到的問(wèn)題。作者前后經(jīng)過(guò)小半年時(shí)間進(jìn)行了搭建，遇到了很多棘手的問(wèn)題也踩了一些坑，在此分享。

分光鏡基本原理

分光鏡基本原理如下圖：一束光線射入后，可以分成兩束，這玩意在光學(xué)實(shí)驗(yàn)中用得很多。分出的兩束光可以是偏振的、能量不同的，也可以是完全相同的。

但是相機(jī)使用，會(huì)有哪些問(wèn)題？本人咨詢過(guò)廠商和做光學(xué)的同學(xué)，他們表示想象不出來(lái)相機(jī)拍攝會(huì)有什么問(wèn)題，而搞相機(jī)鏡頭的人也不清楚這玩意怎么和鏡頭搭配。于是只能自己硬著頭皮踩坑。

參考方案

最初，我是看到了這篇論文[1]的圖片關(guān)注到的分光鏡，通過(guò)圖片上面的名牌參數(shù)，搜到了產(chǎn)品并研究原理?？梢钥闯?，下圖中分光鏡后方有兩個(gè)相機(jī)分別是事件相機(jī)和普通相機(jī)。也就是說(shuō)，這種方案是，首先把場(chǎng)景光分出兩部分，然后分別由鏡頭接收。我們這里稱作“方案1”。

后來(lái)，又看到了這篇論文[2]的方案2如下圖，用了兩個(gè)分光鏡，因此可以由3個(gè)相機(jī)進(jìn)行接收。但問(wèn)題是，圖中還出現(xiàn)了一個(gè)Relay Lens，而且分光鏡和相機(jī)之間并沒有連接鏡頭（上圖中方案1可以明顯看到鏡頭的光圈、對(duì)焦環(huán)等）。

那么，這個(gè)Relay Lens是什么？于是我又問(wèn)了一些搞光學(xué)的同學(xué)，同學(xué)們表示：“你到底在搞什么？”。后面找到了下面這幅圖解釋中繼鏡原理。（由于我不搞光學(xué)，解釋原理可能不準(zhǔn)確，但認(rèn)為不影響理解；如有原理性錯(cuò)誤，請(qǐng)批評(píng)指正）。物鏡對(duì)焦后，光心到焦平面的距離是很短的，但有時(shí)我們實(shí)際的感光芯片很遠(yuǎn)，因此需要一步“中繼”。比如，一些內(nèi)窺鏡就是在經(jīng)過(guò)鏡頭后再過(guò)中繼鏡傳到了末端。

因此了解原理后再看平臺(tái)搭建圖。方案2在經(jīng)過(guò)中繼鏡聚焦后再經(jīng)過(guò)的分光鏡，因此需要中繼鏡到所有相機(jī)感光芯片的距離一致，否則會(huì)對(duì)不上焦。也就是說(shuō)，下圖中紅綠黃三個(gè)箭頭的長(zhǎng)度必須是一樣的！

方案選擇與實(shí)際制作

那么這兩種方案應(yīng)該選哪一種呢？對(duì)比之下，我選了方案1。原因有2：

中繼鏡這玩意，我找了半天沒有找到合適的廠商提供（不清楚這玩意到底什么領(lǐng)域用的多），怕有坑；

2. 自己沒有精密的光學(xué)器件，怕不好控制中繼鏡到后面3個(gè)相機(jī)距離相等。

但方案1還是有缺陷的，那就是鏡頭的視角FoV不能太大，因?yàn)榉止忡R尺寸限制，F(xiàn)oV太大會(huì)無(wú)法完全被分光鏡覆蓋。例如，采用2.5立方厘米的分束立方，12mm鏡頭，拍視頻如下，可以發(fā)現(xiàn)存在一個(gè)嚴(yán)重的對(duì)焦問(wèn)題：對(duì)焦中心區(qū)域時(shí)，分束立方側(cè)面反光但是失焦的產(chǎn)生彌散圓，會(huì)對(duì)區(qū)域的成像造成影響。如果是經(jīng)過(guò)2次分光，F(xiàn)oV會(huì)更?。ㄒ虼朔桨?采用了前端加中繼鏡，那樣的FoV是中繼鏡或其前方物鏡的FoV）。

（12mm鏡頭拍攝經(jīng)過(guò)分光鏡后的圖像）

上面提到了分束立方，如左下圖，上面兩篇論文用的都是這玩意；還有一種東西叫“分光平面”，右下圖。

（圖：分光立方和分光平面）

二者都可以進(jìn)行分光，但有一些區(qū)別。

分束立方，只有一個(gè)分光面（45°對(duì)角線處），因此成像質(zhì)量較好，但每個(gè)側(cè)面會(huì)出現(xiàn)鏡像反射（上面解釋的），同時(shí)價(jià)格較高；體積一般在2-2.5立方厘米左右，限制了鏡頭的FoV不能太大（實(shí)測(cè)18mm焦距鏡頭懟到分束立方后面才基本ok）；

分光平面，在光入射和出射都會(huì)發(fā)生一次反射有可能會(huì)造成虛影（但一般一側(cè)鍍膜降低這種影響），價(jià)格低且尺寸更大（淘寶能輕易買到5平方厘米的），而且不會(huì)發(fā)生立方的側(cè)面發(fā)光問(wèn)題。

買回來(lái)以后，具體的安裝固定，可以參考上面兩篇論文，采用做光學(xué)的整套設(shè)備，但這種成本太高。也可以采用[3]這篇論文的方法，直接3D打印固定，如下圖：

在安裝時(shí)，有些注意事項(xiàng)或提醒：

自測(cè)采用3D打印件安裝分光鏡和相機(jī)，精度也ok；

分光鏡除入射和出射方向外，其他面盡量全部遮擋不透光，避免其他光線干擾；

分光平面盡量保證45°安裝，后續(xù)相機(jī)對(duì)準(zhǔn)；

經(jīng)過(guò)一步簡(jiǎn)單的光學(xué)校準(zhǔn)消除細(xì)微誤差：放一個(gè)棋盤格，計(jì)算兩個(gè)相機(jī)拍攝圖像的單應(yīng)性矩陣，然后對(duì)齊；

分光立方、分光平面都有偏振/非偏振等多種型號(hào)，選擇非偏振；

淘寶上最便宜的分光平面精度就夠（小幾百），不需要買很貴的。

審核編輯 ：李倩