編者按：在“全民計算機視覺”的今天，其發(fā)展歷程卻鮮少有人追溯。梳理研究的過去將能讓我們更好地探索未來。權龍教授為我們介紹了三維重建的歷史發(fā)展與應用前景，也為大家在研究學習、職業(yè)選擇等方面給出了一些實用建議。

王井東：您的主要研究方向是三維重建，它的發(fā)展現(xiàn)狀和應用前景如何，您為什么看好它？

權龍：說三維重建首先要從計算機視覺講起。計算機視覺包含兩個基本方向，物體識別和三維重建。圖像識別的突破性進展源自于2012年卷積神經(jīng)網(wǎng)絡（CNN）的興起。在此之前，計算機視覺的核心研究方向是三維重建。因為在當時，對于圖像的特征提取主要是通過三維重建的方法來定義和實現(xiàn)的。自2012年以來，圖像的特征便逐漸由神經(jīng)網(wǎng)絡來自動學習。

三維重建的應用是很廣泛的，對于自動駕駛、VR、AR等應用領域應用來講，三維重建是核心技術，并且實時三維重建是必然趨勢，因為我們生活在三維空間里，必須將虛擬世界恢復到三維，我們才可以和環(huán)境進行交互。所以僅僅研究識別肯定是不夠的，計算機視覺下一步必須走向三維重建，并且把三維重建和識別融為一體。

古建筑修復與重建是三維重建的一個具有代表性的應用，比如近期被燒毀的巴黎圣母院，如果通過三維模型（https://www.altizure.cn/project-model?pid=57f8d9bbe73f6760f10e916a）進行數(shù)字重建，應該能夠達到原汁原味還原其真實面貌的目的。目前在我們的三維重建項目中，名勝古跡的三維電子存檔是很重要的一部分。從表面上看，三維重建似乎沒有自動駕駛那么復雜，其實它比自動駕駛更難，因為自動駕駛的三維感知是給車識別，而VR、AR中的三維重建場景是提供給人類感知的，所以對三維重建的結果要求非常高?？傮w來講，三維重建是計算機視覺的靈魂。

權龍教授（左）和王井東博士（右）合影

王井東：三維重建在計算機視覺中確實非常重要，您可以帶大家回顧一下計算機視覺和三維重建的發(fā)展歷程嗎？

權龍：1987年在倫敦舉辦的第一屆國際計算機視覺大會ICCV可以作為現(xiàn)代計算機視覺研究的一個開端。之前很多人認為做圖像處理就是計算機視覺，其實是二者是有區(qū)別的。

計算機視覺的目標是對圖像進行理解。準確來講，計算機無法做到“理解”，只能做到“認知”。我們的研究目的是從圖像中獲取視覺特征，有了視覺特征才能開展一系列的工作。因此回顧計算機視覺的發(fā)展歷程，根據(jù)算力條件的不同，我們可以看到一個特征提取的演化過程。

80年代，人人都在做以edge為主的邊緣提取，有了edge之后，再把它高層化后的線段元做簡單的統(tǒng)計分類或者三維重建。Edge在數(shù)學上很容易定義，在定義了很多優(yōu)化準則后，到1986年John Canny提出了Canny edge detection之后，這個研究方向就到頭了。

90年代，人們對三維重建愈加重視，當時歐洲比美國要領先。幾何也追求特征提取，但一維的edge不適合幾何計算，幾何最本質的元素是點，所以很多工作開始圍繞點的特征去展開，對點的特征進行描述，然后就可以把很多東西變成矢量的無序集合，再做統(tǒng)計。三維重建的終極目標是用非標定相機（uncalibrated camera）進行重建。

1992年，Oliver Faugeras和Richard Hartley各自獨立地解決了非標定相機兩張圖像下的三維重建問題，引入了基于七點算法的基礎矩陣（Fundamental Matrix）概念，這標志著三維視覺的崛起。

1994年，我提出了六點算法（Invariants of six points and projective reconstruction from three uncalibrated images），解決了非標定相機三張圖像下的三維重建，進而在理論上徹底解決了多視重建的幾何問題（multi-view geometry）。這兩項工作共同奠定了三維重建的理論基礎，對計算機視覺的發(fā)展起到了決定性的作用。

到了2012年，卷積神經(jīng)網(wǎng)絡（CNN）的出現(xiàn)對于特征提取和圖像識別都是一個顛覆性的飛躍，從而觸發(fā)了新一波人工智能高速發(fā)展的浪潮。事實上，卷積神經(jīng)網(wǎng)絡在1989年就應用于圖像識別問題，它是今天所有卷積神經(jīng)網(wǎng)絡的鼻祖模型。

從誕生到2012年的十幾年之間，發(fā)生變化的并非卷積神經(jīng)網(wǎng)絡的架構，而是：(一）GPU的出現(xiàn)提升了計算力；(二）斯坦福大學教授李飛飛創(chuàng)建的ImageNet，她把上百萬張照片發(fā)到網(wǎng)絡上進行標注。這兩件事促成了卷積神經(jīng)網(wǎng)絡在2012年的復活。CNN的本質其實是兩點，第一點是提取特征，第二點是標準分類器。所以本質上還是提取特征，只不過特征的表達能力比之前的手工定義要高得多。

所以從特征提取這條線索上看，雖然目前計算機視覺看似處于一輪新的熱潮，但事實上一直以來大家都在做同樣的事情，只不過在不同的階段，提取的特征和采用的方式有所不同。

王井東：現(xiàn)在主流的計算機視覺研究主要集中在歐洲、美國和中國。您認為這三者的發(fā)展現(xiàn)狀和未來將如何？

權龍：確實是三足鼎立。上個世紀八九十年代，歐洲的計算機視覺發(fā)展迅速，研究人員在一定意義上把計算機視覺當作一個應用數(shù)學的問題。三維重建需要大量傳統(tǒng)數(shù)學知識，這批研究人員都有非常好的應用數(shù)學基礎，那就用數(shù)學工具去解決這些視覺問題。

同期，美國計算機視覺的研究人員也非?；钴S，但主要集中在應用領域，研究方向并不是非常清晰。隨著2012年這一波由卷積神經(jīng)網(wǎng)絡引發(fā)的人工智能的再次崛起，美國在應用方面突飛猛進，歐洲依然保持扎實的基礎研究的風格。后起之秀就是中國了，飛速發(fā)展的經(jīng)濟和創(chuàng)新氣氛使得計算機視覺的研究和商業(yè)應用在極短的時間內快速發(fā)展起來了。

王井東：您不僅在計算機視覺的研究上一如既往，也創(chuàng)立了專注三維重建的公司Altizure，那么關于學術和產(chǎn)業(yè)的選擇，您能為同學們分享一些經(jīng)驗和建議嗎？

權龍：每個人都有不同的理想和發(fā)展方向，有的人可能更適合做應用，有的人更適合做學術研究，這是因人而異的。沒必要每個人都要去做科研當教授，也沒必要每個人都去創(chuàng)業(yè)，只要能發(fā)揮自己的特長，選擇哪一條路都是非常好的。在這個多元化的社會，大家都在從不同的角度推進科技的進步。

王井東：當時是什么促使您從學術界“跨界”進入產(chǎn)業(yè)界？

權龍：很簡單，我一直在研究計算機視覺三維重建，以前的結果還不成熟，而到了某一個時機它終于能投入應用了，那我們當然要做應用，這是研究的最高境界。研究就是這樣，可能在很長時間里效果都不夠理想，那我們就要繼續(xù)研究，但當它有了用武之地時，我覺得投入實踐是順理成章的。

王井東：您認為一個計算機視覺方向的學生應該學好哪些知識，才能做更好的研究？

權龍：我對所有的人的建議是，打好應用數(shù)學和計算機的功底。應用數(shù)學是理論基礎，計算機是實現(xiàn)手段，兩方面的能力缺一不可。我不太贊同大學開設人工智能專業(yè)的做法，其實人工智能在一定意義上就是應用數(shù)學，尤其是卷積神經(jīng)網(wǎng)絡，本質上是數(shù)學優(yōu)化和統(tǒng)計，你要有很好的應用數(shù)學功底。

王井東：很多人說深度學習和計算機視覺到了瓶頸期，您認為目前最大的問題是什么？您最期待的突破又在哪里？

權龍：“瓶頸期”不是一個合適的詞匯。因為它本質上是一個應用科學，現(xiàn)在有了卷積神經(jīng)網(wǎng)絡這樣強大的工具，所有的應用方向都可以重新去摸索。剛才講到特征提取，提取完特征后去做具體的應用，很多東西是可以繼續(xù)改進的，差別在于進步有多大。

卷積神經(jīng)網(wǎng)絡的特征提取已經(jīng)是一個很大的突破了，在這個基礎之上，我想會有一系列新的應用出現(xiàn)。如果實在要說突破，那就是硬件和算力的突破。目前大熱的自動駕駛領域將很大力度地推進算力的發(fā)展，VR、AR也是同樣。有朝一日，如果算力能夠有一個顯著的突破性進展，很多無法想象的事情將會發(fā)生。