智能手機(jī)攝像頭中：普通彩色相機(jī)（RGB） + 深度相機(jī)（Depth）的技術(shù)原理。



首先來(lái)解釋一下什么是深度相機(jī)吧。



深度相機(jī)



顧名思義，深度相機(jī)就是可以直接獲取場(chǎng)景中物體距離攝像頭物理距離的相機(jī)。根據(jù)原理不同，主要有飛行時(shí)間（TOF）、結(jié)構(gòu)光、激光掃描幾種方式（注：有些地方將雙目立體視覺相機(jī)也列為深度相機(jī)的一種，它是單純依靠算法計(jì)算得到的深度信息）。目前使用較多的是TOF相機(jī)。目前主流的TOF相機(jī)廠商有PMD、MESA、Optrima、微軟等幾家，其中MESA在科研領(lǐng)域使用較多；PMD是唯一在室內(nèi)/外都能使用的TOF相機(jī)廠商，多用于科研、工業(yè)等各種場(chǎng)合；Optrima、微軟則主要面向家庭、娛樂應(yīng)用，價(jià)位較低。



因?yàn)門OF相機(jī)使用的較為廣泛，在此主要介紹一下TOF相機(jī)的原理。



TOF相機(jī)

TOF（Time of flight）直譯為“飛行時(shí)間”。其測(cè)距原理是通過(guò)給目標(biāo)連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過(guò)探測(cè)光脈沖的飛行（往返）時(shí)間來(lái)得到目標(biāo)物距離。這種技術(shù)跟3D激光傳感器原理基本類似，只不過(guò)3D激光傳感器是逐點(diǎn)掃描，而TOF相機(jī)則是同時(shí)得到整幅圖像的深度（距離）信息。




TOF組成



TOF相機(jī)采用主動(dòng)光探測(cè)，通常包括以下幾個(gè)部分：



1、照射單元

照射單元需要對(duì)光源進(jìn)行脈沖調(diào)制之后再進(jìn)行發(fā)射，調(diào)制的光脈沖頻率可以高達(dá)100MHz。因此，在圖像拍攝過(guò)程中，光源會(huì)打開和關(guān)閉幾千次。各個(gè)光脈沖只有幾納秒的時(shí)長(zhǎng)。相機(jī)的曝光時(shí)間參數(shù)決定了每次成像的脈沖數(shù)。



要實(shí)現(xiàn)精確測(cè)量，必須精確地控制光脈沖，使其具有完全相同的持續(xù)時(shí)間、上升時(shí)間和下降時(shí)間。因?yàn)榧词购苄〉闹皇且患{秒的偏差即可產(chǎn)生高達(dá)15 c m的距離測(cè)量誤差。



如此高的調(diào)制頻率和精度只有采用精良的LED或激光二極管才能實(shí)現(xiàn)。



一般照射光源都是采用人眼不可見的紅外光源。



2、光學(xué)透鏡

用于匯聚反射光線，在光學(xué)傳感器上成像。不過(guò)與普通光學(xué)鏡頭不同的是這里需要加一個(gè)帶通濾光片來(lái)保證只有與照明光源波長(zhǎng)相同的光才能進(jìn)入。這樣做的目的是抑制非相干光源減少噪聲，同時(shí)防止感光傳感器因外部光線干擾而過(guò)度曝光。



3、成像傳感器

是TOF的相機(jī)的核心。該傳感器結(jié)構(gòu)與普通圖像傳感器類似，但比圖像傳感器更復(fù)雜，它包含2個(gè)或者更多快門，用來(lái)在不同時(shí)間采樣反射光線。因此，TOF芯片像素比一般圖像傳感器像素尺寸要大得多，一般100um左右。



4、控制單元

相機(jī)的電子控制單元觸發(fā)的光脈沖序列與芯片電子快門的開/閉精確同步。它對(duì)傳感器電荷執(zhí)行讀出和轉(zhuǎn)換，并將它們引導(dǎo)至分析單元和數(shù)據(jù)接口。



5、計(jì)算單元

計(jì)算單元可以記錄精確的深度圖。深度圖通常是灰度圖，其中的每個(gè)值代表光反射表面和相機(jī)之間的距離。為了得到更好的效果，通常會(huì)進(jìn)行數(shù)據(jù)校準(zhǔn)。

TOF測(cè)距原理



下面來(lái)介紹一個(gè)經(jīng)過(guò)高度簡(jiǎn)化的測(cè)距原理。



照射光源一般采用方波脈沖調(diào)制，這是因?yàn)樗脭?shù)字電路來(lái)實(shí)現(xiàn)相對(duì)容易。深度相機(jī)的每個(gè)像素都是由一個(gè)感光單元（如光電二極管）組成，它可以將入射光轉(zhuǎn)換為電流，感光單元連接著多個(gè)高頻轉(zhuǎn)換開關(guān)（下圖的G1，G2）可以把電流導(dǎo)入不同的可以儲(chǔ)存電荷(下圖S1，S2)的電容里。




相機(jī)上的控制單元打開光源然后再關(guān)閉，發(fā)出一個(gè)光脈沖。在同一時(shí)刻，控制單元打開和關(guān)閉芯片上的電子快門。由光脈沖以這種方式產(chǎn)生的電荷S0存儲(chǔ)在感光元件上。


然后，控制單元第二次打開并關(guān)閉光源。這次快門打開時(shí)間較晚，即在光源被關(guān)閉的時(shí)間點(diǎn)打開?，F(xiàn)在生成的電荷S1也被存儲(chǔ)在感光元件上。




因?yàn)閱蝹€(gè)光脈沖的持續(xù)時(shí)間非常短，此過(guò)程會(huì)重復(fù)幾千次，直到達(dá)到曝光時(shí)間。然后感光傳感器中的值會(huì)被讀出，實(shí)際距離可以根據(jù)這些值來(lái)計(jì)算。



記光的速度為c，tp為光脈沖的持續(xù)時(shí)間， S0表示較早的快門收集的電荷， S1表示延遲的快門收集的電荷，那么距離d可以由如下公式計(jì)算：


最小的可測(cè)量距離是：在較早的快門期間S0中收集了所有的電荷，而在延遲的快門期間S1沒有收集到電荷，即S1 = 0。代入公式會(huì)得出最小可測(cè)量距離d=0。



最大的可測(cè)量的距離是：在S1中收集了所有電荷，而在S0中根本沒有收集到電荷。然后，該公式得出d= 0.5 x c × tp。因此最大可測(cè)量距離是通過(guò)光脈沖寬度來(lái)確定的。例如，tp = 50 ns，代入上式，得到最大測(cè)量距離d = 7.5m。

TOF相機(jī)影響因素

影響ToF相機(jī)的測(cè)量精度的因素如下：



1、多重反射。

距離測(cè)量要求光只反射一次。但是鏡面或者一些角落會(huì)導(dǎo)致光線的多次反射，這會(huì)導(dǎo)致測(cè)量失真。如果多重反射使得光線完全偏轉(zhuǎn)，則沒有反射光線進(jìn)入相機(jī)，從而無(wú)法正確測(cè)量反射面的距離。反之，如果其他方向的光通過(guò)鏡面反射進(jìn)入芯片，則可能會(huì)發(fā)生過(guò)度曝光。見下圖。




2、散射光

在鏡頭內(nèi)或在鏡頭后面發(fā)生多余反射會(huì)出現(xiàn)散射光，如下圖所示，散射光會(huì)導(dǎo)致圖像褪色，對(duì)比度下降等不良影響。所以要避免在相機(jī)正前方有強(qiáng)烈反光的物體存在。




3、環(huán)境光

前面說(shuō)過(guò)，深度相機(jī)鏡頭上會(huì)有一個(gè)帶通濾光片來(lái)保證只有與照明光源波長(zhǎng)相同的光才能進(jìn)入，這樣可以抑制非相干光源提高信噪比。這種方式確實(shí)能夠比較有效地過(guò)濾掉人造光源，但是，我們常見的日光幾乎能夠覆蓋整個(gè)光譜范圍，這其中包括和照明光源一樣的波長(zhǎng)，在某些情況下（如夏天的烈日）這部分光強(qiáng)可以達(dá)到很大，會(huì)導(dǎo)致感光傳感器出現(xiàn)過(guò)度曝光。因此相機(jī)如果想在這種條件下正常工作，仍然需要額外的保護(hù)機(jī)制。



4、溫度

電子元件的精度受溫度的影響。所以當(dāng)溫度波動(dòng)時(shí)會(huì)影響電子元件的性能，從而影響到脈沖調(diào)制的精度。前面說(shuō)過(guò)一納秒的脈沖偏差即可產(chǎn)生高達(dá)15 c m的距離測(cè)量誤差，因此相機(jī)要做好散熱，這樣才能保證測(cè)量精度。



TOF相機(jī)輸出

那么TOF相機(jī)最后輸出的是什么呢？



TOF相機(jī)內(nèi)部每個(gè)像素經(jīng)過(guò)上述過(guò)程都可以得到一個(gè)對(duì)應(yīng)的距離，所有的像素點(diǎn)測(cè)量的距離就構(gòu)成了一幅深度圖，如下圖所示。左邊是原圖，右邊是對(duì)應(yīng)的深度圖。





可以看到深度圖其實(shí)是一張灰度圖，它是一張三維的圖：水平垂直坐標(biāo)對(duì)應(yīng)像素位置，該位置的灰度值對(duì)應(yīng)的是該像素距離攝像頭的距離。所以深度圖中的每個(gè)像素可以表示空間中一個(gè)點(diǎn)的三維坐標(biāo)，所以深度圖中的每個(gè)像素也稱為體像素（voxel）。



深度信息融合

當(dāng)我們獲得了深度圖后，下一步就是要把深度信息融合到普通RGB相機(jī)拍攝的彩色圖片。這一步并非我們想象的那么容易，需要強(qiáng)大的算法來(lái)保障。在此列舉兩個(gè)因素為例進(jìn)行說(shuō)明：



1、深度相機(jī)的分辨率目前還比較低，一般都是VGA（640 x 480）以下。而現(xiàn)在普通的RGB相機(jī)分辨率都已經(jīng)到千萬(wàn)像素級(jí)以上了，是深度相機(jī)分辨率的幾十倍甚至上百倍。因此需要將低分辨的深度圖變成和RGB相機(jī)一致的高分辨率，這種“從無(wú)到有”的分辨率提升需要利用彩色圖中物體的紋理、邊界等內(nèi)容信息，這個(gè)過(guò)程要想保持細(xì)節(jié)是比較困難的。



2、深度相機(jī)和彩色相機(jī)融合時(shí)還需要知道兩個(gè)相機(jī)的畸變系數(shù)、光學(xué)中心、相對(duì)旋轉(zhuǎn)/平移量等一系列參數(shù)，這就需要對(duì)兩個(gè)相機(jī)進(jìn)行相機(jī)標(biāo)定工作。而深度相機(jī)的低分辨率對(duì)于相機(jī)標(biāo)定工作也是一個(gè)較大的挑戰(zhàn)。



TOF Vs 雙目視覺

讀者可能會(huì)有疑問(wèn)，現(xiàn)在雙攝手機(jī)上的兩個(gè)普通的彩色相機(jī)不就可以計(jì)算深度嗎？和這個(gè)深度相機(jī)測(cè)距有何不同？



雙目立體視覺測(cè)距的原理和人眼類似，通過(guò)計(jì)算空間中同一個(gè)物體在兩個(gè)相機(jī)成像的視差就可以根據(jù)如下三角關(guān)系計(jì)算得到物體離相機(jī)的距離：




但是說(shuō)起來(lái)容易，算法實(shí)現(xiàn)比較困難，雙目立體視覺測(cè)距算法的核心就是尋找對(duì)應(yīng)關(guān)系。可以理解為給定一個(gè)相機(jī)拍攝的圖片中的任意一個(gè)像素點(diǎn)，如何在另外一個(gè)相機(jī)拍攝的圖像中找到和它對(duì)應(yīng)的像素點(diǎn)，這個(gè)過(guò)程需要特征提取、特征匹配等一系列復(fù)雜的算法。但是由于光照變化、光線明暗等外在因素的影響，拍攝的兩張圖片差別可能比較大，這會(huì)對(duì)特征匹配算法提出很大的挑戰(zhàn)。如下圖是在不同光照條件下拍攝的圖片：





另外，如果拍攝的物體缺乏紋理和細(xì)節(jié)（比如拍攝一張白紙）的話，也很難進(jìn)行特征匹配。這些都對(duì)算法的魯棒性提出了很大的挑戰(zhàn)。



雖然TOF相機(jī)和雙目立體視覺都能實(shí)現(xiàn)測(cè)距的功能，但是它們還是有很大不同，在此我做了了簡(jiǎn)單的表格如下：







結(jié)構(gòu)光

簡(jiǎn)單的說(shuō)一下結(jié)構(gòu)光測(cè)距的方法吧！



結(jié)構(gòu)光技術(shù)就是使用提前設(shè)計(jì)好的具有特殊結(jié)構(gòu)的圖案（比如離散光斑、條紋光、編碼結(jié)構(gòu)光等），然后將圖案投影到三維空間物體表面上，使用另外一個(gè)相機(jī)觀察在三維物理表面成像的畸變情況。如果結(jié)構(gòu)光圖案投影在該物體表面是一個(gè)平面，那么觀察到的成像中結(jié)構(gòu)光的圖案就和投影的圖案類似，沒有變形，只是根據(jù)距離遠(yuǎn)近產(chǎn)生一定的尺度變化。但是，如果物體表面不是平面，那么觀察到的結(jié)構(gòu)光圖案就會(huì)因?yàn)槲矬w表面不同的幾何形狀而產(chǎn)生不同的扭曲變形，而且根據(jù)距離的不同而不同，根據(jù)已知的結(jié)構(gòu)光圖案及觀察到的變形，就能根據(jù)算法計(jì)算被測(cè)物的三維形狀及深度信息。





業(yè)界比較有名的就是以色列PrimeSense公司的Light Coding的方案，該方案最早被應(yīng)用于Microsoft的明星產(chǎn)品Kinect上。目前該公司被蘋果公司收購(gòu)，可見蘋果公司也將在深度相機(jī)領(lǐng)域有所動(dòng)作。



結(jié)構(gòu)光技術(shù)受環(huán)境光源影響較大，更適合室內(nèi)的應(yīng)用場(chǎng)景，而且?guī)瘦^低，所以更適合靜態(tài)場(chǎng)景或者緩慢變化的場(chǎng)景。其優(yōu)勢(shì)就是能夠獲得較高分辨率的深度圖像。



雙目視覺 Vs 結(jié)構(gòu)光 Vs TOF

下表是雙目立體視覺、結(jié)構(gòu)光、TOF三種可以測(cè)量深度（距離）的技術(shù)方案綜合比較：





（點(diǎn)擊看大圖）

從上述的對(duì)比分析來(lái)看，TOF方案具有響應(yīng)速度快，深度信息精度高，識(shí)別距離范圍大，不易受環(huán)境光線干擾等優(yōu)勢(shì)。因此想要在移動(dòng)端直接實(shí)現(xiàn)深度的測(cè)量，最有競(jìng)爭(zhēng)力的就是TOF方案了。



典型手機(jī)

典型代表手機(jī)：聯(lián)想Phab 2。



目前可以買到的具備直接深度測(cè)量的智能手機(jī)只有Google和聯(lián)想合作的聯(lián)想Phab 2，2016年11月推出，是全球首款支持Google Project Tango技術(shù)的手機(jī)，其深度相機(jī)采用TOF技術(shù)方案，由PMD公司提供。



華碩也宣布將在2017年會(huì)推出帶深度相機(jī)的手機(jī)Zenfone  AR，號(hào)稱是全球首款同時(shí)支持Google Project Tango（AR）和Daydream（VR）的手機(jī)。



據(jù)說(shuō)iPhone8也將會(huì)使用深度相機(jī)，果然收購(gòu)PrimeSense公司是有目的的，我們拭目以待。



深度相機(jī)應(yīng)用

深度相機(jī)的應(yīng)用范圍非常廣泛：比如未來(lái)幾年將會(huì)迅速商業(yè)化的手勢(shì)識(shí)，以及活體人臉識(shí)別、空間測(cè)距、三維重建、AR(增強(qiáng)現(xiàn)實(shí))等領(lǐng)域。



1、手勢(shì)識(shí)別。

TOF深度相機(jī)可以將人臉、身體、手臂、手指從背景中分離，并且這種分割置信度較高，不受自然光變化的影響，同時(shí)能夠?qū)崟r(shí)性處理，所以這將在智能交互領(lǐng)域大有用武之地。預(yù)計(jì)最近幾年會(huì)迅速進(jìn)入消費(fèi)級(jí)電子產(chǎn)品中。







2、真實(shí)的AR游戲體驗(yàn)。

如下圖是Phab 2的AR游戲展示。由于在二維圖像中融合了實(shí)時(shí)的深度信息，所以AR游戲的體驗(yàn)比較真實(shí)。比如虛擬出來(lái)的一只貓，通過(guò)實(shí)時(shí)的空間深度感知，它可以“感受”到空間的相對(duì)位置關(guān)系，當(dāng)它走到桌子邊緣的時(shí)候，會(huì)很自然地跳到地面上，這在之前的AR游戲中是難以實(shí)現(xiàn)的。



3、三維空間測(cè)量。

由于能夠?qū)崟r(shí)獲得深度信息，所以實(shí)現(xiàn)三維空間測(cè)量也是順其自然的。比如在室內(nèi)裝修領(lǐng)域，可以方便的將各種虛擬的家具以真實(shí)的尺寸擺放到現(xiàn)實(shí)環(huán)境中，用戶拿著手機(jī)就可以體驗(yàn)家居放在室內(nèi)的360°真實(shí)效果，這無(wú)疑將是一個(gè)令人激動(dòng)的應(yīng)用場(chǎng)景。





4、三維掃描/重建。

可以用于三維物體和k建模和機(jī)器人視覺導(dǎo)航和定位。比如你看到一座非常喜歡的雕塑，就可以利用手機(jī)上的彩色相機(jī)+深度相機(jī)對(duì)它掃描一周，結(jié)合相應(yīng)的算法就可以生成該雕塑的三維模型數(shù)據(jù)，利用三維打印機(jī)就可以方便的打印出一個(gè)三維的雕塑復(fù)制品出來(lái)。





5、更廣泛的其他應(yīng)用。

融入了深度信息的三維影像可以用于活體人臉識(shí)別，避免傳統(tǒng)二維人臉識(shí)別的安全隱患；可以更加方便進(jìn)行人體三維測(cè)量，從而推動(dòng)虛擬在線試衣行業(yè)的發(fā)展等。



隨著深度測(cè)量技術(shù)的發(fā)展，必然還有出現(xiàn)更多有趣的應(yīng)用場(chǎng)景。


原文：https://blog.csdn.net/electech6/article/details/61687009 
版權(quán)聲明：本文為博主原創(chuàng)文章，轉(zhuǎn)載請(qǐng)附上博文鏈接！