Image sensor 知識簡介

一口Linux

點擊左上方藍色“一口Linux”，選擇“設(shè)為星標(biāo)”
第一時間看干貨文章
?【干貨】嵌入式驅(qū)動工程師學(xué)習(xí)路線?【干貨】Linux嵌入式知識點-思維導(dǎo)圖-免費獲取?【就業(yè)】一個可以寫到簡歷的基于Linux物聯(lián)網(wǎng)綜合項目?【就業(yè)】找工作簡歷模版


前言

攝像機用來成像的感光元件叫做Image Sensor或Imager。目前廣泛使用的2種Image Sensor是CCD和CMOS Image Sensor（CIS）。


前言


在數(shù)碼攝影機市場上已經(jīng)廣泛應(yīng)用了CCD技術(shù)，但是CCD需要消耗大量的能量和相當(dāng)多的支持芯片。所以CMOS Image Sensor應(yīng)運而生。其每個像素都可以進行自己的電荷轉(zhuǎn)換，從而顯著減少產(chǎn)生圖像所需要的能量和支持電路。此外，CMOS Image Sensor采用與大多數(shù)微處理器和存儲器芯片相同的材料和技術(shù)制造，使其更容易制造并且更具成本效益，所以被手機以及其它移動產(chǎn)品廣泛使用。這里主要將以CMOS Image Sensor為主詳細介紹。

1  CMOS Sensor 原理

CMOS 是英文Complementary Metal Oxide Semicondutor 的縮寫，這是一種主流的半導(dǎo)體工藝，具有功耗低、速度快的優(yōu)點，被廣泛地用于制造CPU、存儲器和各種數(shù)字邏輯芯片�；�于CMOS 工藝設(shè)計的圖像傳感器叫做CMOS Image Sensor（CIS），與通用的半導(dǎo)體工藝尤其是存儲器工藝相似度達到90%以上。
CMOS圖像傳感器采用CMOS開關(guān)來切換各個光電二極管的信號，如圖1所示，每一個像元由一個光電二極管和一個CMOS開關(guān)構(gòu)成。當(dāng)行驅(qū)動電路選中某一行時，此行像元輸出信號的CMOS開關(guān)導(dǎo)通，其余行的CMOS開關(guān)不導(dǎo)通，此行像元的光電信號傳輸?shù)搅羞x多路器。列選多路器也是由一系列的CMOS開關(guān)構(gòu)成，依次將此行的信號順序聯(lián)接到輸出端，完成一列信號的順序讀出。

圖1 CMOS圖像傳感器原理

2   CCD圖像傳感器

CCD 器件實質(zhì)上是一種模擬移位寄存器。其原理是在時鐘的控制下，將信號電荷由一個勢阱轉(zhuǎn)移到另一個勢阱，從而實現(xiàn)模擬信號的移位轉(zhuǎn)移。CCD 圖像傳感器利用CCD 器件的信號轉(zhuǎn)移功能來實現(xiàn)電掃描。如圖2 所示為CCD 圖像傳感器的工作示意圖，信號的多路轉(zhuǎn)換由垂直轉(zhuǎn)移CCD 器件及水平轉(zhuǎn)移CCD 器件兩部分組成。在實際的CCD圖像傳感器中，光電轉(zhuǎn)換器件與垂直CCD 器件是集成在一起的。垂直CCD 器件將每一行的光電二極管信號順次轉(zhuǎn)移到水平CCD器件上；而水平CCD器件將這一行信號轉(zhuǎn)移到輸出端。重復(fù)以上過程，形成一場圖像信號。

圖2 CCD圖像傳感器原理


3   CCD與CMOS圖像傳感器的比較

CCD與CMOS的主要區(qū)別如下圖3所示，CCD 器件通常只有一個電荷-電壓轉(zhuǎn)換器（Charge-Voltage Converter），當(dāng)Sensor讀出像素數(shù)據(jù)時，每一行像素中積累的電荷需要在行電壓的控制下一步步“蠕動”到下一行，直到最終抵達陣列所屬的行緩沖（Row Buffer），然后開始在列電壓的控制下繼續(xù)一步“蠕動”到陣列出口處的電荷-電壓轉(zhuǎn)換器，完成讀出過程。CCD的一個主要優(yōu)點在于所有像素共享同一個電荷-電壓轉(zhuǎn)換器，所以像素一致性非常好。相比之下CMOS每個像素都有自己專用的電荷-電壓轉(zhuǎn)換器，一致性很不容易控制。當(dāng)CCD像素數(shù)多于200萬時，所有像素共用一個電荷-電壓轉(zhuǎn)換器會嚴(yán)重影響讀出速度，所以此時會考慮把像素設(shè)計成兩個或四個陣列，每個陣列配備專用的行緩沖和電荷-電壓轉(zhuǎn)換器，可以成倍加快讀出速度。

圖3 CCD與CMOS的主要區(qū)別


4
  CMOS Sensor像素結(jié)構(gòu)

被動像素 (Passive Pixel)
最簡單的Pixel結(jié)構(gòu)只有一個PN結(jié)作為感光結(jié)構(gòu)，以及一個與它相連的reset晶體管（RS）作為一個開關(guān)，如圖4所示：

圖4 單PN節(jié)像被動素結(jié)構(gòu)體
Passive Pixel結(jié)構(gòu)的工作方式如下：

開始曝光前，像素的行選擇地址會上電，于是RS使能，連通PN結(jié)與列選擇器（Column Bus），同時列選擇器會上電，使PN結(jié)上加高反向電壓（如3.3 V），短暫延時后PN結(jié)內(nèi)電子空穴對達到平衡，于是reset 操作完成，RS 信號失效，隔斷PN結(jié)與columnbus的連通。

開始曝光時，PN結(jié)內(nèi)的硅在吸收光子激發(fā)出電子-空穴對。受PN結(jié)內(nèi)電場的影響，電子會流向PN結(jié)的n+端，空穴會流向PN結(jié)的p-substrate。因此，曝光后的的PN結(jié)反向電壓會降低。

曝光結(jié)束后，RS再次使能，讀出電路會測量PN結(jié)內(nèi)的電壓，該電壓與原反向電壓之間的差值即正比于PN結(jié)接受到的光子數(shù)。

在讀出感光信號后，會對PN結(jié)進行再次reset，準(zhǔn)備下次曝光。[/ol]當(dāng)RS使能且列選擇器通高電平時，在電路原理上相當(dāng)于對PN結(jié)的電容進行充電，但是充電后得到的電壓值卻有一定的隨機性，一方面每個PN結(jié)的實際電容大小會服從一定的概率分布，結(jié)與結(jié)之間存在固定的偏差，這會構(gòu)成一種固定模式噪聲（Fixed Pattern Noise, FPN）；另一方面由于電路中存在暗電流噪聲，即使是同一個結(jié)每次充電后得到的實際電壓也不完全一樣，這就構(gòu)成了另一種模式的噪聲，它與PN結(jié)的結(jié)構(gòu)、溫度和結(jié)電容大小都有關(guān)，稱為kTC噪聲。

主動像素 （Active Pixel）
      目前主流的CMOS傳感器都采用Active Pixel 結(jié)構(gòu)設(shè)計。如圖5所示的Active Pixel 結(jié)構(gòu)稱為3T結(jié)構(gòu)，每個像素包含一個感光PN結(jié)和3個晶體管，即一個復(fù)位管RST，一個行選擇器RS，一個放大器SF。

圖5 3T主動像素結(jié)構(gòu)體
Active Pixel 結(jié)構(gòu)的工作方式如下：

復(fù)位。使能RST給PN結(jié)加載反向電壓，復(fù)位完成后撤銷RST。

曝光。與Passive Pixel 原理相同。

讀出。曝光完成后，RS會被激活，PN結(jié)中的信號被SF放大后讀出。

循環(huán)。讀出信號后，重新復(fù)位，曝光，讀出，不斷輸出圖像信號。[/ol]基于PN結(jié)的Active Pixel 流行于90年代中期，它解決了很多噪聲問題。但是由PN結(jié)復(fù)位引入的kTC噪聲卻并沒有得到解決。
PPD結(jié)構(gòu)
PPD（Pinned Photodiode Pixel）的出現(xiàn)是CMOS性能的巨大突破，它允許相關(guān)雙采樣（CDS）電路的引入，消除了復(fù)位引入的kTC噪聲，運放器引入的1/f噪聲和offset噪聲，如圖6所示。


圖6 PPD結(jié)構(gòu)PPD結(jié)構(gòu)的工作方式如下：

曝光。

復(fù)位。曝光結(jié)束時使能RST，將讀出區(qū)（n+區(qū)）復(fù)位到高電平。

讀復(fù)位電平。讀出n+區(qū)的電平，其中包含運放的offset噪聲，1/f噪聲以及復(fù)位引入的kTC噪聲，將讀出的信號存儲在第一個電容中。

電荷轉(zhuǎn)移。使能TX，將電荷從感光區(qū)完全轉(zhuǎn)移到n+區(qū)準(zhǔn)備讀出，這里的機制類似于CCD中的電荷轉(zhuǎn)移。

讀信號電平。將n+區(qū)的電壓信號讀出到第二個電容。這里的信號包括：光電轉(zhuǎn)換產(chǎn)生的信號，運放產(chǎn)生的offset，1/f噪聲以及復(fù)位引入的kTC噪聲。

信號輸出。將存儲在兩個電容中的信號相減（如采用CDS，即可消除Pixel中的主要噪聲），得到的信號在經(jīng)過模擬放大，然后經(jīng)過ADC采樣，即可進行數(shù)字化信號輸出。
[/ol]PPD像素結(jié)構(gòu)有如下優(yōu)點：

讀出結(jié)構(gòu)（n+區(qū)）的kTC噪聲完全被CDS消除。

運放器的offset和1/f噪聲，都會因CDS得到明顯改善。

感光結(jié)構(gòu)因復(fù)位引起的kTC噪聲，由于PPD電荷的全轉(zhuǎn)移，不再存在。

光敏感度，它直接取決于耗盡區(qū)的寬度，由于PPD的耗盡區(qū)一直延伸到近Si?SiO2界面，PPD的光感度更高。

由于p-n-p的雙結(jié)結(jié)構(gòu)，PPD的電容更高，能產(chǎn)生更高的動態(tài)范圍。

由于Si?SiO2界面由一層p+覆蓋，減小了暗電流。
雙相關(guān)采樣（CDS）
雙相關(guān)采樣（Correlated Double Samping），其基本思想是進行兩次采樣，先采樣一個參考信號用于評估背景噪聲，延遲很短時間后再采集目標(biāo)信號，從第二次采樣中減去參考信號即得到去除了大部分背景噪聲的目標(biāo)信號，其原理模型如下圖7所示。

圖7 去噪原理模型
CDS成立的條件是在兩次采樣間背景噪聲的幅度變化不大，因此它對去除固定噪聲（FPN）和低頻噪聲效果比較理想，如1/f噪聲，kTC噪聲等。

圖8 CDS電路模型

5   CMOS Sensor特性

CMOS Sensor的本質(zhì)是計量光電轉(zhuǎn)換事件的線性傳感器，在一定意義上可以說是光子計數(shù)器，Sensor上每個像素的讀值都反映了指定時間內(nèi)該像素捕獲光子的數(shù)量。一個理想的Sensor應(yīng)該具備以下一些特性：

輸出與輸入恒成正比（無Sensor噪聲，只有信號本身的噪聲）

輸入輸出均可以無限大

高靈敏度，小的輸入激勵大的輸出

高幀率

高分辨率

低功耗

工藝簡單

低成本理想CMOS Sensor 的響應(yīng)特性下圖所示：

圖9 理想sensor響應(yīng)特性
圖10中直線的斜率決定了單位輸入能夠激勵的響應(yīng)大小，這個斜率稱為增益系數(shù)（Gain）。Sensor 會提供一組接口用于調(diào)節(jié)實際生效的增益值。

圖10 理想Sensor響應(yīng)特性曲線
而實際的Sensor只能是在一段有限的區(qū)間內(nèi)保持線性響應(yīng)，對于幅度過小或者過大的輸入信號會不能如實地表示。

圖11 實際sensor響應(yīng)特性

6   CMOS Sensor噪聲（Noise）


假設(shè)照明強度恒定、均勻，相機拍攝圖像中的噪聲是測量信號中空間和時間振動的總和。下圖以傳遞函數(shù)的形式總結(jié)了CMOS Sensor 光、電轉(zhuǎn)換模型以及幾種主要噪聲的數(shù)學(xué)模型。

圖12 傳遞噪聲模型下圖13更加細致地描述了CMOS Sensor 成像過程中各種噪聲的來源和作用位置。

圖13 噪聲的來源途徑

暗電流噪聲（Dark Noise）
硅片中電子的熱運動會導(dǎo)致一些價電子隨機激發(fā)至導(dǎo)帶中形成暗電流（Dark Current），所以即使完全沒有光子入射，Sensor也會存在一定的信號輸出。在曝光過程中，暗電流的隨機變化即形成暗散粒噪聲。暗電流變化的主要原因是電子穿過PN結(jié)時會遇到PN結(jié)的電勢屏障（Darrier），電子穿越屏障需要經(jīng)歷動能-勢能-動能的轉(zhuǎn)換過程，所以需要耗費一些時間。暗散粒噪聲在統(tǒng)計上服從泊松分布，與光信號的高低水平無關(guān)，但與傳感器的溫度有關(guān)，一般的規(guī)律是溫度每升高8°C暗電流翻一倍。所以在設(shè)計電路時必須注意把容易發(fā)熱的電子元件盡可能布置在遠離Sensor的地方。

圖14 暗電流隨溫度變化規(guī)律
讀出噪聲
      該噪聲是在產(chǎn)生電子信號時生成的。Sensor使用AD轉(zhuǎn)換器（ADC）將模擬放大器輸出的模擬電壓采樣為數(shù)字電壓。由于數(shù)字信號的精度總是有限的，通常為10比特至14比特，幅值位于兩個相鄰數(shù)字之間的模擬信號會四舍五入到最接近的數(shù)值，所以這個過程會引入量化噪聲，這是讀出噪聲的重要組成部分。該噪聲由傳感器的設(shè)計決定，意義是至少需要多少個電子才能驅(qū)動讀出電路的ADC變化一個比特。它與信號高低水平和傳感器溫度無關(guān)。
光電流噪聲（Shot Noise）
      該噪聲是與落于傳感器像素上光子相關(guān)的統(tǒng)計噪聲。在微觀尺度下，光子流到達傳感器的行為在時間和空間上都是不均勻的，就像統(tǒng)計高速公路上的車流，有時車流比較密集，過一會又變得稀疏。有時左邊的車道密集，過一會右邊的車道密集，整體上其統(tǒng)計規(guī)律符合泊松分布。光子散粒噪聲是與被測信號的高低水平有關(guān)的，與傳感器溫度無關(guān)。
固定模式噪聲（FPN）
      該噪聲是由像素的空間不均勻性引起的，CMOS Sensor 每個像素內(nèi)都配置一個電荷電壓放大器，每行、每列都有一些晶體管用于控制像素的復(fù)位和讀出，這些器件的工作參數(shù)相對理論值的漂移就構(gòu)成一種固定模式噪聲。另外，壞像素、瑕疵像素也可以視為一種固定模式噪聲，其效果大致上可以用下面的示意圖15模擬。

圖15 FPN 模型
復(fù)位噪聲
       卷簾曝光方式需要在先對勢阱復(fù)位，將勢阱中自由積累的電荷全部釋放，為后續(xù)的讀出準(zhǔn)備。但是由于暗電流的存在，每次復(fù)位后都會殘留一些大小隨機的噪聲信號，即復(fù)位噪聲，其大小與像素結(jié)構(gòu)、芯片溫度、PN結(jié)電容有關(guān)，因此也稱為kTC噪聲。像素的復(fù)位是需要一定時間的。定量的研究表明，即使是采用較大的復(fù)位電流，一般也需要1ms以上的時間才能將電荷釋放干凈，如下圖16所示。

圖16 電荷釋放曲線
實際的復(fù)位控制信號通常會短于1ms，因此下一幀圖像多多少少會殘存一些上一幀圖像的影子，這個殘影叫做Image Lag，也是噪聲的一種形式。串?dāng)_噪聲（Crosstalk）
在通信領(lǐng)域中指兩條信號線之間由于屏蔽不良而發(fā)生了的信號耦合，一條線路上的信號通過線纜間存在的互感和互容饋送到了附近的信號線上，在模擬通信時代可能導(dǎo)致聽到別人的通話。在Sensor領(lǐng)域，串?dāng)_指的是入射到一個像素A的光信號沒有在這個像素里被捕獲，反而被其周圍的像素B捕獲，導(dǎo)致B產(chǎn)生了不該有的信號。
在下圖17例子中，粉色表示的是不透光的像素，不應(yīng)該有任何輸出，黃色表示正常像素，應(yīng)該有輸出。實際上，光子是可以在硅片中穿透一定的距離的，從而有機會進入到粉色像素的感光區(qū)，從而變成粉色像素的信號，這就是CMOS Sensor的串?dāng)_機制。


圖17 串?dāng)_模型
從下圖18可以看出，波長越長，串?dāng)_越嚴(yán)重，某些像素位置串?dāng)_能量可以達到5%。

圖18 波長與串?dāng)_能量曲線



7  CMOS Sensor工藝結(jié)構(gòu)

前照式工藝（FSI）
傳統(tǒng)FSI工藝的一個主要不足之處在于光敏PN結(jié)與濾光膜和微透鏡之間需要制造若干層電路結(jié)構(gòu)，由于電路高度問題會限制PN結(jié)可收集光線的面積和角度，同時光線在前進過程中會與電路結(jié)構(gòu)發(fā)生吸收、散射，所以會增加光能的損耗，如下圖19所示。

圖19 FSI工藝結(jié)構(gòu)體
背照式工藝（BSI）
隨著半導(dǎo)體工藝的進步，人們發(fā)現(xiàn)其實可以將wafer打磨得非常薄，讓光線穿透wafer，從背面入射到感光PN結(jié)，這個想法無論在技術(shù)上還是成本上都已經(jīng)變得可行，于是就產(chǎn)生了背照式工藝（BackSide Illumination, BSI）。

圖20 BSI工藝結(jié)構(gòu)體


8 CMOS Sensor 進展

Sony 于2007年推出第一代Exmor系列CMOS 圖像傳感器。與傳統(tǒng)CIS技術(shù)相比，Exmor 的主要特點是為每列像素配置了專用ADC和額外的CDS。由于ADC單元與像素的物理距離更近，并且由于大規(guī)模并行化可以降低單個器件的工作頻率，所以極大地改善了Sensor的噪聲特性。而新增的CDS又進一步抑制數(shù)字噪聲。

圖21 CDS改進對比隨著制造技術(shù)的進一步演進，在背照式工藝的基礎(chǔ)上又發(fā)展出了堆棧式（Stacked）工藝。顧名思義，堆棧式工藝把兩片或者更多片硅片上下堆疊在一起，最上層硅片全部用于制造像素的感光區(qū)，而sensor 控制所需的模擬、數(shù)字邏輯全部移到下層硅片，所以感光區(qū)占Sensor靶面尺寸的比例可以接近100%，終于達到了Sensor效率的巔峰。

圖22 FSI，BSI，Stacked結(jié)構(gòu)對比
實際上，CMOS Sensor 也可以設(shè)計成支持Global Shutter曝光方式。與CCD 類似，Gobal Shutter 的實現(xiàn)原理是每個曝光像素都伴隨一個存儲電容，感光陣列上所有像素同時曝光，然后光電子立即被轉(zhuǎn)移到存儲電容上并鎖定，等待讀出電路讀出。下圖是一種較新的Global Shutter 像素設(shè)計，該設(shè)計支持兩種不同的增益系數(shù)，因此支持HDR功能。

圖23 Global Shutter Pixel 結(jié)構(gòu)
DCG這種模式由OmniVision提出，原理是每個像素可單獨控制增益（使用下圖中的CG信號），當(dāng)工作在HDR模式時，只進行一次曝光，但分兩次讀出，一次使用HCG （High Conversion Gain）捕捉暗部信息，一次使用LCG（Low Conversion Gain）捕捉亮部信息。

圖24 DCG Pixel 結(jié)構(gòu)實驗表明這種新的像素結(jié)構(gòu)可以獲得很好的WDR性能和明顯的圖像質(zhì)量提升，如下圖25所示。

圖25 DCG 對比效果圖。
本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。
end

一口Linux

關(guān)注，回復(fù)【1024】海量Linux資料贈送
精彩文章合集
文章推薦
?【專輯】ARM?【專輯】粉絲問答?【專輯】所有原創(chuàng)?【專輯】linux入門?【專輯】計算機網(wǎng)絡(luò)?【專輯】Linux驅(qū)動?【干貨】嵌入式驅(qū)動工程師學(xué)習(xí)路線?【干貨】Linux嵌入式所有知識點-思維導(dǎo)圖