Image sensor 知識(shí)簡(jiǎn)介

一口Linux

點(diǎn)擊左上方藍(lán)色“一口Linux”，選擇“設(shè)為星標(biāo)”
第一時(shí)間看干貨文章
?【干貨】嵌入式驅(qū)動(dòng)工程師學(xué)習(xí)路線?【干貨】Linux嵌入式知識(shí)點(diǎn)-思維導(dǎo)圖-免費(fèi)獲取?【就業(yè)】一個(gè)可以寫到簡(jiǎn)歷的基于Linux物聯(lián)網(wǎng)綜合項(xiàng)目?【就業(yè)】找工作簡(jiǎn)歷模版


前言

攝像機(jī)用來(lái)成像的感光元件叫做Image Sensor或Imager。目前廣泛使用的2種Image Sensor是CCD和CMOS Image Sensor（CIS）。


前言


在數(shù)碼攝影機(jī)市場(chǎng)上已經(jīng)廣泛應(yīng)用了CCD技術(shù)，但是CCD需要消耗大量的能量和相當(dāng)多的支持芯片。所以CMOS Image Sensor應(yīng)運(yùn)而生。其每個(gè)像素都可以進(jìn)行自己的電荷轉(zhuǎn)換，從而顯著減少產(chǎn)生圖像所需要的能量和支持電路。此外，CMOS Image Sensor采用與大多數(shù)微處理器和存儲(chǔ)器芯片相同的材料和技術(shù)制造，使其更容易制造并且更具成本效益，所以被手機(jī)以及其它移動(dòng)產(chǎn)品廣泛使用。這里主要將以CMOS Image Sensor為主詳細(xì)介紹。

1  CMOS Sensor 原理

CMOS 是英文Complementary Metal Oxide Semicondutor 的縮寫，這是一種主流的半導(dǎo)體工藝，具有功耗低、速度快的優(yōu)點(diǎn)，被廣泛地用于制造CPU、存儲(chǔ)器和各種數(shù)字邏輯芯片�；�于CMOS 工藝設(shè)計(jì)的圖像傳感器叫做CMOS Image Sensor（CIS），與通用的半導(dǎo)體工藝尤其是存儲(chǔ)器工藝相似度達(dá)到90%以上。
CMOS圖像傳感器采用CMOS開關(guān)來(lái)切換各個(gè)光電二極管的信號(hào)，如圖1所示，每一個(gè)像元由一個(gè)光電二極管和一個(gè)CMOS開關(guān)構(gòu)成。當(dāng)行驅(qū)動(dòng)電路選中某一行時(shí)，此行像元輸出信號(hào)的CMOS開關(guān)導(dǎo)通，其余行的CMOS開關(guān)不導(dǎo)通，此行像元的光電信號(hào)傳輸?shù)搅羞x多路器。列選多路器也是由一系列的CMOS開關(guān)構(gòu)成，依次將此行的信號(hào)順序聯(lián)接到輸出端，完成一列信號(hào)的順序讀出。

圖1 CMOS圖像傳感器原理

2   CCD圖像傳感器

CCD 器件實(shí)質(zhì)上是一種模擬移位寄存器。其原理是在時(shí)鐘的控制下，將信號(hào)電荷由一個(gè)勢(shì)阱轉(zhuǎn)移到另一個(gè)勢(shì)阱，從而實(shí)現(xiàn)模擬信號(hào)的移位轉(zhuǎn)移。CCD 圖像傳感器利用CCD 器件的信號(hào)轉(zhuǎn)移功能來(lái)實(shí)現(xiàn)電掃描。如圖2 所示為CCD 圖像傳感器的工作示意圖，信號(hào)的多路轉(zhuǎn)換由垂直轉(zhuǎn)移CCD 器件及水平轉(zhuǎn)移CCD 器件兩部分組成。在實(shí)際的CCD圖像傳感器中，光電轉(zhuǎn)換器件與垂直CCD 器件是集成在一起的。垂直CCD 器件將每一行的光電二極管信號(hào)順次轉(zhuǎn)移到水平CCD器件上；而水平CCD器件將這一行信號(hào)轉(zhuǎn)移到輸出端。重復(fù)以上過(guò)程，形成一場(chǎng)圖像信號(hào)。

圖2 CCD圖像傳感器原理


3   CCD與CMOS圖像傳感器的比較

CCD與CMOS的主要區(qū)別如下圖3所示，CCD 器件通常只有一個(gè)電荷-電壓轉(zhuǎn)換器（Charge-Voltage Converter），當(dāng)Sensor讀出像素?cái)?shù)據(jù)時(shí)，每一行像素中積累的電荷需要在行電壓的控制下一步步“蠕動(dòng)”到下一行，直到最終抵達(dá)陣列所屬的行緩沖（Row Buffer），然后開始在列電壓的控制下繼續(xù)一步“蠕動(dòng)”到陣列出口處的電荷-電壓轉(zhuǎn)換器，完成讀出過(guò)程。CCD的一個(gè)主要優(yōu)點(diǎn)在于所有像素共享同一個(gè)電荷-電壓轉(zhuǎn)換器，所以像素一致性非常好。相比之下CMOS每個(gè)像素都有自己專用的電荷-電壓轉(zhuǎn)換器，一致性很不容易控制。當(dāng)CCD像素?cái)?shù)多于200萬(wàn)時(shí)，所有像素共用一個(gè)電荷-電壓轉(zhuǎn)換器會(huì)嚴(yán)重影響讀出速度，所以此時(shí)會(huì)考慮把像素設(shè)計(jì)成兩個(gè)或四個(gè)陣列，每個(gè)陣列配備專用的行緩沖和電荷-電壓轉(zhuǎn)換器，可以成倍加快讀出速度。

圖3 CCD與CMOS的主要區(qū)別


4
  CMOS Sensor像素結(jié)構(gòu)

被動(dòng)像素 (Passive Pixel)
最簡(jiǎn)單的Pixel結(jié)構(gòu)只有一個(gè)PN結(jié)作為感光結(jié)構(gòu)，以及一個(gè)與它相連的reset晶體管（RS）作為一個(gè)開關(guān)，如圖4所示：

圖4 單PN節(jié)像被動(dòng)素結(jié)構(gòu)體
Passive Pixel結(jié)構(gòu)的工作方式如下：

開始曝光前，像素的行選擇地址會(huì)上電，于是RS使能，連通PN結(jié)與列選擇器（Column Bus），同時(shí)列選擇器會(huì)上電，使PN結(jié)上加高反向電壓（如3.3 V），短暫延時(shí)后PN結(jié)內(nèi)電子空穴對(duì)達(dá)到平衡，于是reset 操作完成，RS 信號(hào)失效，隔斷PN結(jié)與columnbus的連通。

開始曝光時(shí)，PN結(jié)內(nèi)的硅在吸收光子激發(fā)出電子-空穴對(duì)。受PN結(jié)內(nèi)電場(chǎng)的影響，電子會(huì)流向PN結(jié)的n+端，空穴會(huì)流向PN結(jié)的p-substrate。因此，曝光后的的PN結(jié)反向電壓會(huì)降低。

曝光結(jié)束后，RS再次使能，讀出電路會(huì)測(cè)量PN結(jié)內(nèi)的電壓，該電壓與原反向電壓之間的差值即正比于PN結(jié)接受到的光子數(shù)。

在讀出感光信號(hào)后，會(huì)對(duì)PN結(jié)進(jìn)行再次reset，準(zhǔn)備下次曝光。[/ol]當(dāng)RS使能且列選擇器通高電平時(shí)，在電路原理上相當(dāng)于對(duì)PN結(jié)的電容進(jìn)行充電，但是充電后得到的電壓值卻有一定的隨機(jī)性，一方面每個(gè)PN結(jié)的實(shí)際電容大小會(huì)服從一定的概率分布，結(jié)與結(jié)之間存在固定的偏差，這會(huì)構(gòu)成一種固定模式噪聲（Fixed Pattern Noise, FPN）；另一方面由于電路中存在暗電流噪聲，即使是同一個(gè)結(jié)每次充電后得到的實(shí)際電壓也不完全一樣，這就構(gòu)成了另一種模式的噪聲，它與PN結(jié)的結(jié)構(gòu)、溫度和結(jié)電容大小都有關(guān)，稱為kTC噪聲。

主動(dòng)像素 （Active Pixel）
      目前主流的CMOS傳感器都采用Active Pixel 結(jié)構(gòu)設(shè)計(jì)。如圖5所示的Active Pixel 結(jié)構(gòu)稱為3T結(jié)構(gòu)，每個(gè)像素包含一個(gè)感光PN結(jié)和3個(gè)晶體管，即一個(gè)復(fù)位管RST，一個(gè)行選擇器RS，一個(gè)放大器SF。

圖5 3T主動(dòng)像素結(jié)構(gòu)體
Active Pixel 結(jié)構(gòu)的工作方式如下：

復(fù)位。使能RST給PN結(jié)加載反向電壓，復(fù)位完成后撤銷RST。

曝光。與Passive Pixel 原理相同。

讀出。曝光完成后，RS會(huì)被激活，PN結(jié)中的信號(hào)被SF放大后讀出。

循環(huán)。讀出信號(hào)后，重新復(fù)位，曝光，讀出，不斷輸出圖像信號(hào)。[/ol]基于PN結(jié)的Active Pixel 流行于90年代中期，它解決了很多噪聲問題。但是由PN結(jié)復(fù)位引入的kTC噪聲卻并沒有得到解決。
PPD結(jié)構(gòu)
PPD（Pinned Photodiode Pixel）的出現(xiàn)是CMOS性能的巨大突破，它允許相關(guān)雙采樣（CDS）電路的引入，消除了復(fù)位引入的kTC噪聲，運(yùn)放器引入的1/f噪聲和offset噪聲，如圖6所示。


圖6 PPD結(jié)構(gòu)PPD結(jié)構(gòu)的工作方式如下：

曝光。

復(fù)位。曝光結(jié)束時(shí)使能RST，將讀出區(qū)（n+區(qū)）復(fù)位到高電平。

讀復(fù)位電平。讀出n+區(qū)的電平，其中包含運(yùn)放的offset噪聲，1/f噪聲以及復(fù)位引入的kTC噪聲，將讀出的信號(hào)存儲(chǔ)在第一個(gè)電容中。

電荷轉(zhuǎn)移。使能TX，將電荷從感光區(qū)完全轉(zhuǎn)移到n+區(qū)準(zhǔn)備讀出，這里的機(jī)制類似于CCD中的電荷轉(zhuǎn)移。

讀信號(hào)電平。將n+區(qū)的電壓信號(hào)讀出到第二個(gè)電容。這里的信號(hào)包括：光電轉(zhuǎn)換產(chǎn)生的信號(hào)，運(yùn)放產(chǎn)生的offset，1/f噪聲以及復(fù)位引入的kTC噪聲。

信號(hào)輸出。將存儲(chǔ)在兩個(gè)電容中的信號(hào)相減（如采用CDS，即可消除Pixel中的主要噪聲），得到的信號(hào)在經(jīng)過(guò)模擬放大，然后經(jīng)過(guò)ADC采樣，即可進(jìn)行數(shù)字化信號(hào)輸出。
[/ol]PPD像素結(jié)構(gòu)有如下優(yōu)點(diǎn)：

讀出結(jié)構(gòu)（n+區(qū)）的kTC噪聲完全被CDS消除。

運(yùn)放器的offset和1/f噪聲，都會(huì)因CDS得到明顯改善。

感光結(jié)構(gòu)因復(fù)位引起的kTC噪聲，由于PPD電荷的全轉(zhuǎn)移，不再存在。

光敏感度，它直接取決于耗盡區(qū)的寬度，由于PPD的耗盡區(qū)一直延伸到近Si?SiO2界面，PPD的光感度更高。

由于p-n-p的雙結(jié)結(jié)構(gòu)，PPD的電容更高，能產(chǎn)生更高的動(dòng)態(tài)范圍。

由于Si?SiO2界面由一層p+覆蓋，減小了暗電流。
雙相關(guān)采樣（CDS）
雙相關(guān)采樣（Correlated Double Samping），其基本思想是進(jìn)行兩次采樣，先采樣一個(gè)參考信號(hào)用于評(píng)估背景噪聲，延遲很短時(shí)間后再采集目標(biāo)信號(hào)，從第二次采樣中減去參考信號(hào)即得到去除了大部分背景噪聲的目標(biāo)信號(hào)，其原理模型如下圖7所示。

圖7 去噪原理模型
CDS成立的條件是在兩次采樣間背景噪聲的幅度變化不大，因此它對(duì)去除固定噪聲（FPN）和低頻噪聲效果比較理想，如1/f噪聲，kTC噪聲等。

圖8 CDS電路模型

5   CMOS Sensor特性

CMOS Sensor的本質(zhì)是計(jì)量光電轉(zhuǎn)換事件的線性傳感器，在一定意義上可以說(shuō)是光子計(jì)數(shù)器，Sensor上每個(gè)像素的讀值都反映了指定時(shí)間內(nèi)該像素捕獲光子的數(shù)量。一個(gè)理想的Sensor應(yīng)該具備以下一些特性：

輸出與輸入恒成正比（無(wú)Sensor噪聲，只有信號(hào)本身的噪聲）

輸入輸出均可以無(wú)限大

高靈敏度，小的輸入激勵(lì)大的輸出

高幀率

高分辨率

低功耗

工藝簡(jiǎn)單

低成本理想CMOS Sensor 的響應(yīng)特性下圖所示：

圖9 理想sensor響應(yīng)特性
圖10中直線的斜率決定了單位輸入能夠激勵(lì)的響應(yīng)大小，這個(gè)斜率稱為增益系數(shù)（Gain）。Sensor 會(huì)提供一組接口用于調(diào)節(jié)實(shí)際生效的增益值。

圖10 理想Sensor響應(yīng)特性曲線
而實(shí)際的Sensor只能是在一段有限的區(qū)間內(nèi)保持線性響應(yīng)，對(duì)于幅度過(guò)小或者過(guò)大的輸入信號(hào)會(huì)不能如實(shí)地表示。

圖11 實(shí)際sensor響應(yīng)特性

6   CMOS Sensor噪聲（Noise）


假設(shè)照明強(qiáng)度恒定、均勻，相機(jī)拍攝圖像中的噪聲是測(cè)量信號(hào)中空間和時(shí)間振動(dòng)的總和。下圖以傳遞函數(shù)的形式總結(jié)了CMOS Sensor 光、電轉(zhuǎn)換模型以及幾種主要噪聲的數(shù)學(xué)模型。

圖12 傳遞噪聲模型下圖13更加細(xì)致地描述了CMOS Sensor 成像過(guò)程中各種噪聲的來(lái)源和作用位置。

圖13 噪聲的來(lái)源途徑

暗電流噪聲（Dark Noise）
硅片中電子的熱運(yùn)動(dòng)會(huì)導(dǎo)致一些價(jià)電子隨機(jī)激發(fā)至導(dǎo)帶中形成暗電流（Dark Current），所以即使完全沒有光子入射，Sensor也會(huì)存在一定的信號(hào)輸出。在曝光過(guò)程中，暗電流的隨機(jī)變化即形成暗散粒噪聲。暗電流變化的主要原因是電子穿過(guò)PN結(jié)時(shí)會(huì)遇到PN結(jié)的電勢(shì)屏障（Darrier），電子穿越屏障需要經(jīng)歷動(dòng)能-勢(shì)能-動(dòng)能的轉(zhuǎn)換過(guò)程，所以需要耗費(fèi)一些時(shí)間。暗散粒噪聲在統(tǒng)計(jì)上服從泊松分布，與光信號(hào)的高低水平無(wú)關(guān)，但與傳感器的溫度有關(guān)，一般的規(guī)律是溫度每升高8°C暗電流翻一倍。所以在設(shè)計(jì)電路時(shí)必須注意把容易發(fā)熱的電子元件盡可能布置在遠(yuǎn)離Sensor的地方。

圖14 暗電流隨溫度變化規(guī)律
讀出噪聲
      該噪聲是在產(chǎn)生電子信號(hào)時(shí)生成的。Sensor使用AD轉(zhuǎn)換器（ADC）將模擬放大器輸出的模擬電壓采樣為數(shù)字電壓。由于數(shù)字信號(hào)的精度總是有限的，通常為10比特至14比特，幅值位于兩個(gè)相鄰數(shù)字之間的模擬信號(hào)會(huì)四舍五入到最接近的數(shù)值，所以這個(gè)過(guò)程會(huì)引入量化噪聲，這是讀出噪聲的重要組成部分。該噪聲由傳感器的設(shè)計(jì)決定，意義是至少需要多少個(gè)電子才能驅(qū)動(dòng)讀出電路的ADC變化一個(gè)比特。它與信號(hào)高低水平和傳感器溫度無(wú)關(guān)。
光電流噪聲（Shot Noise）
      該噪聲是與落于傳感器像素上光子相關(guān)的統(tǒng)計(jì)噪聲。在微觀尺度下，光子流到達(dá)傳感器的行為在時(shí)間和空間上都是不均勻的，就像統(tǒng)計(jì)高速公路上的車流，有時(shí)車流比較密集，過(guò)一會(huì)又變得稀疏。有時(shí)左邊的車道密集，過(guò)一會(huì)右邊的車道密集，整體上其統(tǒng)計(jì)規(guī)律符合泊松分布。光子散粒噪聲是與被測(cè)信號(hào)的高低水平有關(guān)的，與傳感器溫度無(wú)關(guān)。
固定模式噪聲（FPN）
      該噪聲是由像素的空間不均勻性引起的，CMOS Sensor 每個(gè)像素內(nèi)都配置一個(gè)電荷電壓放大器，每行、每列都有一些晶體管用于控制像素的復(fù)位和讀出，這些器件的工作參數(shù)相對(duì)理論值的漂移就構(gòu)成一種固定模式噪聲。另外，壞像素、瑕疵像素也可以視為一種固定模式噪聲，其效果大致上可以用下面的示意圖15模擬。

圖15 FPN 模型
復(fù)位噪聲
       卷簾曝光方式需要在先對(duì)勢(shì)阱復(fù)位，將勢(shì)阱中自由積累的電荷全部釋放，為后續(xù)的讀出準(zhǔn)備。但是由于暗電流的存在，每次復(fù)位后都會(huì)殘留一些大小隨機(jī)的噪聲信號(hào)，即復(fù)位噪聲，其大小與像素結(jié)構(gòu)、芯片溫度、PN結(jié)電容有關(guān)，因此也稱為kTC噪聲。像素的復(fù)位是需要一定時(shí)間的。定量的研究表明，即使是采用較大的復(fù)位電流，一般也需要1ms以上的時(shí)間才能將電荷釋放干凈，如下圖16所示。

圖16 電荷釋放曲線
實(shí)際的復(fù)位控制信號(hào)通常會(huì)短于1ms，因此下一幀圖像多多少少會(huì)殘存一些上一幀圖像的影子，這個(gè)殘影叫做Image Lag，也是噪聲的一種形式。串?dāng)_噪聲（Crosstalk）
在通信領(lǐng)域中指兩條信號(hào)線之間由于屏蔽不良而發(fā)生了的信號(hào)耦合，一條線路上的信號(hào)通過(guò)線纜間存在的互感和互容饋送到了附近的信號(hào)線上，在模擬通信時(shí)代可能導(dǎo)致聽到別人的通話。在Sensor領(lǐng)域，串?dāng)_指的是入射到一個(gè)像素A的光信號(hào)沒有在這個(gè)像素里被捕獲，反而被其周圍的像素B捕獲，導(dǎo)致B產(chǎn)生了不該有的信號(hào)。
在下圖17例子中，粉色表示的是不透光的像素，不應(yīng)該有任何輸出，黃色表示正常像素，應(yīng)該有輸出。實(shí)際上，光子是可以在硅片中穿透一定的距離的，從而有機(jī)會(huì)進(jìn)入到粉色像素的感光區(qū)，從而變成粉色像素的信號(hào)，這就是CMOS Sensor的串?dāng)_機(jī)制。


圖17 串?dāng)_模型
從下圖18可以看出，波長(zhǎng)越長(zhǎng)，串?dāng)_越嚴(yán)重，某些像素位置串?dāng)_能量可以達(dá)到5%。

圖18 波長(zhǎng)與串?dāng)_能量曲線



7  CMOS Sensor工藝結(jié)構(gòu)

前照式工藝（FSI）
傳統(tǒng)FSI工藝的一個(gè)主要不足之處在于光敏PN結(jié)與濾光膜和微透鏡之間需要制造若干層電路結(jié)構(gòu)，由于電路高度問題會(huì)限制PN結(jié)可收集光線的面積和角度，同時(shí)光線在前進(jìn)過(guò)程中會(huì)與電路結(jié)構(gòu)發(fā)生吸收、散射，所以會(huì)增加光能的損耗，如下圖19所示。

圖19 FSI工藝結(jié)構(gòu)體
背照式工藝（BSI）
隨著半導(dǎo)體工藝的進(jìn)步，人們發(fā)現(xiàn)其實(shí)可以將wafer打磨得非常薄，讓光線穿透wafer，從背面入射到感光PN結(jié)，這個(gè)想法無(wú)論在技術(shù)上還是成本上都已經(jīng)變得可行，于是就產(chǎn)生了背照式工藝（BackSide Illumination, BSI）。

圖20 BSI工藝結(jié)構(gòu)體


8 CMOS Sensor 進(jìn)展

Sony 于2007年推出第一代Exmor系列CMOS 圖像傳感器。與傳統(tǒng)CIS技術(shù)相比，Exmor 的主要特點(diǎn)是為每列像素配置了專用ADC和額外的CDS。由于ADC單元與像素的物理距離更近，并且由于大規(guī)模并行化可以降低單個(gè)器件的工作頻率，所以極大地改善了Sensor的噪聲特性。而新增的CDS又進(jìn)一步抑制數(shù)字噪聲。

圖21 CDS改進(jìn)對(duì)比隨著制造技術(shù)的進(jìn)一步演進(jìn)，在背照式工藝的基礎(chǔ)上又發(fā)展出了堆棧式（Stacked）工藝。顧名思義，堆棧式工藝把兩片或者更多片硅片上下堆疊在一起，最上層硅片全部用于制造像素的感光區(qū)，而sensor 控制所需的模擬、數(shù)字邏輯全部移到下層硅片，所以感光區(qū)占Sensor靶面尺寸的比例可以接近100%，終于達(dá)到了Sensor效率的巔峰。

圖22 FSI，BSI，Stacked結(jié)構(gòu)對(duì)比
實(shí)際上，CMOS Sensor 也可以設(shè)計(jì)成支持Global Shutter曝光方式。與CCD 類似，Gobal Shutter 的實(shí)現(xiàn)原理是每個(gè)曝光像素都伴隨一個(gè)存儲(chǔ)電容，感光陣列上所有像素同時(shí)曝光，然后光電子立即被轉(zhuǎn)移到存儲(chǔ)電容上并鎖定，等待讀出電路讀出。下圖是一種較新的Global Shutter 像素設(shè)計(jì)，該設(shè)計(jì)支持兩種不同的增益系數(shù)，因此支持HDR功能。

圖23 Global Shutter Pixel 結(jié)構(gòu)
DCG這種模式由OmniVision提出，原理是每個(gè)像素可單獨(dú)控制增益（使用下圖中的CG信號(hào)），當(dāng)工作在HDR模式時(shí)，只進(jìn)行一次曝光，但分兩次讀出，一次使用HCG （High Conversion Gain）捕捉暗部信息，一次使用LCG（Low Conversion Gain）捕捉亮部信息。

圖24 DCG Pixel 結(jié)構(gòu)實(shí)驗(yàn)表明這種新的像素結(jié)構(gòu)可以獲得很好的WDR性能和明顯的圖像質(zhì)量提升，如下圖25所示。

圖25 DCG 對(duì)比效果圖。
本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。
end

一口Linux

關(guān)注，回復(fù)【1024】海量Linux資料贈(zèng)送
精彩文章合集
文章推薦
?【專輯】ARM?【專輯】粉絲問答?【專輯】所有原創(chuàng)?【專輯】linux入門?【專輯】計(jì)算機(jī)網(wǎng)絡(luò)?【專輯】Linux驅(qū)動(dòng)?【干貨】嵌入式驅(qū)動(dòng)工程師學(xué)習(xí)路線?【干貨】Linux嵌入式所有知識(shí)點(diǎn)-思維導(dǎo)圖