基於CMOS 圖像傳感器的多斜率積分模式

基於CMOS 圖像傳感器的多斜率積分模式
楊東來1，2，胡曉東1，李俊娜3
(1. 中國科學院西安光學精密機械研究所，陝西西安710119；2. 中國科學院研究生院，北京100049；
3. 西安應用光學研究所，陝西西安710065)
摘要： CMOS 圖像傳感器由於器件本身的特點，相比CCD 傳感器，其動態範圍較小。以CYPRESS
公司生產的高性能CMOS 圖像傳感器IBIS5-A-1300 爲研究對象，對其多斜率積分原理進行研究，提
出了採用同步快門多斜率積分的方法來擴展CMOS 圖像傳感器的動態範圍。以FPGA+DSP 爲系統的
硬件處理平臺，給出了多斜率積分驅動時序的具體設計思路和方法，並在QuartusⅡ7.0 環境下對所設
計的驅動時序進行功能仿真。採用所設計的多斜率積分時序驅動，將CMOS 圖像傳感器的動態範圍
由原來單斜率積分模式下的64 dB 擴展到了90 dB。實驗結果表明，採用多斜率積分模式可以實現動
態範圍擴展的要求。
關鍵詞： CMOS 圖像傳感器； 多斜率積分； 動態範圍； FPGA
中圖分類號： TP212；TN248.1 文獻標誌碼： A 文章編號： 1007-2276(2012)06-1499-04
Multiple slope integration based on CMOS image sensor
Yang Donglai1,2, Hu Xiaodong1, Li Junna3
(1. Xi′an Institute of Optics and Precision Mechanies of Chinese Academy of Sciences, Xi′an 710119, China; 2. Graduate
University of Chinese Academy of Sciences ， Beijing 100049, China; 3. Xi′an Institute of Applied Optics, Xi′an 710065, China)
Abstract: Compared with CCD (Charge Coupled Device), the dynamic range of CMOS image sensor is
narrower, which is due to its self-characteristics. With high-performance CMOS image sensor IBIS5-A-1
300 produced by CYPRESS company as the object, a research was made on the theory of its multiple
slope integration, and the integration mode was used to extend its dynamic range. The design method of
multiple slope integration′ s timing was advanced with FPGA and DSP as the hardware system. With
Quartus Ⅱ 7.0, the designed driver timing was simulated in function. The new designed multiple slope
integration timing drive extended the optical dynamic range of CMOS image sensor, from original model
of single slope integration mode 64 dB to 90 dB. The experiment result shows that multiple slope
integration mode can achieve the purpose of extending the dynamic range.
Key words: CMOS image sensor; multiple slope integration; dynamic range; FPGA
第41 卷第6 期紅外與激光工程2012 年6 月
Vol.41 No.6 Infrared and Laser Engineering Jun. 2012
紅外與激光工程第41 卷
0 引言
動態範圍是圖像傳感器成像質量的一項重要指
標[1]，動態範圍越大意味着能夠探測到場景信息的
光強範圍越寬， 即圖像所包含的信息越豐富。近年
來，CMOS 圖像傳感器技術不斷髮展，因其具有低功
耗、集成度高、低成本、可隨機讀取等優點，已成爲主
流的圖像傳感器芯片。CMOS 圖像傳感器內部集成
有較多的放大器、尋址譯碼等電路，導致器件的相對
噪聲比較大，因此在相同的環境下，其動態範圍不如
CCD 器件的寬[2]。
文中以IBIS5-A-1300 CMOS 圖像傳感器爲例，
在分析其同步快門多斜率積分模式的基礎上， 通過
採用多斜率積分的方式對CMOS 圖像傳感器的動
態範圍進行擴展。用VHDL 語言設計了驅動時序控
制電路，並進行了仿真和實驗驗證。
1 多斜率積分原理
動態範圍可定義爲一幅圖像中能夠識別出的最
大非飽和信號值與最大噪聲值的比值[3]， 即可以表
示爲：動態範圍=最大非飽和信號值/最大噪聲值。
CMOS 圖像傳感器中像素的輸出電壓由曝光時
間和光照強度決定[4]，在光照強度相同的環境下，長
積分時間操作的積分曲線變化具有高靈敏度特性，而
短積分時間操作對應的曲線變化具有低靈敏度特性。
圖1 爲雙斜率和單斜率靈敏特性曲線， 橫軸爲
光照強度變化量，豎軸爲像元的輸出電壓值。圖中斜
率很陡的虛線代表長積分時間，可以看出，在光照強
度較弱的情況下該曲線即能達到飽和狀態， 因此長
積分時間曲線對光照強度變化的靈敏度很高； 斜率
比較平緩的點線代表短積分時間， 在光強較強時，
對應的輸出電壓值接近飽和，因此其對光照強度變
化的靈敏度較低；圖中的實線爲雙斜率曲線， 當光
強較弱時採用長積分時間， 其斜率較陡， 而在光強
較強時，採用短積分時間，其斜率較低，這樣就可以
保證像元的輸出電壓在光強變化範圍較大時不至
於飽和。
多斜率積分的原理與雙斜率積分相同， 只不過
在雙斜率積分的基礎上增加了一些拐點而已， 使曲
線包含更多的斜率。這些拐點的設置使信號的輸出
電壓能適應光照強度在更大範圍內的變化， 從而實
現光學動態範圍擴展[5]。
2 CMOS 圖像傳感器的多斜率積分時序設計
2.1 IBIS5-A-1300 CMOS 圖像傳感器的多斜率積
分時序介紹
選用的IBIS5-A-1300 CMOS 圖像傳感器有兩
種電子快門模式：同步快門模式和捲簾快門模式，其
中同步快門又有單斜率積分和多斜率積分兩種積分
模式。同步快門單斜率積分模式下光學動態範圍爲
64 dB, 即最大非飽和信號值/最大噪聲值=1 600:1；而
在多斜率積分模式下，光學動態範圍可達80~100 dB。
下面介紹IBIS5-A-1300 CMOS 圖像傳感器的多斜
率積分驅動時序。
圖2 爲同步快門的多斜率積分操作時序[6]，圖中
SS_START 爲光積分開始信號，控制積分操作開始；
SS_STOP 爲光積分結束信號，控制積分操作結束；當
積分時間達到所設定的值後， 由CMOS 圖像傳感器
內部產生一個TIME_OUT 信號， 表示積分已經結
束，可以用它來觸發產生SS_STOP 信號。
圖1 雙斜率和單斜率靈敏度特性曲線
Fig.1 Double and single slope response curves
圖2 同步快門多斜率積分操作
Fig.2 Multiple slope operation with synchronous shutter
1500
第6 期
IBIS5-A-1300 CMOS 圖像傳感器內部有一個可
控制多斜率積分拐點設置的寄存器[7]，如表1 所示。
可以通過更改寄存器中的值， 使圖像傳感器的復位
電壓(產生SS_START 脈衝後)發生改變。
表1 多斜率積分寄存器設置
Tab.1 Multiple slope register settings
整個多斜率積分過程如下： 圖2 中p1、p2、p3、
p4 爲圖像傳感器中4 個獨立的像元，這4 個像元上
的光照強度是不同的，光照越強其輸出電壓越靈敏，
即積分曲線斜率越陡，如p3、p4 像元；相反，光照越
弱的像元其輸出電壓越不靈敏，如p1、p2 像元。可以
看出，若在積分過程中只產生一個SS_START 脈衝，
即採用單斜率積分， 則光照強度較強的p3、p4 像元
在積分時間結束之前很快就會達到飽和狀態， 從而
影響最終的成像質量。而在多斜率積分模式下，在光
照較強的像元達到飽和之前使光積分操作復位(即
重新產生一個SS_START 脈衝)，隨着寄存器設置的
不同，復位電壓也依次降低，但積分斜率保持不變。
這樣幾次復位後， 光照強度較強的像元在積分時間
結束時，其輸出電壓沒有飽和，從而實現了光學動態
範圍的擴展。
2.2 多斜率積分的驅動時序設計
以FPGA 和DSP 爲硬件處理核心， 其硬件系統
功能如圖3 所示。系統工作過程如下：首先，由DSP
通過I2C 總線對CMOS 圖像傳感器進行初始化，對
圖像傳感器內部各個寄存器的參數值進行設置；由
FPGA 產生驅動CMOS 圖像傳感器所需的各種時序
信號，並接收產生的圖像信息數據；FPGA 與DSP 之
間通過中斷進行數據交換等操作。
圖3 硬件系統功能圖
Fig.3 Schematic of function of hardware system
根據系統硬件平臺的特點， 設計出改進的多斜
率積分驅動時序，如圖4 所示。
圖4 多斜率積分驅動時序
Fig.4 Timing for multiple slope integration driving
整個驅動過程如下：系統上電後，由FPGA 產生
第一個SS_START 脈衝，控制開始進行光積分操作，
當積分時間到達內部寄存器所設值時， 由圖像傳感
器產生TIME_OUT 脈衝， 表示積分操作結束。可用
TIME_OUT 脈衝觸發產生SS_START 脈衝， 進行下
一次的積分操作。直到總共完成4 次積分操作即實
現了多斜率積分過程， 圖像傳感器產生SS_STOP
脈衝，表示整個積分過程結束，可以進行像元讀出
操作。
值得注意的是， 在產生每一個新的SS_START
脈衝前，需要對多斜率積分寄存器的值進行更新；並
且在每一段積分結束後， 對積分時間寄存器重新賦
值，控制下一次積分時間。因此，在所設計的驅動時
序中，在每一個SS_START 脈衝產生後，由FPGA 向
DSP 產生中斷信號DSP_INT，DSP 在接收到這個中
斷信號後，進行中斷操作，對CMOS 圖像傳感器的多
斜率積分寄存器的值進行更新。在每一段積分操作
結束後，TIME_OUT 脈衝產生DSP_INT 中斷信號，
DSP 接到中斷信號後， 對圖像傳感器內部的積分時
Knee point
Pixel reset voltage/V
VDDR_right Knee_point/V
MSB/LSB Enable(1)
00 0 or 1 VDDR_LEFT 0
01 1 VDDR_LEFT-0.76 0.76
10 1 VDDR_LEFT-1.52 1.52
11 1 VDDR_LEFT-2.28 2.28
楊東來等：基於CMOS 圖像傳感器的多斜率積分模式1501
紅外與激光工程第41 卷
間寄存器進行賦值，來更改下一次的積分時間。因此
在四斜率積分時序中， 每次積分過程產生8 箇中斷
信號，每個中斷都對應着不同的賦值操作。
2.3 驅動時序的仿真
多斜率積分模式的驅動時序設計完成後， 在
QuartusⅡ7.0 環境下對其進行時序功能仿真， 仿真
結果如圖5 所示。
圖5 驅動時序仿真結果
Fig.5 Result of driving timing simulation
從仿真結果可以看出， 所設計的驅動時序滿足
多斜率積分時序要求。
3 實驗結果與分析
圖6 爲採用單斜率積分模式的成像結果， 可以
看出在該圖的右側區域， 部分像元的成像已出現嚴
重飽和現象，這是由於該成像區域上的光照過強，可
以通過減少積分時間使像元的輸出電壓降低， 從而
減少飽和現象， 但這樣會使光照較弱的區域由於曝
光時間不夠而出現成像灰暗的現象[8]。
圖6 單斜率積分模式下的成像結果
Fig.6 Imaging result of single slope integration
在外部光照等其他條件不變的情況下， 採用多
斜率積分模式進行成像， 結果如圖7 所示。可以看
出， 圖像中光照較強區域的飽和失真現象已得到了
明顯改善。這充分說明，多斜率積分對提高圖像傳感
器的動態範圍具有顯著的作用。
圖7 多斜率積分模式下的成像結果
Fig.7 Imaging result of multiple slope integration
4 結論
針對IBIS5-A-1300 CMOS 圖像傳感器， 通過對
其多斜率積分原理的分析， 以FPGA 和DSP 爲硬件
核心，設計出相應的驅動時序。最後通過實驗驗證，
採用多斜率積分模式能夠有效地提高CMOS 圖像傳
感器的光學動態範圍。
參考文獻：
[1] Yang Bin, Wang Yanchang, Li Peihong, et al. Implementation of
high dynamic range exposure algorithm for digital camera [J].
Chinese Journal of Sensors and Actuators, 2011, 24(1): 68-72.
(in Chinese)
[2] Gao Min, Bian Zhenglan, Dong Zuoren, et al. Application of
pulse width modulation technique in CCD photoelectric
autocollimator [J]. Infrared and Laser Engineering, 2010, 40
(5): 892-895. (in Chinese)
[3] Jin Weiqi, Liu Bin, Fan Yongjie, et al. Review on infrared image
detail enhancement techniques [J]. Infrared and Laser
Engineering，2011, 40(12): 2521-2527. (in Chinese)
[4] Gu Lin, Hu Xiaodong, Luo Changzhou, et al. Automatic
adjustment of the exposure time of linear CCD based on cpld
[J]. Acta Photonica Sinica, 2002, 31 (12): 1533-1537. (in
Chinese)
[5] Ma Donghui, Xue Qun, Chai Qi, et al. Infrared and visible
images fusion method based on image information [J]. Infrared
and Laser Engineering, 2011, 41(6): 1168-1171. (in Chinese)
[6] Cypress Semiconductor Corporation. IBIS5-A-1300 dual shutter
mode 1.3 M pixel CMOS image sensor datasheet [Z]. San
Francusco 2005.
[7] Xing Rujia, Zhang Boheng, Bian Chuanping, et al. Design of
time order based on CMOS image sensor IBIS5 -A-1300 [J].
Science Technology and Engineering, 2006, 6(21): 3422-3426.
(in Chinese)
[8] Xu Guili, Liu Xiaoxia, Tian Yupeng, et al. Image clarity -
evaluation -function method [J]. Infrared and Laser
Engineering, 2009, 39(1): 180-184. (in Chinese)
1502