标签: cmos成像器

CMOS成像器图像信号所使用的ADC，通常是与光电传感器阵列设计在同一芯片上的。与任何用途的同类电路一样，其主要的参数要求就是转换精度和采样速率。因为转换误差大于±1的位（bit）及其以下的位都被视为无效，所以转换精度表现为转换数据的字长。字长较长的数据可以转换更大动态范围的图像信号，但是高位数ADC的采样速率比较低，以至不能适应成像器的要求。况且在图像模拟信号本身的信噪比不高的情况下，也没有必要使用特别高位数的ADC。在高分辨率、高刷新率和高速的连续运动摄像要求的情况下，12bit字长的图像数据被认为是可以接受的；而在高质量静止图像应用中，可以用到达16bit字长的数据。与成像器芯片的图像分辨率、刷新率以及芯片上ADC的数量相配合，同时考虑到CMOS制造工艺可能达到的速度，ADC的采样速率通常采用20- 150MSPS（Mega-Sample per second）。   模拟电压信号Vin经过理想ADC（图7A）的变换，产生一个n bit二进制数列：Xn-1 Xn-2 Xn-3 ……X0，并且：Vin ≈ Vref * (Xn-1 * 1/2 + Xn-2 * 1/4 + Xn-3 * 1/8 ……X0 * 1/2 n ) 其中n为此二进制数列的字长位（bit）数；Xn为各位(bit)的值，取值0或者1；Xn-1为最高位MSB，X0为最低位LSB；以及Vref为ADC中比较器的参考电压。   变换速率最快的模数转换方案就是直接变换ADC，也被称为Flash ADC，示意于图7B。它是由一个线性阶梯电阻网络和连接在每个梯阶上的一个比较器，以及编码逻辑构成的。阶梯电阻网络和比较器实现模拟电压的线性量化，而量化的最小分辨率就是相邻梯阶的电压差。这种结构的ADC在输入采样保持的信号电压后“立即”输出变换的二进制数据，只需要延迟时间而不需要转换节拍。但是对于n bit转换数据，需要一个2 n 个梯阶的电阻网络和与阶梯数相数量的比较器电路。即使一个8 bit的ADC也需要一个256阶梯的电阻网络和256个比较器，这不但使电路非常复杂而极大地增加了芯片版图面积，且增加了所需的功耗。   逐次逼近型Successive Approximation ADC可以减小电路和版图的尺寸，如果每“次”只比较1bit数据，电路只需要一个比较器，但是需要n个节拍才能最后完成n bit数据的转换。譬如一个12 bit的ADC，需要花费12个节拍才能完成一个数据的转换，这样的速度难以满足图像转换的要求。一些电路方案，如带多位直接变换的逐次逼近ADC或流水线Pipeline ADC，可以帮助在转换速率和电路尺寸之间取得折衷，以满足CMOS成像器芯片上图像ADC的要求。   图7C所示意的电路结构，就是可能的折中方案之一。这是一种高速的逐次逼近型ADC，用一个直接变换ADC来取代1 bit的比较器。这个结构与任何类似的逐次逼近型ADC一样，包括逐次逼近寄存器SAR-Successive Approximation Register，用来寄存每一次逼近的中间结果数据；DAC用于把SAR寄存的中间结果数据值转换成模拟电压；和输入电压与逼近电压进行模拟减法运算的功能。其中直接变换ADC也包括一个电阻阶梯网络Resister Ladder，但是它通过多路模拟开关MUX提供给比较器以不同的阶梯参考电压值系列。   这里以一个逼近次数m=4，每次直接变换3 bit的12 bit变换方案，来说明电路的工作过程。其中的3 bit直接变换ADC包含有8个比较器，其比较的电阻阶梯网络是可变的。当第一次逼近m=1时，直接输入经采样保持的Vin电压，这次的参考电压阶梯为1/8 Vref，产生第一次逼近数值A1 。   第二次逼近m=2时，比较输入电压为Vin与经DAC转换的第一次近似的模拟电压Va1的差值Vin-Va1，其中：Va1 = Vref * (X11 * 1/2 + X10 * 1/4 + X9 * 1/8)。这时的参考电压阶梯值为1 / 64 Vref，产生第二次逼近数值A2 ，且与第一次逼近值在加法器上相加后得到A2 。   第三次逼近m=3时，比较输入电压为Vin与经DAC转换的第二次近似的模拟电压Va2的差值Vin-Va2，其中：Va2 = Vref * (X11 * 1/2 + X10 * 1/4 + X9 * 1/8 + X8 * 1/16 + X7 * 1/32 + X6 * 1/64)。这时的参考电压阶梯值为1 / 512 Vref，产生第三次逼近数值A3 ，且与第二次逼近值在加法器上相加后得到A3 。   同样在第四次逼近m=4时，比较输入电压为Vin与经DAC转换的第三次近似的模拟电压Va3的差值Vin - Va3，其中：Va3 = Vref * (X11 * 1/2 + X10 * 1/4 + X9 * 1/8 + X8 * 1/16 + X7 * 1/32 + X6 * 1/64 + X5 * 1/128 + X4 * 1/256 + X3 * 1/512)。这时的参考电压阶梯值为1 / 4096 Vref，产生第三次逼近数值A4 ，且与第二次逼近值在加法器上相加后得到最后的输出Dout ，完成全部变换。   4个节拍的ADC变换与12个节拍的变换速度相比提高了3倍，各种折中方式可以在电路的速度和尺寸之间找到不同的平衡，以满足CMOS成像器的各种不同的性能要求。这个例子和其他方案中的时序Timing，通常用采样保持时钟频率的整倍数实现的。所以在ADC中还需要一个锁相环PLL子电路，来实现时序逻辑。   下一期话题：CMOS成像器上的高速图像数据传输 浅谈CMOS成像器连载之一：CMOS成像器是可以用户定制的 浅谈CMOS成像器连载之二：APS像素的原理和结构 浅谈CMOS成像器连载之三：APS像素阵列结构 浅谈CMOS成像器连载之四：像素阵列的曝光 浅谈CMOS成像器连载之五：阵列信息的模拟读出 浅谈CMOS成像器连载之六：高清晰度和高速CMOS成像器 浅谈CMOS成像器连载之七：CMOS成像器的图像信号ADC

数字图像已经发展到高清晰度和高速刷新的阶段，当今CMOS成像器的优越性能正推动了这个进程，成为这一领域图像传感器的唯一选择。高清晰度的图像包含了巨大的信息量，而高刷新速率的高清晰度图像，又要求以极高的速度传输和处理这些巨大的数据量。一帧数字图像包含的总像素数Nframe为： Nframe = Ncolumn x Nrow   其中Ncolumn是图像阵列的列数，即水平方向每行的像素数；Nrow是图像阵列的行数，即一帧图像垂直方向的行数。静止图像的帧刷新速率FR (Frame Rate or Fresh Rate)往往比较低，而摄取活动画面的视频图像则要求更高的帧刷新率，通常从每秒15帧到120帧，在特殊应用中可以达到每秒上千帧的要求。高清晰度和高刷新率，使成像器的数据处理和传输速率达到每秒Giga像素的要求。因为绝大多数图像应用都要求高速刷新和传输图像信息，而CMOS成像器又具备直接输出数字图像信息的特点，所以从一开始CMOS成像器芯片就从引脚上直接输出并行数据，静止图像往往并行输出14 - 16bit图像数据，而视频图像因为要求更高的刷新速率通常输出8 - 12 bit。   如表是高清晰度电视HDTV和4K影院级高清晰度图像的像素速率：          影院级高清晰度图像的清晰度描述，用水平一行像素数的1024(1K)倍数表示，如表中4K图像表示的是每行4096像素的图像。可以看出，即使在HDTV格式，象素数据的输出速率也高达124 M pixel / s；而在4K高清晰度影院格式，这一速率要求甚至高达1.1G pixel / s。当图像数据并行输出时，图像数据速率分别对应于：124 MB / s和1.1GB / s。虽然在CMOS结构中这样速率的数字信号是有成熟的技术来解决的，但对于图像信息的模拟通道和12bit的模数转换，却难以简单地解决。所幸CMOS成像器在即使低清晰度的世代，就习惯于用多路模拟通道和多ADC结构，来降低对模拟电路的速度和采样速率的要求。          图6示意一个4K高清晰度成像器的多模拟通道和模数转换结构框图。在图中，像素阵列的下方，布局了偶数列的模拟通道；而阵列的上方，布局了奇数列的模拟通道。这种奇偶数列被分开上下的排列，即使在最初的成像器芯片上，也常被采用来抑制由于模拟信号引出方向而导致的固定图样噪声FPN。图中每一侧的每N个通道由模拟开关依次切换到N个可变增益模拟放大器Amp. s/n 中，然后由N个模数变换器ADC s/n 转换成N路数字图像数据。阵列上下两侧每隔N列共享一路模拟放大器和模数变换器通道。上下共2N路模拟通道和模数转换器输出，使每一列模拟数据的采样时间延长2N倍。     虽然模拟信号通道的速度要求得到了降低，但是所有的数据都必须与像素时钟信号保持严格同步和良好的信号完整性，这个像素时钟的频率等于图像的像素速率： CLK pixel = Pixel Rate   任何相对于像素时钟的偏移skew和抖动jitter都将会影响图像的正确重建。所以所有的图像数据输出必须由达到Gigabit / s速率的高速差分标准并行传输。   模拟信号通道的分组数根据实际情况而定，分组和并行的结果将使芯片的引脚数大幅度增加，而差分数据结构又使引脚数增加一倍。对于HD视频图像而言，可以采用BGA焊球网格阵列高密度封装，通常需要上千个引脚数才能满足要求。高速数据传输还会增加芯片的功耗，并使芯片的工作温度升高，对于集成有传感器的芯片而言，温度噪声将降低图像信号的信噪比，这对于芯片和片外结构设计都提出了挑战。   当然对于静止图像的传感器，被摄物体的运动和连续曝光速度的要求，也会对数据传输速率提出要求。但是就不会有像对连续图像高达每秒120帧那么高刷新率的要求，通常的要求在每秒10帧以下的数量级。   下一期话题：CMOS成像器的图像信号ADC 浅谈CMOS成像器连载之一：CMOS成像器是可以用户定制的 浅谈CMOS成像器连载之二：APS像素的原理和结构 浅谈CMOS成像器连载之三：APS像素阵列结构 浅谈CMOS成像器连载之四：像素阵列的曝光 浅谈CMOS成像器连载之五：阵列信息的模拟读出 浅谈CMOS成像器连载之六：高清晰度和高速CMOS成像器 浅谈CMOS成像器连载之七：CMOS成像器的图像信号ADC

    如前面所述，APS像素阵列中同一列的每一个像素上，都有一个共享的列像素信号输出端Column Output，如图5所示。每一列像素的这个共享输出端，都经过一个列模拟信号通道，处理和放大这一列像素的图像信号。在这个通道中，首先有一个由模拟电压Vb偏置的恒流源，它是本列中每一个像素上源极跟随器Tsf通过选择开关Tsel连接的公共负载。在每一个列通道中还有一个重要的结构，就是相关双取样电路CDS – Correlated Double Sampling。这是一个模拟信号处理电路，它对每个像素光电二极管PD上的电压信号，进行两次取样：第一次取样在PD刚刚被预置到电压Vrst - Vsat之后，当曝光刚刚开始的时刻；第二次取样在曝光完成的时刻。把与这两次相关信号取样的电压差值对应的电压，作为像素的光电信息输出，因此被称为相关双取样电路。     为什么要采用相关双取样电路处理图像信息？首先必须了解CMOS成像器图像的固定图样噪声Fixed Pattern Noise – FPN问题，在CMOS成像器的芯片上，每个像素和每个像素阵列的几何尺寸都必须满足光学系统的要求。在当前，通常像素的尺寸在1.7微米到20微米之间，阵列尺寸在约2mm2到1000mm2数量级之间。在以微米、亚微米尺度构建晶体管的CMOS芯片上，阵列面积的尺寸是相当“巨大”的。由于工艺不均匀的原因，每个APS像素上的有源器件，在如此大的阵列面积上，会有参数的随几何位置不同而有差异。譬如重置晶体管Trst的饱和电压Vsat，在阵列不同位置上像素中的差异，引起光电二极管的重置电压Vrst – Vsat在阵列上的差异。这个差异会产生一个虚假的图形，叠加在真正对应光学图像的信号上。这个虚假的图形仅与阵列制造过程的不均匀有关，在制造过程完成后是不会改变的，与真实光学图像无关，因此被称为固定图样噪声FPN。相关双取样CDS电路的输出，对应于两次取样值的差，即曝光曲线的斜率，而不是一次取样的绝对值，因而消除了重置管Vsat差异而产生的固定图样噪声。 相关双取样CDS功能通常用开关电容放大器电路实现，一种常见的CDS电路结构如图5所示。列输出Column Output的模拟信号分别经过由CKR和CKS信号控制的采样模拟开关，存储在两个保持电容CR和CS上。CKO信号控制另外两个模拟开关，同时把两个电容上的电压，分别连接到差分放大器的正负输入端，使放大器输出与这两个信号的差值相关的电压。相关双取样CDS的工作时序如图5B所示，在像素的曝光过程开始时，当光电二极管PD被Reset控制重置到Vrst - Vsat电压后，开关CKR开启，曝光初始的VPD信号电压被采样保持到电容CR上，形成第一次采样。当曝光结束时，CKS开启，VPD信号电压被采样保持到电容CS上，实现第二次采样。然后CKO同时控制两个开关开启，电压差VCS – VCR = Vout输入到差分放大器输入端。从CDS的工作过程可以看出，输出的模拟信号值是两次采样的差值，而不是光电二极管曝光后的信号绝对值，从而消除了重置开关Trst参数分布的影响。 相关双取样电路CDS改进了固定图样噪声，被认为是CMOS成像器得到发展的关键一步。CMOS成像器的早期开拓者们，曾设想模拟信号处理可以广泛应用到APS像素阵列中去，而相关双取样电路是至今仍被最广泛应用在CMOS成像器设计中的一种模拟信号处理方法。 从列通道输出的图像光电信号，经过列模拟开关依次转换输出。列通道输出依次切换的过程，实现图像信息的水平扫描。图像模拟信号经过一个可变增益的宽带放大器放大，可以经过功率推动直接输出片外，作为模拟图像信号输出，也可以经过模数变换电路，输出数字图像信号。而数字图像信号还可以用各种先进的数字信号处理算法，在数字信号处理器DSP和微机中进行改善、增强、压缩，甚至于图像识别和跟踪等等处理。 下一期话题：高清晰度和高速CMOS成像器   浅谈CMOS成像器连载之一：CMOS成像器是可以用户定制的 浅谈CMOS成像器连载之二：APS像素的原理和结构 浅谈CMOS成像器连载之三：APS像素阵列结构 浅谈CMOS成像器连载之四：像素阵列的曝光 浅谈CMOS成像器连载之五：阵列信息的模拟读出 浅谈CMOS成像器连载之六：高清晰度和高速CMOS成像器 浅谈CMOS成像器连载之七：CMOS成像器的图像信号ADC

       如在前面“APS像素的原理和结构”中所述，每一个APS像素的重置Reset信号是用来控制曝光开始的，其选择Select信号是用来控制读出的。如图4（C）所示意：在CMOS成像器像素阵列中，水平方向的每一行Row（x）上的所有像素共享同一组重置Reset（x）和选择Select（x）控制信号。因此，每一行上的所有像素将同时被控制曝光或读出，换言之曝光和读出是按行进行的。     CMOS成像器的基本曝光方式是滚动快门Rolling Shutter曝光，图3（A）示意一个3T-APS像素阵列滚动快门方式的曝光和读出时序。在阵列起始的Row（0）行，重置信号Reset（0）控制本行所有像素的光电二极管充电重置，开始了对整幅图像的曝光。然后按相等的时间间隔Trow，依次逐行（即滚动）执行Reset（1）、Reset（2）、Reset（3）…的重置操作，直到     Reset（N-1）完成整幅图像的曝光开始操作。每行Row（x）像素曝光之后，经过曝光时间Exposure Time，用同样在一行像素**享的选择信号Select（x）控制这一行像素的读出，以完成这一行像素的全部曝光过程。曝光时间就是这一行的重置信号Reset（x）到选择信号Select（x）的时间间隔。与重置Reset控制一样，从Row（0）行的Select（0）开始依次逐行 （滚动）读出操作直到Row（N-1）行的Select（N-1）控制完成一整幅图像的全阵列读出。   滚动快门可以是单幅图像的也可以是连续图像的曝光，单幅图像曝光应用于静止图像照相机still camera的摄像，连续图像曝光被广泛应用于视频和电视摄像场合。连续曝光是当某一行像素的曝光过程 - 从重置到选择输出 - 完成之后，下一次曝光就开始工作了，而不必等待整幅图像完成曝光。如图4（A）所示。连续曝光通常有固定的帧刷新频率Fframe，使得每一行重置有固定的周期Trst = 1 / Fframe。为了完整地实现每一次曝光过程，曝光时间Texp必须小于重置周期：Texp ＜Trst，即Texp ＜ 1 / Fframe。譬如对于每秒60帧的连续图像曝光，最长的曝光时间不能大于1/60秒。          滚动快门曝光方式接近于传统的电视逐行扫描摄像过程，在整幅图像上，每一个像素不是在同一时刻同时开始和结束曝光的。在拍摄运动物体或光线快速变化的图像时会引起几何的或光的失真。全局快门Global Shutter 曝光方式与滚动快门方式不同，图像上的每一个像素，同时开始曝光并然后同时结束。这种理想的曝光方式，甚至在传统的化学胶片film曝光照相术中，也是难以完全实现的。因为用电子信号控制快门速度，远比机械快门的动作快得多。在数字摄影或摄像的全局快门曝光下，一幅图像上每个像素的曝光时间差异可以完全忽略不计。          CMOS成像器的全局快门曝光可以用4晶体管像素4T-APS阵列结构实现，这种像素的电原理图示意于图4（D）。4T-APS像素的电路在3T-APS的基础上增加了一个作为传输门的晶体管TX，它的源极S和漏极D跨接在光电二极管和源极跟随器的栅极G之间，并在Tsf的栅极到地之间形成一个分布的悬浮PN结电容CFD。4T-APS像素阵列在执行全局曝光过程中，可以在阵列上所有像素行同时重置开始曝光；通过在所有的TX栅极同时加信号TX控制晶体管通导，使所有像素同时象3T-APS一样曝光；这时候每个光电二极管PD上的电压也同时存储在悬浮电容CFD上。停止曝光的控制方法是使TX管截止，从而导致CFD悬浮并存储了曝光的最终电压，然后从源极跟随器输出。这样就可以实现阵列上所有像素同时开始曝光，并且在达到曝光时间后同时停止曝光。全局曝光完成后通过选择信号的控制用与滚动曝光方式相同的滚动时序，读出存储在整个阵列CFD上的图像信息。也就是说通过TX的控制实现全局曝光；经过CFD存储的环节，然后用滚动的方式，从CFD上读出全幅图像信息。          因为全局快门曝光在滚动读出的过程中存储信息的CFD与光电二极PD可以完全隔离，所以在上一帧滚动读出的同时完全可以进行下一帧的曝光。使用适当的控制时序，可以实现连续的全局曝光，被称为流水线快门Pipeline Shutter方式。这种方式可以用于高速摄像，如每秒500帧的高速摄像机，以克服高速摄像的图像失真。   下一期话题：阵列信息的模拟读出 浅谈CMOS成像器连载之一：CMOS成像器是可以用户定制的 浅谈CMOS成像器连载之二：APS像素的原理和结构 浅谈CMOS成像器连载之三：APS像素阵列结构 浅谈CMOS成像器连载之四：像素阵列的曝光 浅谈CMOS成像器连载之五：阵列信息的模拟读出 浅谈CMOS成像器连载之六：高清晰度和高速CMOS成像器 浅谈CMOS成像器连载之七：CMOS成像器的图像信号ADC

    上次谈到的APS像素只是一个单点的光电传感器，只获取整幅图像中一个点的光照强度值。而在CMOS成像器芯片上，整幅光学图像是成像在一个APS像素阵列Pixel Array的平面上，整幅图像信息的获得是由这个像素阵列实现的，像素阵列的结构决定了图像的分辨率和画面结构。     一般的像素阵列是由水平方向的行（Row）和垂直方向的列（Column）构成，如图3（A）所示意。阵列中相邻像素中心线的距离称为步距Pitch，在大多数设计中，垂直和水平方向采取相等的像素步距；而像素的形状采取边长相等于步距的正方形： Pixel height =Pixel width = Pitch row = Pitch column。   无论如何，设计的一般原则是：摄像器件像素排列的图案，必须与显示的像素排列完全相同对应，才能无失真地摄取和还原图像画面。在一个正方像素阵列（M，N）中，行和列的像素数决定了图像的分辨率和宽长比。图像的总有效像素数Total Pixel Number通常被用来表达图像的分辨率，TPN = M x N；而图像的宽高比Aspect = M / N。   表 1，典型数字图像的结构 因为经过聚焦的光学图像成像在像素阵列上，像素阵列的尺寸与光学系统相关，阵列尺寸实际上就是光学成像画面的尺寸。在数字单反照相机DSLR上，普遍采用“全幅”36 x 24 mm2画面，这就是传统135照相胶片的成像尺寸；或者“半幅”24 x 16 mm2画面，也就是35 mm电影胶片的成像尺寸，以便充分延续利用胶片时代优秀的光学镜头设计。DSLR画面的宽高比Aspect通常也采用3:2，如胶片时代的照片和普通电影画面一样。譬如要求图像的分辨率为TPN = 24 Meg Pixels，而图像画面即像素阵列尺寸为36 x 24 mm2，计算出来单个像素的尺寸和步距应该是6 x 6 μm2。对于一个移动电话摄像用的3.1 Meg Pixels CMOS成像器而言，采用1/4英寸光学镜头，芯片的像素阵列尺寸为3.6 x 2.7 mm2，像素尺寸为1.75 x 1.75 μm2。数字影院级摄像机的CMOS传感器通常也用类似DSLR“半幅”的像素阵列尺寸，使画面的尺寸看上去象是沿袭电影胶片的。作为例子一个高清影院级4K画面CMOS成像器，其阵列尺寸为24.2 x 12.5 mm2，总像素数为4480 x 2304 = 11 Meg Pixels，像素尺寸为5.4 x 5.4 μm2。 图3（B）示意由最简单3T-APS像素阵列的像素间互连。在阵列的水平方向，每一行像素共享一组重置信号Rst（n）和选择控制信号Sel（n）；在阵列的垂直方向，每一列像素共享输出信号线Out（m），并最终连接到一个恒流源上。这个恒流源作为m列每个像素中源极跟随器SF的共享负载。在这个结构中，每行像素同时执行相同的重置Rst和选择Sel操作。曝光的控制是通过Rst（n）按行操作的，而所有在一行上的像素又同时被Sel（n）选择输出光电信号；在被选中行（n）中，分属于不同列的输出 Out（m）分别输出；阵列中所有像素上的电源Vdd都是被连在一起的。     为了在同一颗成像器芯片上，即一个成像器阵列上获得彩色的图像，CMOS成像器在每一个像素上加上红绿兰不同基色的滤光层。以产生分别对不同基色感光的红R、绿G、兰B像素，以检测不同基色光照强度的信息。最通常采用的基色像素排列图案，称为Bayer像素排列（或图案），如图3（C）所示。Bayer排列由4个上下左右相邻的像素构成一组，这一组像素获得的光能量为： Ec = 1R + 1B + 2G 相邻行读出像素的顺序为：G、R、G、R、G …，和B、G、B、G、B …。不同基色的信号，可以在模拟层面或数字层面用时序分别切换到三基色RGB的信号输出。实际上在一组Bayer排列的4个像素上，三个基色并不真正在一个空间坐标点上，而三个基色的感光的能量也是不同的。直接来自像素的信号读出后，用数字处理方法可以把一组4个相邻像素获得的信息，处理成一组能量均衡的接近真实的RGB信息。但是即使这样也会引起彩色的失真，以及实际图像空间分辨率的下降。   下一期话题：像素阵列的曝光 浅谈CMOS成像器连载之一：CMOS成像器是可以用户定制的 浅谈CMOS成像器连载之二：APS像素的原理和结构 浅谈CMOS成像器连载之三：APS像素阵列结构 浅谈CMOS成像器连载之四：像素阵列的曝光 浅谈CMOS成像器连载之五：阵列信息的模拟读出 浅谈CMOS成像器连载之六：高清晰度和高速CMOS成像器 浅谈CMOS成像器连载之七：CMOS成像器的图像信号ADC