一、 Python 系列 CMOS 简介 安森美 Python 系列传感器主要面向工业级的应用,均为全局快门, -40 ° C~+85 ° C 宽温级,可设置曝光拐点,采用像素内双采样校正技术具有较高的动态范围和一系列噪声水平抑制措施。具有片上自动曝光控制单元,数字输出, 10bit ADC 转换和 720Mbps 多通道源同步 LVDS 数据输出(部分型号支持 DPI 输出)。提供单色、彩色和红外增强(部分系列无红外增强型号 , 红外增强的目的是为了提升夜视性能)三个版本系列的器件。 ( 1 ) Python 0.48M a ) 808 × 608 有效像素, 1/3.6 靶面,相元尺寸 4.8 × 4.8 μ m ; b )单通道 LVDS 输出,可编程兴趣区域读出,最高帧率 120fps ; c ) 6.13 × 4.93mm 小型封装,功耗最大 265mW ; 该类小封装、小靶面、低功耗器件,特别适合工业机器人、条码扫描、运动监测(双目视觉)、人脸识别等领域应用。 ( 2 ) Python 1300 系列 该系列包括 1.3M ( 1280 × 1024 )、 0.5M ( 800 × 600 )和 0.3M ( 640 × 480 )像素三组型号。在 640 × 480 分辨率时,帧率最高可达 815Hz ,内置 HDR 曝光拐点设计(据说安森美不再保证该项性能),支持 DPI 并行输出和 1~4 通道 LVDS 输出。该型号的一个亮点是宽动态和高帧率,特别是高帧率特性,在模式识别如焊缝、轮毂、水电表等,高速运动扫描、高速运动机器手和 ADAS 等领域有着较好的表现。 ( 3 ) Python 5000 系列 该系列包括 5M ( 2592 × 2048 )、 2M ( 1920 × 1200 )两组型号,在 1920 × 1080 分辨率时帧率最高可达 255Hz , 1 、 2 、 4 、 8 通道 LVDS 输出,具有片上CDS 特性。该系列为全局快门在较高分别率时仍然有较高帧率和较高的动态范围,且提供近红外增强型器件,比较适合道路监控抓拍、行业无人机、安防、机器视觉应用的领域。 ( 4 ) Python 25K/16K/12K 该系列提供 25K ( 5120 × 5120 ASP-H )、 16K ( 4096 × 4096 ASP-H )、 12K ( 4096 × 3072 3/4 )三个型号,具有近红外增强版本,具有片上CDS 特性, 32/16/8/4 通道 LVDS 输出,在 5120 × 5120 像素输出时帧率可达 80Hz 。 该型号属于比较高端的,在高性能行业无人机、视觉 SLAM 、金属裂缝检测、摘选机器人、 SMT 贴片机等领域应用广泛。 二、方案概述 (1)硬件方案 Python 系列 CMOS 一般选用 FPGA 硬件方案(至少 CMOS 接口必须是),一般的,会有以下搭配: 搭配方案一:单 FPGA 方案,这个工业检测和机器人领域用得比较多,一般选用 Xilinx 和 Altera 的主流 FPGA 型号实现,算法在 FPGA 实现,输出图像或检测结果到主控计算机或直接作用执行机构。 搭配方案二: FPGA + DSP ,这个方案在机器视觉、高速运动扫描、金属裂缝检测等领域用得较多,前端是 FPGA 做接口或部分算法, FPGA 一般用 Xilinx 、 Altera 或 Lattice 的主流型号实现, 一般逻辑规模不需要太大,40K以下足矣。 DSP 承担主要的算法工作, DSP 一般会选用 TI 的 C6000 系列以保证足够的浮点定点计算性能。 搭配方案三: FPGA + MCU ,这个方案在双目视觉、监控等领域用得比较多, FPGA 可以是 Lattice 的低成本专用套片,应用在 MCU 上做, MCU 可以是海思、高通或全智的主流型号。 (2)软件方案 软件上根据不同的应用会有不同的实现方案,这里无法统一描述。 但是,一般需要在FPGA前端至少做Sensor的非均匀性校正,针对固定漂移(offset)的FPN校正和系数漂移(gain)的PRNU校正。 博主以在 FPGA 上实现基本的 Sensor 解串接收和校正处理为例,平台为 Xilinx ZYNQ-7000 ,看一看资源的占用情况: 从图中可以看出,包括 CMOS 的 LVDS 时钟接收、数据接收、校正处理、 DMA 图像到 DDR , SPI 配置和 CMOS 的时序和状态控制等模块,占用的 LUT 资源约为 1.4K (除去 ila debug 部分),优化之后的资源占用很精简。