原创 数码摄像的图像处理 ISP它到底如何？

说到图像处理，相信大家都不陌生，手机、电脑、平板、相机、摄像机这类手持消费品都会对图像处理有一定的要求，这几个手持消费应用中当消费者对图像处理的要求越来越高，作为摄影爱好者肯定是希望图像处理越给力越好。那么本次的文章，我们就会给大家讲一下这一类产品的图像处理部分，当然实践是最好的真理.

ISP？决定因素！

以数码相机为例，随着无反光镜相机的发展，数码相机的市场规模估计为1.5亿台，面对如此庞大的市场，很多刺激市场、改善产品的因素都在不断的升级，例如视频捕捉这种摄像及照相功能也在不断的被改善。通常来讲，数码相机图像部分芯片基本上由一个Imaging Sensor（图像传感器）和ISP（图像信号处理器）组成，多功能的ISP结合图像传感器能够为数码相机提供高速、加强的图像质量。所以，很多人都认为ISP是数码相机性能表现的决定因素。

ISP在模组上的应用原理

无论数码相机、摄像机或者摄像手机，其影像数据都是从前端感应后，经过ASP（模拟信号处理）、ADC（模拟数字转换器）、Pre-ISP（前期影像处理）与Post-ISP（后端影像处理）四个阶段后，影像数据才能最终呈现在终端设备上。

不过呢，由于图像传感器的像素高低不同、及其他成本等的考虑，ISP各功能区域会依数码市场特性做分散配置或整合处理，例如，某些低端相机将Pre-ISP与传感器整合在一起，而某些高像素手机将所有的ISP功能单独做成一个芯片等，当然，无论什么样的方案，最终符合消费者心理预期就是最好的方案。

ASP（模拟信号处理器）主要是针对图像传感器采集的电压或电流信号进行处理，主要作用是信号放大、自动曝光调整、时序控制、像素抽样控制等。因其与初始信号的绝对相关性，一般的图像传感器厂商皆会将此项功能直接与传感器做在一块。在图一中即为蓝色部分。传感数据经过ASP处理后，输出数据为Raw Data（原始数字数据）。

Pre-ISP（影像处理器）为前端影像处理，主要针对ADC转换后传出的Raw Data，进行影像坏点修补、白平衡、gamma校正、锐利度、颜色插值等。在低像素的产品中，例如0.3M像素，因影像数据较少，不需要大规模的复杂处理，会将Pre-ISP与图像传感器做在同一颗芯片中；但高像素CMOS传感器，因需要处理的像素数越来越多，虽然将Pre-ISP集成在传感器内部从制造技术上来讲不困难，但因成本及成像质量的原因，有些手机设计公司在设计时会将集成于传感器内部的Pre-ISP功能屏蔽掉，并维持传感器ADC输出的原始资料，交由单独的ISP芯片或集成在Baseband的ISP进行处理。

Post-ISP虽然也称为后端影响处理，但其与成像相关的工作不多，主要负责数据压缩与后端接口界面控制，以及数据传输、控制等工作，其中还包括LCD影像预览、镜头对焦控制、使用界面等。

我心目中的ISP

ISP这样一个芯片中包含了数码相机中图像处理所需要的各种功能，如图像压缩、噪音降低、高色彩重现能力等。可见这么一个芯片如果技术过硬，很多图像处理问题都不再是问题。

好了，不说这么枯燥的技术了，我最近拆掉了一个像素1300的手机，听筒部分出现问题，但是照相以及摄像一直比较满意，所以好奇心驱使，径直就去看了下它的图像处理芯片，很有意思，我上网查了下，很多关于富士通ISP芯片的新闻，例如和索尼的爱恨情仇史，和莱卡的合作等等，当然工作肯定不能做到这一步，现在手机和相机拼像素的时代已经终结了，拼的就是处理，像素再高，处理不行，照样没人看中。去富士通官网查询了下，它的ISP有一个专有的型号“Milbeaut”，这系列从2000年推出以来一直应用在数码SLR相机、微型数码相机、手机拍照模块，当然估计`还有其他设备。起初这款产品定位在对功耗更低及处理速度更快的图像处理系统的需求。当然对设计工程师来说，满足这些相互冲突的条件其实很不可思议。

Milbeaut技术在单一芯片上满足了这些相机的多种功能要求，包括图像压缩/解压(图像压缩编码)、降噪和记忆卡处理等。它可以处理从不同的图像传感器传来的信号,执行增强图像质量处理、存储20-megapixel-plus still images静态影像和全高清视频。最近富士通又推出了比较给力的第六代，在这里我给大家稍微讲解下，感兴趣的可以互相讨论下。

第六代的代表作当属MB91696AM，它具有高速连续拍摄和全高清视频捕捉，可以由于最新发达的高速信号处理平台。与此同时，这款新品提供了增强的消声性能和光学校正函数。作为一个处理器,能够提供高性能和高质量加工，对于现在需求全高清视频图像的相机用户,MB91696AM已经被使用在很多需要高像素计数、高速处理以及多功能化的数码相机产品上。

它具有两个ARM处理器，可作为独立的CPU核心，传感器信号处理、JPEG压缩/解压、高清视频压缩/解压，DDR3 DDR2 SDRAM控制器兼容，一个视频接口，USB 2.0接口和各种卡接口。MB91696AM不仅采用了因高可靠性而被广泛使用的第六代Milbeaut图像处理算法，而且能够以每秒8帧的速度高速连拍（1400万像素），并且视频质量更高。此外，MB91696AM还配备了新研发的全高清H.264编解码引擎，因而能够实现清晰低噪录制高分辨率全高清电影（1920×1080像素）。MB91696AM提供了一个高性能、高图像质量数码相机系统级芯片，从静态图像到全高清视频，满足今天的需求的相机用户。上一张芯片靓照。

图一  MB91696AM样片图

图二 MB91696AM系统框图

最后暴两张这款芯片的去噪图和矫正效果图片吧，感觉其他方面用过这款的工程师都不会再问了，去噪和矫正这个之前可能被提到的比较少。至于题目的ISP到底好不好，这个还是得您说出答案。。。

图三  MB91696AM去噪效果图对比

图四  MB91696AM图像矫正图对比