原创 富士通半导体产品让数码相机和手机相机图像处理功能更强大

不管是数码相机，还是具有相机功能的手机，都需要有高性能的图像信号处理器。富士通半导体在这一领域拥有独到的优势。这里为你介绍各具优势的两款产品，一个是专门针对数码相机的Milbeaut ISP，另一个是针对手机的Milbeaut图像信号处理LSI芯片。

专门针对数码相机的Milbeaut ISP功能超强

微单可换镜头相机外观和相机功能的进一步演变（如视频捕捉），使数码相机达扩大到约1.5亿台的市场规模。数码相机基本上由图像传感器和图像信号处理器（ISP）组成，用于数码相机的先进图像传感器和高速、增强图像质量、多功能ISP的需求正在不断增长。可以毫不夸张地说，现在ISP性能已成为数码相机性能的决定因素。

Milbeaut是富士通半导体的系列数码相机ISP，用一个芯片实现了数码相机系统。它可以处理来自图像传感器的各种信号、执行增强的图像质量处理，还可以存储2000万像素以上的静止图像和全高清（Full HD）视频，支持1920×1080像素和每秒30帧（fps）的100万像素/秒高速连拍和全高清视频捕捉。

Milbeaut的功能非常多，让我们从当中的MB91696AM ISP细细道来。它是第六代Milbeaut系列，具有高速连拍和全高清视频拍摄功能，这得益于新开发的高速信号处理平台。该器件具有增强的降噪性能和光学校正功能，采用了通用图像处理宏来满足市场要求。作为一个处理器，MB91696AM提供了今天的相机用户所渴望的高性能和高品质处理的静止图像到全高清视频，很多需要高像素数、高速处理和多功能数码相机都使用了这款器件。

MB91696AM是专为数码相机开发的，有两个ARM处理器用作独立的CPU内核、传感器信号处理、JPEG压缩/解压缩、高清视频压缩/解压缩；另外还有DDR3/DDR2兼容SDRAM控制器；视频接口；USB 2.0接口和各种卡接口。凭借显著改进的图像处理算法和新开发的H.264 Full HD编解码器引擎，MB91696AM提供了一款高性能、高图像品质的数码相机系统SoC，可以满足当今相机用户从静止图像的全高清视频的需求。下图是MB91696AM的框图。

该处理器采用65纳米CMOS工艺技术，这方面不多介绍，我们主要看看它的具体功能，包括高速处理、增强的图像质量技术、全高清视频支持和多功能性。

在图像处理方面，随着图像传感器像素数的增加，静止图像高速连拍和全高清视频捕捉所需的处理量在以指数速度增加。但是，用现有技术在高速下实现高图像质量水平的处理确实很困难。为了解决这个问题，富士通开发了一种新的图像处理平台和全面优化图像处理的MB91696AM ISP。

富士通为MB91696AM开发的基本固件使用了广泛用于多种便携式设备开发的ARM平台。它的好处是提高了多客户的开发效率；简化了基于客户的定制；便于实现不同的应用；通过使用广泛的中间件和丰富的开发环境，还可以缩短开发时间。

集成两个ARM处理器的MB91696AM有许多优点。拍摄静止图像时，它可同时实现多种图像应用，如面部识别、场景识别、全景拍摄，以及高动态范围（HDR）拍摄，以便进行并行处理和高速图像处理。此外，这种双核方式使得它可以同时拍摄视频和实现正在运行的应用，如人脸检测、人脸识别、防抖（相机震动补偿），同时以1920×1080像素，每秒30帧实现全高清视频捕捉。

这里要特别提一下增强图像质量的技术。高像素数图像传感器的数码相机是当前的趋势。紧凑型数码相机经常使用1/2.3英寸图像传感器。这些图像传感器在6.2×4.6毫米指尖大小的面积上集成了超过1500万个感光元件。用于紧凑型数码相机的图像传感器的面积/像素和总像素数趋势如下图所示。图中显示，像素功能年复一年地变得越来越精细，在2011年面积/像素已达1.7平方微米。不过，更高的集成度正在增加发热量，导致图像传感器产生热噪声和数据输出S/N比的退化。而且，紧凑型数码相机使光学设计变得更加困难，因为它们要求紧凑而薄的配置，同时需要低成本的光学元件，以保持低销售价格。

具体讲，增强图像质量技术之一是加强针对拜耳排列信号的图像质量。第一步是去马赛克处理之前对预处理块的三次主要处理，包括缺陷像素校正，即可以通过使用一个静态过程来校正拜耳排列信号中的像素缺陷，目的是识别来自阻光条件下捕获图像帧的噪声像素，然后在SDRAM中设置的信息基础上校正缺陷像素。第二步是噪声去除。多个噪声去除滤波器可去除来自图像传感器和硬件的噪声，还包括拜耳排列信号，如彩色云纹、块噪声和色彩不均匀噪声。第三步是相对于传感器输出和镜头本身校正功能的应用。MB91696AM内置了像素间距、线性度、着色、变形及色像差校正倍率等功能；因此，它可以处理与紧凑型数码相机相关的光学问题。下图是失真校正的效果。

技术之二是加强去马赛克处理后的图像质量。去马赛克处理后，ISP将RGB信号转换成了YC信号，分离成亮度（Y）信号和色度（C）信号，并去除每个信号的噪声。例如，亮度信号的处理主要着眼于信号电平（亮度）。因此可以实现自适应处理，同时实现高噪声去除性能和高分辨率。此外，MB91696AM还为噪声去除处理后的图像增加了轮廓增强/校正组件。

说到全高清视频支持，MB91696AM是Milbeaut系列中第一款支持1920×1080像素，每秒30帧全高清视频拍摄的ISP。它还提供了专用硬件滤波器，可消除H.264视频压缩过程中的噪声。

MB91696AM的多功能值得一提，适用于许多应用，如现在被认为是数码相机必备功能的人脸检测；通过比较输入图像与存储在数据库中场景数据的自动场景识别；以及通过合并多个使用不同快门速度拍摄图像的HDR校正，扩展了动态范围。

展望未来，富士通将努力尽可能准确地判断市场需求，并继续开发和销售采用不断发展的图像处理算法的高性能、高画质的Milbeaut系列ISP。

针对手机的Milbeaut图像信号处理LSI芯片优势多多

过去几年里，随着高像素、高分辨率、全高清视频录制和播放功能在智能手机中的快速普及，手机的相机像功能取得了长足进展。虽然手机的应用处理器可以实现相机功能，例如快速成像和个人电脑和移动终端浏览，许多客户更喜欢专用图像信号处理器（ISP），因为它们可以提供媲美紧凑型高端数码相机的图像质量和性能。富士通的Milbeaut移动图像处理LSI芯片恰恰可以实现这样的功能。

由于智能手机多样化的应用和功能，其市场在不断扩大。特别是随着相机功能在2000年引入到手机当中，它一直在稳步推进，现在已成为手机的一个主要功能，可以提供高像素数和高分辨率度全高清视频录制和播放。

Milbeaut Mobile是用于手机相机功能的一个图像信号处理器系列，自富士通2003年开发以来，一直在市场上销售。从最新Milbeaut移动处理器MBG046的系统架构、特点、功能及处理性能可以看到Milbeaut Mobile系列的优势所在。

先来看看Milbeaut Mobile功能的演变。相机功能是通过使用一个安装在手机上既小又薄的专门镜头和图像传感器实现的。最初这些限制阻碍了手机提供像数码相机那样的图像质量。因此，ISP必须能够通过镜头和图像传感器在严重制约条件下提高图像质量，而让用户满意。

2008年，第三代Milbeaut Mobile ISP集成了这样的数码相机功能，如静止图像连续自动对焦（CAF）、人脸检测、电子运动补偿。最新一代ISP（MBG046）则集成了几乎全部相机功能。它还具有市场所要求的全高清（1920×1080像素）视频、视频CAF和3D视频成像能力。

我们先来看看Milbeaut Mobile ISP的架构，下图是其主要功能组成。它可顺序处理来自图像传感器的拜耳阵列信号中接收的图像数据，包括噪声去除和其他校正功能，以产生美丽的图像，并转换成可以在移动终端或个人电脑屏幕上显示的格式。

该模块还可以利用硬件图像滤波器和CPU来执行存储在SDRAM的图像数据的额外处理（旋转和畸变校正、图像处理软件等）。这有助于实现灵活的先进图像处理，如人脸检测、高动态范围（HDR）复合处理、静止图像运动补偿、对象跟踪、全景图像生成与场景检测。

再来看看MBG046的功能。它是最新一代Milbeaut Mobile处理器。其基本操作涉及从传感器输出到应用处理器的拜耳阵列信号的实时转换和校正，该信号连接到一个外部输出模块。因此，该ISP针对移动相机系统进行了优化，并使得应用处理器可以显示屏幕上接收到的图像数据，并将数据存储在存储装置中，而无需进行修改。这样就可以实现以下功能：高速图像处理，以每秒27帧处理8 MB​​图像，以60 fps处理高分辨率图像；强降噪：在使用比数码相机便宜的镜头和图像传感器的条件下，利用具有减少亮度噪声和色彩噪声机制的图像处理器，既消除了噪声，又不损失分辨率；快速图像处理：通过直接发送图像处理单元处理的图像数据到图像输出单元，而不是通过SDRAM执行各种插值处理的常见方法来实现加速。软件配置：有助于将CPU资源分配到额外的软件图像处理（运动补偿、人脸检测等），实现一个灵活和具有先进处理能力的系统。

看了富士通针对手机的最新Milbeaut Mobile图像处理器的演变、体系结构和功能，我们可以预期，随着移动终端性能的继续稳步提升，图像处理器的需求在不断增加，以配合摄像头功能的进一步发展，实现更低功耗、更快静态成像、更小相机模块外形，以及更高容量和更高视频数据帧速率。富士通开发的图像信号处理器拥有最佳的性能和功能，这将使工程师能够用到可靠的产品，跟上这些趋势的发展。