原创 为什么1亿像素手机拍照,画质也不过如此?

2020-5-20 18:40 15583 44 6 分类: 智能手机 文集: 随手

我们常说,成像技术与摩尔定律是背道而驰的,即工艺越先进,图像传感器上的像素越小,并不意味着性能越好,有时甚至成像质量会变差。当然了,摩尔定律更具体的定义其实不是这么说的,但我们姑且就这么信了。

不过我们知道手机这些年的拍照是越来越强的,像素也的确是越来越小——之前探讨 1 亿像素图像传感器的文章其实就提到过这个问题,这也是这些年手机图像传感器实质上的发展趋势,甭管多少媒体喜欢大谈单像素尺寸这件事,像三星如今的图像传感器像素尺寸做到了 0.7μm——虽然还没有应用到 1 亿像素的图像传感器上。

当然了,手机摄像头的图像传感器总面积这些年一直是在变大的,起码从 10 年前的对角线 1/3 英寸,变成了现在的 1/1.33 英寸——这个转变其实还是巨大的。其实图像传感器变大,也就意味着拍摄一个相同的场景,光圈、快门、ISO 参数相同时(或者说照片亮度一致),则实际的光通量是明显更多的。从直觉上来看,拍照一定更好——毕竟吃了更多的光,光总量变大,也就意味着前端的散粒噪声会更低。

但好像 1 亿像素的手机,拍的照片其实也没比 4800 万像素的手机牛逼到哪里去;跟当年的 1200 万像素和 4100 万像素的较量,似乎全然不是一个量级。或者说,如果我们抛开什么光学/混合变焦、超广角这些多摄加成不说,当代手机的 28mm 主摄拍下的照片,其实也就那么回事:你说好能好到哪里去,坏又能坏到哪里去?

前一阵还有朋友说想买个拍照好的手机,问我应该买哪款。其实以手机“摄影”框定的范畴,即便华为、小米之类的厂商把手机拍照吹破天际,如果同样是 5000 块钱的手机,它们的成像质量差异真的会大到哪里去吗?所以我跟他说:你喜欢哪个,就买哪款吧,你又不搞什么严肃摄影,没事难道还跟别人去拼一拼宽容度、边角失色的问题不成?

毕竟这会儿早不是十多年前,手机拍照几乎就只有苹果一家能把自动白平衡做好;也不是十年前,诺基亚手机的解析力和信噪比可以把同时代竞争对手抛到天边去。

DxOMark 在 3 月份发布的一篇文章,我觉得特别能回答为什么 1 亿像素手机拍照其实也不过尔尔。这篇文章中提到,智能手机 10 多年来,成像质量提升超过 4EV(stop);其中 1.3EV 是来自图像传感器/光学技术的提升;有 3EV 是来自图像处理器(SoC 的 ISP、NPU 之类),或者说智能手机的处理能力提升。

总体,智能手机拍照越来越好,是摄像头光学系统(包含图像传感器技术提升),以及图像数字信号处理能力的双重提升。而后者占了大头;前者有价值,但在手机这个门类的产品中,其提升相对缓慢——这其实也符合相机市场的发展,单画质提升速度,完全不可能像半导体技术发展那样疯狂。


图像传感器(光学系统)的技术提升

DxOMark 认为,近 10 年 APS-C 画幅的图像传感器,以 DxOMark 针对图像传感器的测试标准来看,其性能提升是 1.3EV。那么手机拍照 4EV+ 的程度是怎么做到的?

从光学系统来看,对于手机来说,BSI 背照式 CMOS 图像传感器技术,算是一个伟大的发明(即便它也是相机->手机摄像头的技术下放,不过相机从 BSI 技术上的获益远少于手机),其实质就是把像素内部的色彩 filter 与感光层(光电二极管)之间的电路层,移到后方去。我们所知,BSI 解决的主要问题是串扰,而且还能提升光的利用率。

感觉背照式和堆栈式,已经是基础教育级别的名词了吧...(笑

图片来源:DxOMark

实际上 BSI 这个工艺改进本身不光是提升像素感光能力,也在于因为光电二极管离上层更近,则传感器能够从更多的方向获取光子,它带来的价值包括:

光圈因此可以做的更大(更偏角度的光);镜头也因此可以和传感器靠得更近,也就可以用更大的传感器;而且镜片可以更“平”,在增加额外光学组成部分,以及更长的有效焦距时也更具弹性,也不会让手机的摄像头模组太厚。

这么看来,BSI 对于手机拍照的贡献也算是延续至今啊,还影响到了光学系统设计。不过如 DxOMark 所说,这么多年的发展,无论是像素阱结构调整,还是什么 RAM 堆栈技术、Cu-Cu 互联之类,CMOS 制造工艺提升、图像传感器总尺寸越来越大,其贡献限定在 1.3EV。


图像处理器的技术提升

就图像处理来看,下面这张图,第一张是用无数年前的尼康 D70s 拍的 RAW 照片,ISO3200;第二、三、四、五张,分别针对这张原始照片应用了 DxO Labs Optics Pro 3/5/7/9 软件做后处理(也就是不同时期的软件后处理)。能够看出随着时代发展,不管是算力提升还是算法提升,都对原有相同光学硬件基础的成像做了怎样的提升,就表明图像处理这些年还是十分重要。

图片来源:DxOMark

能够直观体现手机拍照提升的是下图,在低照度(5 lux)下从 iPhone 5s 开始,一直到 iPhone 11 Pro Max 拍摄的不同照片。按照 DxO 所说,图像处理器在其中提升比重占得明显更大,包括现在引入多张堆栈、AI 之类乱七八糟的技术——这本身就需以图像处理器算力提升为基础。

图片来源:DxOMark

我之前翻译过好几篇谷歌 AI Blog 相关成像技术的文章,都是将机器学习应用到计算摄影的成果介绍,前一阵才发了一篇谷歌如何利用 Dual Pixel + Dual Camera + 机器学习实现背景虚化的文章,有兴趣的同学可以去看一看。这些主要建立在图像处理技术提升的基础上;而且足够谷歌在 Computational Photography 领域发一大堆的 paper。

谷歌在 Computational Photography 的成像技术介绍上最为透明,无论是 HDR+(高宽容度多张堆栈)、Night Sight(夜拍模式)、Super Res Zoom(抖动实现的超分辨率数字变焦),还是把机器学习应用到夜间模式的自动白平衡之类,它们对于当代手机拍照画质的提升显得十分显著。即便老一辈革命家们其实总是特别喜欢说,你这技术几百年前相机就用上了,你这是技术下放。

其实无论包括苹果、华为在内的厂商,在这些问题上的解决方案有多大差别,它们的核心都是图像处理的提升,包括用于图像处理的硬件算力提升,和软件算法提升。它们如 DxOMark 所说,贡献了 3EV 的画质提升。

1 亿像素的图像传感器,在 Computational Photography 面前,可能在实际产出的收益上,并不会显得十分巨大——于是,我们才说,这更是一个比拼 post processing 的时代。要不然大家都拿一样的一亿像素图像传感器,还哪来差异化竞争?

毕竟现在不像过去那样,诺基亚随随便便就去跟东芝订个独家的 1/1.2 英寸的图像传感器(808Pureview),光学系统还有蔡司参与设计,就把别家手机拍照打到满地找牙。那是十年前的传奇了,图像处理器算力也远不如现在,那会儿都没人听说过 AI 拍照。如今的华为,即便有索尼的图像传感器独家定制资源,它到底有多“独家”都很值得打个问号,更别说,在图像处理器上谁技高一筹的问题。

当然其实在光学系统方面的努力,也包括了多摄之类的。不过这些提升,尤其是多摄的图像合成实现更好的画质,本身和信号处理又是分不开的——所以算是两者的相辅相成吧。

最后文章与文首呼应一下:既然手机拍照,图像处理带来的效益更大,那么其实手机拍照是否也可以很勉强地说,是符合了摩尔定律的发展规律的。毕竟要做图像处理,靠的就是数字芯片的发展。那么其实现在手机拍照越来越好,显然 7nm 的骁龙、麒麟之类的就十分有意义,重要性不亚于摄像头本身...那还不是要跟摩尔定律挂钩了吗?

最后的最后,相机(单反/微单)领域,由于专业摄影职能和手机拍照的差别,其“计算”属性显得并没有那么重要,毕竟摄影师有自己的创作意图,而且还需要花大量时间去做人工的照片后期,自然不可能允许照片一拍下来就有浓重的饱和度和对比度。

而且相机在光学系统的优越性上具备碾压手机摄像头的特点,或者说吃光子的能力可以把手机甩到海王星去;不过当代手机凭借着图像处理能力越来越强,开始有人整天在问,手机拍照是不是能和微单/单反比了,一会儿红米秒尼康 D5,一会儿荣耀秒佳能 5D4——本质上是图像处理技术发展中,对传统光学技术的叫嚣,甭管他们有多荒谬,起码这种叫嚣在 10 年前是从来不曾有的。


推荐阅读:

[1] Smartphones vs Cameras: Closing the gap on image quality - DxOMark

[2] 看懂手机拍照的背景虚化:双摄3D成像再加上AI? - EE Times China

[3] 索尼为什么还不出1亿像素CIS?华为该着急了! - EE Times China

作者: 欧阳洋葱, 来源:面包板社区

链接: https://mbb.eet-china.com/blog/uid-me-3893689.html

版权声明:本文为博主原创,未经本人允许,禁止转载!

文章评论3条评论)

登录后参与讨论

自做自受 2020-6-11 10:12

呵呵,我以为现实只能模拟,不能逼真。何为真?说白了,拍照出来的都是假的,看官以为真就说是真,所以艺术再现。

忆轻狂 2020-6-6 10:50

相机是努力拍出一个更真实更清晰的照片,手机是努力优化出一个更讨喜的照片。

dmm8 2020-5-21 16:35

光学是门艺术。多年前,和模电工程师一样,经验丰富的光学设计工程师也有越老越吃香的说法。。。时代的眼泪。
相关推荐阅读
欧阳洋葱 2020-07-13 11:34
7nm究竟是指晶体管的哪部分?14nm是7nm的四倍?
其实我之前发 7nm 工艺介绍相关的文章的时候,就提到过:我们说 7nm 工艺,那 7nm 这数字究竟还存在毛意义?它大概除了用于表现在市场上某一个工艺节点,数字本身已经没有任何意义了。至少,台积电、...
欧阳洋葱 2020-07-10 09:33
简谈Intel Lakefield处理器,反攻Arm之策
谈下这两天 Intel 发布的 Lakefield 处理器。AnandTech 前两天发了一篇长文来解释这颗处理器,这篇文章我扫了一眼,绝对是当今尖端半导体工艺的绝佳科普文,所以我决定做全篇翻译:但因...
欧阳洋葱 2020-06-15 18:59
聊聊Exynos 990,为什么三星放弃自研CPU?
我一直都觉得三星 Exynos 还是挺有趣的 SoC:我记得之前翻译 AnandTech 的苹果 A12 和三星 Exynos 9810 评测文章的时候,有句话我印象特别深刻:“采用 M3 核心的三星...
欧阳洋葱 2020-05-23 14:25
为什么Android Go在中国发展不了?体验“真”入门机型NOKIA 1.3
我觉得中国用户的手机偏好,是被国产手机厂商养刁的,比如对千元机、百元机的配置基本要求,都十分不凡。如今的国产千元机配置,恨不得能够得着旗舰,这好像也是中国特有的一个情况。这就带来一个十分诡异的事情:高...
欧阳洋葱 2020-05-02 15:39
MacBook要采用Arm处理器,难度有多大?
实际上,有关 Mac 系列计算机要开始采用 Arm 处理器的传言似乎是从 2010 年就开始的,那会儿苹果也才刚刚开始做 iPhone 的 SoC。这一传言就 10 年过去了,起码今年前不久才更新的 ...
广告
EE直播间
更多
我要评论
3
44
广告
关闭 热点推荐上一条 /5 下一条