院长
发表于 2021-5-8 04:33:49
这个问题其实挺好的,展开来有不少东西可以讲。
这个答案会比较硬核,超过 5200 字,包括以下几个章节:
手机摄影发展史手机摄影的局限性和极限摄影系统论:手机 vs 相机营销与事实彩蛋:750D + 超广裁切到 800 万像素对华为 P30Pro(待更)
手机摄影发展史
在消费者需求的共同推动下,近年来手机摄影模组主要朝着以下几个方向发展:多摄化、计算摄影化、多主摄化。
HOYA 光学变焦模组
2015 年,采用 HOYA 光学变焦模组的华硕 ZenFone ZOOM 上市,搭载 1/3" CMOS,等效 28-84mm 的 f/2.7-4.8(等效约 f/21-39) 模组,不过并没有受到市场的好评。
受制于厚度,手机里能放下的真光学变焦模组的规格非常受限,采用潜望式结构的 CMOS 尺寸也很难做大。
拓展手机摄影系统的能力不能靠传统的光学变焦道路,而要靠多个定焦摄像头 + 数码变焦来实现。
手机多摄模组的发展经历了以下几个阶段:探索阶段 - 高速发展阶段 - 优化阶段
起初市场上出现了对多摄系统的探索,比如 HTC 的 G17 3D 双摄、HTC M8 的景深双摄、华为的彩色 + 黑白双摄,但双摄真正走向大范围实用化还是要属 iPhone 7 Plus 上搭载的广角 + 中焦双摄,这指出了多摄系统正确的发展方向:用于拓展手机影像系统的视角。
小米 10 Pro 的四摄像头模组
随后大家就看到多摄系统遍地开花,多摄手机进入高速发展。
现在我们看到的主流多摄系统其实都走在拓展视角这个道路上,由广角 + 中焦逐步发展到现在的超广角 + 广角 + 中焦/中长焦(可选)方案,此外部分厂商还在这个基础上加入了 ToF 摄像头,微距镜头(也有把微距功能集成到其它摄像头里的)等。
手机一直都是计算摄影应用的前锋,小尺寸高速 CMOS 搭配尚可的算力以及完善、相对开放的图像处理管线使得手机成为了计算摄影(computational photography)的极佳试验田。
大多数人第一次接触到计算摄影应该是在 iPhone 4 上的 HDR 功能以及 iPhone 4S 的全景功能,这两个今天司空见惯的功能在当年可以说是不亚于魔法的存在。
不过说到计算摄影在手机上的最大推手,还是要数 Google,Google 在这方面的贡献堪称十年磨一剑。
FCam
iPhone 4 发布的同一年,WWDC 会场半个小时车程外的斯坦福大学里一个团队造出了这个黑盒子——FrankenCam,FCam,得名于《科学怪人》里被科学赋予生命的怪物,这个平台由各种一个小尺寸 CMOS、一个计算机、一枚单反镜头组合起来,拥有开放、可定义且基于 C++ 的 API,使用 Linux 系统,可以在毫秒级时间内对硬件进行控制。
这一团队后来去了 Google,领导 Android 相机框架团队的研发。
2014 年,Google 在 I/O 大会上发布了 Android L,Android L 带来了许多重磅功能,比如全新的 Material Design 设计、ART 编译器以及一个全新的 API,它被称为 Camera 2 API2,而对应的硬件抽象层则被称为 Hardware Abstraction Layer v3(HAL3),你现在看到的所有 Android 手机上流光快门、超级夜景模式、RAW 域处理一类的功能,都需要基于 Camera 2 API2。
2016 年 SIGGRAPH 会议上,Google 发表的《用于移动相机的高动态范围以及低照度环境下的连拍摄影成像》一文创新性地提出了一种新的基于单曝光的 HDR 实现。
随后几年中 Google 还放出了更多的技术细节,比如如何用机器学习训练曝光、白平衡和自动对焦(3As)。
之后就是你们能看到各种模仿这个思路的实现了,然后就是堆硬件拼曝光时间的一众刷夜拍成绩进行宣传的国产手机了,思路上并没有什么创新。
Pixel 3 上的 OIS 组件能以 sub-pixel 的精度同时补偿手抖并获取更多的颜色信息,为此我们获得了可以媲美 2x 定焦镜头效果的单摄 SuperRes Zoom,Pixel 4 加入 2x 中焦摄像头配合 SuperRes Zoom 则进一步提升了可用数码变焦倍率。
Live HDR+ 通过对取景器 YUV 流进行 AI 处理来获得所见即所得的 HDR+ 效果,同时加入了两个影调调整控件,让用户能实时改变手机的 tone mapping 策略。
iPhone 则探索了另一种多帧曝光的策略,Deep Fusion 的思路是通过 8 张较短曝光和 1 张略长的曝光的照片来合成最终输出的 2400 万像素图像,然后用夜景模式 + Deep Fusion + Smart HDR 接力负责不同亮度下曝光的也挺有趣的。此外就是 iPhone 11 系列上的平滑变焦了,这一功能在今年的旗舰手机里也会成为标配。
最后一个要说的潮流比较新,多主摄,这个是在前两个的基础上进一步挖手机摄影的画质,既然大 CMOS 是快乐的,那有好几个大的 CMOS 岂不是好几倍的快乐?
Mate 30 Pro 和 OPPO Find X2 Pro 用了超广角 + 广角的双主摄,小米 10 Pro 则是广角 + 中焦的双主摄,三星 S20 系列则是用双广角主摄配合算法来提供更好的数码变焦。
三星 S20 Ultra
至于机皇中的机皇 S20 Ultra 可以说是三主摄,超广角、广角、潜望式镜头都采用了很大尺寸的 CMOS。
手机摄影的局限性和极限
然而,再厉害的算法也好,在拍照的时候也是要遵守物理的基本原则。
首先,受制于手机的体积,手机的摄像头模组尺寸无法无限增大,目前看起来 1 英寸会是一个比较好的点,满打满算,把所有的摄像头都堆上 1 英寸 CMOS,那它也就是一个 1 英寸底的相机。
其实 S20 Ultra 的摄像头突起已经非常夸张了,这才用了 1/1.33" 和 1/2"(竖立),能在手机里塞进去好几个 1 英寸是非常乐观的估计。
接下来说计算摄影,计算摄影的本质是堆栈,即使用多张图片堆叠来提高画质,比如说超级夜景的本质是通过堆栈改善信噪比,超分辨率算法也是通过堆栈来改善解析力。
在一个理想的摄影系统中,只考虑散粒噪声。
当噪声为散粒噪声时,想将信噪比提升N 档,需要堆栈的图片张数为2^2N,因此如果想要提升 2 档,需要堆栈 16 张,3 档就需要 64 张,而 4 档就需要 256张了。堆栈张数的增加所给予的回报是越来越少的,可以说超过 2 档以后就失去了实用意义,这也是目前绝大多数手机厂商止步的地方。而且,随着堆栈张数的指数级增加,算力需求、曝光总时间的需求也是指数级的,因此堆栈并不能无限制地提高画质。此外,堆栈对于三个东西是无能为力的,一个是 FPN/PRNU/DSNU/HN 这些非散粒噪声,另一个是光学系统本身的欠采样,还有一个就是移动物体。
由于成本和体积的限制,目前手机镜头几乎都是树脂镜头 + 扭曲非球面的设计,遇到高频信息就暴死,各种像差控制约等于不存在,抗眩光能力四舍五入等于没有。
而由于手机孱弱的 ISP(别笑,ISP 真的很弱),面对动态题材手机两腿一蹬嗝屁——ISP 太弱追不上焦,追上了多张堆栈发现主体跑了,没信息可以用来堆栈啊,robust merge 都救不回来。
这就是手机这个体积里能做到的画质的极限:面对静态物体达到一英寸的基础上再加 2 档左右的信噪比增益,面对动态物体达到接近一英寸相机的画质。
但实际上有可能吗?做出这样一台手机得卖多少钱,对吧?再算上镜头的 debuff,实际上能做到接近一寸底的机器的水平就不错了。
新加坡 CBD
几年前,夜景模式一类的东西还不太流行的时候,我就用手机一百张左右的 RAW 照片(理论上提供 3 档左右的 SNR 增益)并后期堆栈出了一组夜景照片,同时还应用了一些超分辨率的方法,我不客气地说,我觉得近几年里你拿着任何一台手机去这个地方拍,都不会比这张照片画质更好了。
如何做到手机摄影的极致,或者你有哪些自认为是手机摄影极致的照片?所有觉得算法万能的人,要么是蠢,要么是坏,要么是又蠢又坏。
手机的光学采样能力摆在那里,堆栈算法的边际效应递减摆在那里,算力极限也摆在那里,那么未来几年再怎么发展它就是那样子。
摄影系统论:手机 vs 相机
手机和相机本质是两个非常不同的系统,尽管它们都能拍照,但面对的人群其实是很不一样的。
思考一下摄影的整个流程,你可以把它划分为:场景光照 - 光学 - 传感器 - 后期处理 - 获得图像- 进行分发,这样的几个阶段。
手机是一个高集成的系统,All in one,一条龙,提供了从光学到传感器到后期处理到获得图像到进行分发(一般是社交媒体的传播)的所有功能,但每个环节能提供的控制都是极其有限的,能力也是极其有限的。
手机对场景光照控制能力几乎没有(那个闪光灯真的就是拍个亮)、光学模组素质不高、传感器尺寸受限、后期处理算力不够,但是这些都不是问题,它满足的是一个快捷、方便的记录和分享需求。
而且我们说,媒介的特性决定媒介的呈现,社交媒体是一个对图像细节极不敏感的分发渠道。各种各样的压图决定了图片的色彩和影调会更加受重视,而非成像细节。
相机呢,则只是这个链条里很小的一个部分,但是它可以扩展成一个极大的系统。
布光系统要多少有多少嘛,镜头群要多少有多少嘛,采样能力暴打手机上那些 QuadBayer EnneaBayer HexadecaBayer 的弟弟……
拿手机的处理能力和相机里面那块 SoC 比也是不对的,如果光比较 ISP 的性能的话,相机上的外挂 ASIC 或者 FPGA 比手机上的那一点点所谓 ISP 不知道强到哪里去了,具体的表现就是相机的 3A(AWB、AE、AF)性能极其强劲且可靠,而手机那个等效 f/8-11 的景深拍个猫猫狗狗还能整天跟丢焦,和手机上负责堆栈的那部分算力对比的应该是各位摄影师手里的工作站里面的 CPU。
很多人以为的手机对比相机是这样子的:
但其实它是这样子的:
很多专业摄影师最后的作品是要进行输出、拿到现实里来看的,在这种媒介上,所有的 artifact 都会被放大放大再放大,每一根毛都看得清清楚楚。
所以这俩面对的人群根本就不一样,你拿最新的手机去问一个摄影师能不能超过他手上的器材,他都不会正眼看你一眼。
但为什么现在网上会有这么多的争吵呢?主要是两个原因,一个就是在某些特定情况下,两者的流程出现了重叠,因此会被作比较,第二个就是营销的作用。
什么时候两者会出现重叠呢?那就是对于刚入门的、预算不是很高的摄影爱好者,比如选购入门级单反 + 套头或者卡片机这样的爱好者。
这个时候它需要面对的情况是:对光线的掌控能力同样欠缺、光学和传感器能力有提升,但如果不学习后期技巧,这个硬件上画质的提升可能就落在手机自带的算法可以掩盖、弥补的范围内。
所以未来几年手机肯定是会继续吃掉中低端卡片机的市场,只有提供更强等效焦距规格、或者主打一些特殊场景拍摄(比如带翻转屏的 vlog 机器)的卡片机会留存下来,当然我们也希望看到更多相机厂商把计算摄影和更方便的图片互传应用到这类机器上去。
相机市场体积肯定也会继续缩小,变成一个更加 niche 的市场,但真正的摄影爱好者和专业摄影师是不会受到冲击的。
营销与事实
手机摄影的进步是实实在在的,大家作为影像爱好者,这台永远在身边拿起来就能拍的机器画质有进步,当然也会很开心。
但是要想和专业器材抬杠?用越前龙马的一句台词:
NOT EVEN CLOSE.
此外还有一些令人反感的纯粹就是营销手段:
明明就是多枚光学定焦 + 数码变焦补焦段,一定要叫混合光学变焦。
明明就是多帧合成 + 数字增益,一定就要弄一个毫无意义的 ISO409600。
明明变焦超过一定范围就糊成狗,一定就要弄一个 30x 60x 100x 的油画变焦选项来宣传。
明明等效快要 f/400 信噪比低到鬼都不认识的,除了画月亮拍什么都不行的“超长焦模式”一定要拿出来宣传。
不是不承认进步,是有些宣传吃相太难看,机器还是不错的。
我没有低估手机的性能,恰恰相反,我非常了解它现在能做什么、不能做什么,以及在可见的未来能做什么、不能做什么。
正因如此,我才不会对它抱有不切实际的期待,我知道它应该是作为一个随手拍的、记录生活的工具,并且同样可以拍出相当不错的照片,但我也知道,当我要拍摄我自己的创作的时候,相机永远会是一个更好的选择,而对应地,我需要付出更多的时间和精力去进行后期处理,我也需要投入更多的花费。影像系统是一个妥协的艺术,如果想在所有画质和体验方面都不妥协——那钱包估计就得妥协一下咯。
时代是进步的,要用进步的眼光去看事物的发展,但也要遵守客观规律。
彩蛋:750D + 超广裁切到 800 万像素对华为 P30Pro(待更)
如果这个回答引发的关注足够多我可以给大家安排一下。