聊聊旷厂黑科技 | 如何拍摄一部手机电影

大多数时候，旷视研究员给人的印象，总是散发着理科生的气质，有理想，但理性、追求极致，且果敢务实等等，这一次，研究员要给大家展示他们的另一面——懂浪漫。
最近，旷视上映了一部手机电影——《在一起的 1024 天》，特邀您来一同观看。故事里的主人公，是一位被女朋友日常吐槽“不懂浪漫”的理科生，他通过手机记录了与女朋友在一起 1024 天的点滴片段，将这些回忆连成一条线，串出属于一段专属于他们的浪漫故事。
影片中出现的焦点切换、双重曝光、定制化光斑、人像虚化等通常在电影屏幕中才能体会到效果正是由旷视视频特效算法提供，本期旷厂黑科技，让我们一起走进旷视手机电影背后的技术。
集合五大算法 旷视手机电影玩出新花样

当 vlog、手机电影成为了人们时下表达情绪，记录生活的重要方式，那么一台怎样的设备，能帮助你更好的完成影像表达呢？大多数人可能选择手机，一台拥有高质量影像能力的手机，成为了人们更便捷的影像设备。随着计算摄影的不断发展，手机正在突破硬件局限，带来更接近摄相机的拍摄效果，模拟出只有专业设备才能拍出的视频特效。
在 2022 旷视技术开放日现场展示的手机电影Demo，集合了视频人像虚化、视频光斑特效、视频人像留色和视频双重曝光四种视频特效以及最新研发的电影模式算法。其中前四种视频特效通过视频人像分割算法、深度信息以及丰富而有趣的图像处理算法，可以满足不同场景和人物的拍摄需求，丰富拍摄体验。

• 旷视人像虚化算法：保证对焦人物清晰，背景层次虚化，实现你的美最清晰。
  

原片
https://www.zhihu.com/video/1538888842346369024

旷视人像虚化算法
https://www.zhihu.com/video/1538889020398858240

• 旷视光斑特效算法：在保证对焦人物清晰的前提下，使得背景层次虚化并有丰富光斑，实现画面中你最闪耀。
  

原片
https://www.zhihu.com/video/1538889111678582785

旷视光斑特效算法
https://www.zhihu.com/video/1538889201587679232

• 旷视人像留色算法：通过提亮对焦人物色彩，背景黑白处理，实现画面中只留存你的美丽色彩。
  

旷视人像留色算法
https://www.zhihu.com/video/1538889279706681346

• 旷视双重曝光算法：将对焦人物和虚化背景的完美结合，炫酷值Max。
  

旷视双重曝光算法
https://www.zhihu.com/video/1538889341622956032
电影模式算法则利用单摄深度信息、对焦主体检测和多目标跟踪算法、图像虚化算法，实现手机平台模拟单反大光圈的视频效果，并在此基础上叠加手动切焦技术，实时实现顺滑的焦点变换，模拟出电影镜头般的拍摄效果，从而提高视频故事感。

• 旷视电影模式算法：自动检测识别入镜主体，并基于单摄，搭配虚化背景和实时顺滑的焦点变换，模拟电影镜头语言拍摄效果。
  

其他电影效果算法（双摄）
https://www.zhihu.com/video/1538889438809128960

旷视电影模式算法（单摄）
https://www.zhihu.com/video/1538889575871459328
突破两大核心技术难点 旷视手机电影走向深处

01 高精度语义分割

实现手机电影特效有2个技术难点，其中就视频人像特效而言，主要是高精度语义分割，一张图像可视作许多像素的集合，语义分割( Semantic Segmentation )就是把图像中的每一个像素都分类到语义可解释的类别中，“语义的可解释性”指分类标签在真实世界中是有意义的，例如人物、自行车、地板等。语义分割任务对于分类精度以及定位精度都提出了高标准的要求: 准确定位物体的轮廓边界并对轮廓内的区域进行精准分类。如此才能将特定物体从背景中更清晰的分割出来。
正如之前我们科普过视频光斑特效的技术实现方式，如果把语义分割看作是美食原材料，那么辅以各种风味的调味后，即不同的渲染手法，便能实现与众不同的各类美味佳肴。
02 精准的单摄深度估计

想要模拟出电影大荧幕里的不同焦点切换、跟焦、虚化等效果，手机解决方案的路径各有各的不同。在这条探索路上，有人选择了双摄，利用两颗摄像头解决视差，让视频自带模拟景深，从而实现平滑变焦和虚化、物体追踪。不过，旷视则选了更为独特的一条路，单摄，即一颗摄像头便能实现这些操作。
一颗摄像头，如何实现这些复杂要求？答案则是通过精准的单摄深度估计，并实现自然虚化效果。深度估计是指通过像素点估算出画面中物体的远近。与双摄深度估计不同，单摄深度估计不需要双目相机和极线矫正，在功耗和耗时毫不逊色的前提下，流程简单且成本低，已成为手机上深度估计算法的首选。凭借单摄深度估计配合图像模糊算法和光斑，普通手机就可以获得实时并且媲美单反相机的真实虚化背景效果。
旷视的单摄虚化算法使用神经网络模型，可快速准确地计算出深度信息，深度过渡平滑、渐变效果真实，可形成主体更突出、过渡更自然的图像虚化效果。
随着技术的不断创新，旷视用AI算法为影像表达创造了更多有趣的方式，手机虽然不能完全替代相机，但是却可以拥有其更独特的玩法，给用户带来不一样的创作灵感，让每个人都能成为生活的导演，体验手机带来的影像乐趣。在不断拓宽计算摄影应用边界的道路上，旷视始终在突破创新，创造更多关于 AI 的浪漫。
延展阅读


-----------------------------