谷歌又买算法送手机了:最新方法让背景虚化细节到头发丝 真有单反的感觉!
2022-02-08 19:26:20  出处:量子位  作者:明敏 编辑:祥云     评论(0)点击可以复制本篇文章的标题和链接

当真是买算法送手机!

这不,谷歌又给“亲儿子”Pixel 6塞福利了,让手机抠图也能细节到头发丝。

看这效果,原本模糊的头发轮廓,咻地一下,就变成了纤毫毕现的样子!

谷歌又买算法送手机了:最新方法让背景虚化细节到头发丝 真有单反的感觉!

连发丝之间的缝隙也能精准抠到。

谷歌又买算法送手机了:最新方法让背景虚化细节到头发丝 真有单反的感觉!

这样一来,就避免了使用人像模式拍照时人物与虚化背景割裂的情况,让人物照片的纵深感更加逼真。

四舍五入一下,这不就是手握单反拍照?(手动狗头)

Alpha遮罩+监督学习

在介绍最新的方法之前,先来了解一下过去手机的人像模式拍照到底是怎么实现的。

传统方法是使用二进制将图像分割,然后对分离出的背景进行虚化,在视觉上产生一种纵深感,由此也就能更加突出人物主体了。

谷歌又买算法送手机了:最新方法让背景虚化细节到头发丝 真有单反的感觉!

虽然带来的视觉效果非常明显,但是在细节上的表现还不够强大。

由此,谷歌将常用于电影制作和摄影修图的Alpha遮罩搬到了手机上,提出了一个全新的神经网络,名叫“Portrait matting”。

其中,主干网络是MobileNetV3。

这是一个轻量级网络,特点是参数少、计算量小、推理时间短,在OCR、YOLO v3等任务上非常常见,具体结构长这样:

谷歌又买算法送手机了:最新方法让背景虚化细节到头发丝 真有单反的感觉!

在推理时,Portrait matting首先将RGB图像和低分辨率的Alpha遮罩作为输入,用MobileNetV3来预测分辨率更高的Alpha遮罩。

然后再利用一个浅层网络和一系列残差块,来进一步提升Alpha遮罩的精细度。

其中,这个浅层网络更加依赖于低层特征,由此可以得到高分辨率的结构特征,从而预测出每个像素的Alpha透明度。

通过这种方式,模型能够细化初始输入时的Alpha遮罩,也就实现了如上细节到头发丝的抠图效果。谷歌表示,神经网络Portrait matting可以使用Tensorflow Lite在Pixel 6 上运行。

谷歌又买算法送手机了:最新方法让背景虚化细节到头发丝 真有单反的感觉!

此外,考虑到使用Alpha遮罩抠图时,背光太强往往会导致细节处理不好。

谷歌使用了体积视频捕捉方案The Relightables来生成高质量的数据集。

这是谷歌在2019年提出的一个系统,由一个球形笼子组成,装有331个可编程LED灯和大约100个用于捕获体积视频的摄像机。

相比于一般的数据集,这种方法可以让人物主体的光照情况与背景相匹配,由此也就能呈现更为逼真的效果。

谷歌又买算法送手机了:最新方法让背景虚化细节到头发丝 真有单反的感觉!

而且这种方法还能满足人像被放置在不同场景中时,光线变化的需求。

谷歌又买算法送手机了:最新方法让背景虚化细节到头发丝 真有单反的感觉!

值得一提的,谷歌还在这一方法中使用了监督学习的策略。

这是因为神经网络在抠图上的准确度和泛化能力还有待提升,而纯人工标注的工作量又太大了。

所以,研究人员利用标记好的数据集来训练神经网络,从而大量数据中来提高模型泛化能力。

谷歌又买算法送手机了:最新方法让背景虚化细节到头发丝 真有单反的感觉!

One More Thing

用算法来优化摄影效果,其实是谷歌的传统艺能了。

比如Pixel 4中,就使用算法来拍摄星空。

谷歌又买算法送手机了:最新方法让背景虚化细节到头发丝 真有单反的感觉!

HDR+算法更不必说,曾经引发过大众热议。

谷歌又买算法送手机了:最新方法让背景虚化细节到头发丝 真有单反的感觉!

这一功能可以在相机启动时、没有按快门的情况下连续捕捉图像,并且会缓存最近保存的9张。这些照片将会与按下快门后的图像一并处理,最终得到一张最优的图像。

同时它还能让Pixel在夜间模式下拍照时,不用像其他手机那样长时间停留。

由于提升摄影效果不靠硬件,谷歌也将这些功能整合到一个APP上,适用于各种安卓手机。

感兴趣的小伙伴,可以去试玩看看or分享自己的体验~

责任编辑:祥云文章纠错

话题标签:谷歌算法相机

  • 观点支持
  • 支持0

  • 反对

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |

  • 最热文章

  • 关注我们

快科技 关注快科技 微信公众号,每日及时查 看最新手机、电脑、汽车、智能硬件信息
  • 微博

    微博:快科技官方

    快科技(原驱动之家)官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:快科技mydrivers

    科技快讯、手机开箱、产品体验、应用推荐...