正文内容 评论(0

打破次元壁!这个AI算法可以让照片里的人跳出来
2018-12-27 23:57:57  出处:极客公园  作者:Rubberso 编辑:随心     评论(0)点击可以复制本篇文章的标题和链接

还记得《哈利波特》里的“预言家日报”吗?

《哈利波特》世界里有一种神奇的魔法报纸,报中照片上的人物可以动起来,看起来有点像 GIF 图。在故事里这当然是「魔法」的功劳,现实世界中还没有造出这样的报纸。不过,华盛顿大学的几个科学家不死心,他们想用 AI 算法来让照片中的人动起来。

 

打破次元壁!这个AI算法可以让照片里的人跳出来

这种技术叫做 Photo Wake-Up。先来看一下效果,他们在照片、海报和艺术画上都进行了实验。

首先向我们走来的是篮球运动员库里,看起来是刚进了球。

打破次元壁!这个AI算法可以让照片里的人跳出来

 

然后是钢铁侠。哎,你从太空回来了?

打破次元壁!这个AI算法可以让照片里的人跳出来

 

是超级赛亚人孙悟空!只是原地蹦了几下...... 我以为他要变身了

打破次元壁!这个AI算法可以让照片里的人跳出来

 

还有一位长相奇怪的女子,原来是毕加索的《玛雅和玩具船》。

打破次元壁!这个AI算法可以让照片里的人跳出来

 

是不是很酷炫?这些人物就像是从画中走出来的一样,不仅从 2D 变成了 3D,还能做各种动作。

其实类似的尝试之前就有人做过,把照片里的 2D 形象映射到 3D 模型上,然后让它们动起来。不过结果嘛,像是行尸走肉。

 

因为 2D 形象都是从某一个固定角度去看的,用 3D 模型的标准去控制,会出现不匹配的情况。更不用说毕加索画里的人,根本没有一个合适的模型来匹配。让 2D 形象动起来还有一个难点,就是身体部位的重叠部分不好控制,走路的时候哪只手在前?哪只手在后?还要被身体挡住。这些复杂的问题不解决,根本无法做到栩栩如生。

 

团队给出的解决方案是 AI 算法。首先将 2D 形象与 3D 形变模型匹配,标记出身体各部位的位置。然后按照形变算法,一步步构建网格。

按照关键点位置控制网格,还原出皮肤数据,构建好贴图。

最后,把贴图放回到原图中,用算法填充背景,人物就可以随便跑了!

​打破次元壁!这个AI算法可以让照片里的人跳出来

团队还特别提到,头部姿势的准确性对动起来的人十分重要,因为大部分人会将注意力放在人物的脸上。因此,他们的算法还可以识别形象的头部角度,还有注视方向。

​打破次元壁!这个AI算法可以让照片里的人跳出来

为了让这个算法可以实际应用,团队还提供一个调整的选项,允许使用者改动关键点的位置。

这项技术可以被用到 AR、VR 中,配合相应设备来使用。想象一下,未来我们在博物馆中看的艺术画,可能是动起来的。

责任编辑:文章纠错

  • 支持打赏
  • 支持0

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |
本文收录在
#AI#照片

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...