正文内容 评论(0

阿里云上线AI视频生成工具Live Portait:可一键让照片开口说话 媲美真人
2023-08-16 14:34:53  出处:快科技 作者:随心 编辑:随心     评论(0)点击可以复制本篇文章的标题和链接

快科技8月16日消息,阿里云推出数字人视频生成工具Live Portait,上传一张照片和一段文本或语音即可生成一段开口说话的数字人视频。

该功能可应用于视频直播、聊天机器人、企业营销等场景。目前,该工具已在魔搭社区创空间开放体验。

阿里云上线AI视频生成工具Live Portait:可一键让照片开口说话 媲美真人

自对话大模型和AI绘画模型相继火热后,业界对生成式AI的研究逐步朝更多模态的方向演进,AI视频生成便是热门技术之一。该技术可将文本或音频等信息转换为面部运动信息,进而驱动生成照片人物形象的动画,能有效降低视频拍摄和制作门槛。

此次上线的Live Portait工具由运动模块和生成模块组成,其采用阿里云自研的口型预测算法,生成的口型准确度相比传统方法大幅提高;在训练阶段,增加了姿态的显式控制,无需底板视频也可以生成任意动作的视频,大幅提升数字人说话的真实感。

此外,通过眼神主动控制技术,Live Portait可以为眼球增加一些自然运动,使得生成结果在观感上更接近真人效果。据介绍,Live Portait相关技术已被CVPR、ICCV等国际AI顶会收录。

阿里云上线AI视频生成工具Live Portait:可一键让照片开口说话 媲美真人

根据魔搭社区上的信息显示,在Live Portait上传照片后,用户可选择文本驱动和音频驱动两种方式,文本驱动模式下,该工具提供了普通话、英语、粤语、童声等28种声音。此外,Live Portait还提供了轻量模型选择,帮助用户更快速生成视频。

该工具算法负责人张邦表示:“ Live Portait集成了团队多项自研创新技术,例如仅需单张图片就能生成逼真的面部动画,突破了传统对抗生成网络的局限。随着技术的进一步迭代,图生视频有巨大的应用空间,有望成为企业降本增效的生产工具。”

据悉,该团队研究方向涵盖数字人、3D模型AI生成、高真实感渲染、自然人机交互等领域,目前已发表50多篇国际顶会论文。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:随心

  • 支持打赏
  • 支持0

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...