1. 主页 > 主机 > 卡内基梅隆大学提出一种无人监督的视频重定向技术

卡内基梅隆大学提出一种无人监督的视频重定向技术

  2018年10月16日,卡内基梅隆大学的研究人员日前提出了一种无人监督的视频重定向技术:Recycle-GAN。这是一种基于数据的方法,可以将内容从一个域转换至另一个域,同时保留域的原生样式。比方说约翰奥利佛的发言内容转换至史蒂芬科拜尔,然后生成属于史蒂芬科拜尔风格的内容/发言。

  卡内基梅隆大学研究团队的方法结合了空间与时间信息,以及用于内容转换和风格保存的对抗性丢失。在这项研究中,团队首先研究使用了时空约束相较于空间约束的优势。然后,他们演示了针对空间与时间信息问题的方法,如面部到面部的转换,花到花,风和云合成,日出和日落。

  1. 面部到面部

  研究团队采用了各个公众人物的公开视频来执行面部到面部的转换任务。他们采用通过OpenPose生成的面部关键点来提取面部。示例视频中的公众人物包括马丁路德金,奥巴马,特朗普,约翰奥利佛和史蒂芬科拜尔等。

  视频显示了仙城棋牌游戏针对各个公众人物进行面部到面部转换的随机示例。在没有任何输入调整或手动监督的情况下,研究团队的方法可以捕捉公众人物的风格表达。举个例子,约翰奥利佛在微笑时会露出酒窝,唐纳德特朗普的标志性嘴形等。

  2. 身体到身体

  以上示例专注于面部。在下面的示例中,研究团队将相同的技术应用于身体重定向。

  视频是从到马丁路德金到仙城棋牌游戏奥巴马的转换。低分辨率的输入-输出导致面部精细细节的缺失(如嘴部移动)。生成高分辨率的输出可以帮助生成精细的细节。

  3. 花到花

  从面部和其他传统转换扩展开来,研究团队把目光放了花朵身上。他们采用了各种花朵,并从公开的视频中提取它们的延时定格。延时定时能够演示不同花朵的绽放,但不存在任何同步。研究团队利用他们的方法来对齐内容,即令花朵一起绽放或枯萎。

  他们使用了蒲公英花来比较Recycle-GAN与Cycle-GAN。从视频中可以看到,Recycle-GAN可以在两个域中学习适当的对应关系。

  4. 基于重定向技术的视频操纵

  研究人员通过两种情况下的视频重定向来演示他们的自动视频操纵方法:视频中合成云和风;在不同的视频中制作日出和日落。

  4.1 云与风的合成

  研究人员的方法可以用于合成包含所需环境条件的新视频(比方说云和风),不需要实际地重新进行捕捉。他们采用来自所需环境条件的给定视频和视频数据来作为实验中的两个域,然后使用条件性视频和训练的转换模型来生成所需的输出。

本文由仙城棋牌游戏发布,不代表仙城棋牌游戏立场,转载联系作者并注明出处:http://www.vitavitrin.comhttp://www.vitavitrin.com/zhuji/2020/0910/349.html

联系我们

在线咨询:点击这里给我发消息

QQ:2003 3778

工作日:9:30-18:30,节假日休息