告别渣画质,视频会议带宽降90,英伟达
2022/6/22 来源：不详机器之心报道
作者：魔王、蛋酱10月初，英伟达推出了一项AI视频会议服务Maxine，使用了AI来提升分辨率、降低背景噪声、压缩视频、对齐人脸以及执行实时翻译和转录。最近，英伟达团队发布的新论文揭露了这背后的技术。如果让打工人用几个关键词总结年的生活，「视频会议」应该是其中一个。受疫情影响，这一年来，远程办公和视频会议正在成为新的潮流。在忍受会议枯燥的同时，很多人迷上了AI换脸，期望能够实现「一边开会，一边摸鱼」的梦想。此前机器之心也介绍过Avatarify这样的热门项目。只是……效果不一定很理想：给出一个人的源图像，和一个人的动作视频（此处称为驱动视频(drivingvideo)，动作视频和源图像中的人物可以一致或不一致），如何合成逼真的说话者头部视频，即将源图像中的头像与驱动视频中的动作合二为一。源图像编码目标人物的外观，驱动视频决定输出视频中的人物动作。最近，针对这一任务，英伟达提出了一种纯神经式的渲染方法，即不使用人物头部的3D图模型，只使用在one-shot设置下训练而成的深度网络，进行说话者头部视频的渲染。论文链接：