你讲故事，它剪视频：AI视频剪辑自动化解放熊猫眼剪辑师

视频编辑是一项耗时费力的工作，需要编辑找到合适的帧并拼接在一起。如果这个过程可以自动化，一些编辑可能不必熬夜来剪辑电影。清华、北航、哈佛大学和以色列赫兹跨学科研究中心的研究人员开发了一种新的视频编辑方法，可以通过编辑视频对应的文本来完成镜头选择和拼接，生成符合文本描述的一致视频。

研究人员提出的工具叫做“写视频”。它可以根据文本确定库中的哪些镜头或场景被选择，从而形成编辑器所需的故事情节。这个工具对新手非常友好，即使你没有专业的视频编辑技能，你也可以得到高质量的视频蒙太奇。

研究人员还提出了一种新的视频编辑界面，它允许用户直接操作文本，而不用操作视频帧。

他们在不同的主题文本和视频数据库中进行测试，并进行定量评估和用户研究。结果表明，这种结合了人工和算法能力的智能数字工具可以帮助用户进行创作。在视频写作工具的帮助下，没有任何视频编辑经验的用户也可以剪切出令人满意的视频，有时比那些使用帧编辑工具的专业人员要快。

该团队将在本月17日和20日举行的亚洲计算机学会信号图形亚洲会议上展示这一结果。亚洲计算机图形展(ACM SIGGRAPH Asia)是由国际图形图像协会组织的计算机图形和交互技术展览会和会议。这是一个关于计算机图形学的顶级国际会议。

研究人员说，“写视频”允许编辑者通过简单地编辑视频附带的文本来创建视频蒙太奇。他们可以添加或删除文本，移动句子并将其转换为视频编辑操作，例如查找相应的镜头，编辑或重置镜头等。

编辑过程分为三个步骤:(1)用户提供输入，主要是编辑文本；(2)系统自动搜索视频库中语义匹配的镜头；(3)拼接视频。分段文本和镜头之间的视觉语义匹配是通过级联关键词匹配和视觉语义嵌入来实现的，比其他解决方案更准确。考虑到时间限制，视频重组被定义为电影技术指标的混合优化，例如镜头、相机运动和色调以及用户指定的电影片语。

赫兹跨学科研究中心的教授阿里尔·沙米尔(Ariel Shamir)说:“视频写作利用当前自动视频理解的先进技术和独特的用户界面，产生更加自然和简单的视频编辑效果。“使用我们的工具，用户可以以文本编辑的形式提供输入。该工具可以从视频库中自动搜索语义匹配的候选镜头，然后使用优化方法通过自动剪辑和镜头重排来组合视频蒙太奇。王淼博士目前是北京航空航天大学虚拟现实技术与系统国家重点实验室助理研究员兼硕士导师，他说:“视频写作(Write-A-Video)使用户能够通过使用电影技术探索每个场景的视觉风格，从而加快或减慢视频节奏，增加或减少动作内容等。”

此外，当从视频库中选择候选镜头时，视频写作(Write-A-Video)会考虑到这些镜头的美学效果，并自动选择那些光线充足、清晰稳定的镜头。清华大学的胡世民教授说:“在任何时候，用户都可以通过叙事来渲染视频和预览视频剪辑的效果。

在许多视频网站中，“观看明星镜头”的选项已经存在一段时间了。最近对自动编辑的研究似乎在自动化方面又向前迈进了一大步。这种技术何时会进入实用阶段？