Netflix数据科学家教授A.I.识别电影中的smooching场景


Text to Speech

Netflix的一位资深数据科学家教授了一种能够识别smooches的人工智能(AI)算法。 Amir Ziai开发了这种工具,能够观看电影并识别角色锁定嘴唇的场景,这是他从斯坦福大学获得AI毕业证书的工作的一部分。

他选择了亲吻场景,因为他告诉Digital Trends,使用传统的视频处理技术很难发现它们。这是因为当看到两个人的头部彼此接近的其他场景时,机器容易混淆并产生误报 - 例如说话场景或人物走近的场景。

“训练是利用跨越数十年和类型的好莱坞电影数据库完成的,”齐亚说。 “我在其中的100部电影中注释了接吻和非接吻片段,并使用这些片段训练多模式神经网络,该网络使用1秒片段的音频和视觉特征。培训这些模型的主要挑战是双重的。首先,我必须确保我已经注释了一组代表性的训练样例,这些示例将有助于推广到各种各样的电影。其次,培训视频深度学习模型可能非常耗费资源。“

尽管如此,他还是完成了这一壮举,最终的工具结果令人印象深刻。该系统采用两阶段过程。首先,它使用二元分类器来预测是否使用从静止帧和音频波中提取的特征进行接吻。然后,第二个组件将“连续的非重叠段”的二进制标签聚合成一组接吻场景。最终结果在多样化的电影数据库中获得了0.95的验证评分。

应该指出的是,Ziai并不是唯一有兴趣让机器智能识别吻的人。最近,Google为其Photobooth工具推出了一项新功能 ,该功能促使Pixel智能手机在识别出相框中的主体正在接吻时自动拍照。

“像接吻探测器这样的系统可用于自动为电影添加元数据,”齐亚说。 “此元数据可用于搜索和检索相关代码段。例如,视频编辑器可以使用此类元数据快速查找相关片段并加快编辑电影的过程。“

可以在预印本服务器arXiv上阅读一篇描述该作品的论文,名为“在好莱坞电影数据库中检测亲吻场景”。

Previous Entries Surface Book 3:我们所知道的关于微软下一代功能强大的二合一的一切 Next Entries 2019年亚马逊Prime日:到目前为止的最佳交易和7月15日的价格预测

發表評論