视频编码的终结？电视电影小迷妹 TVco.cn

在2006年11月的IEEE信号处理杂志上，“视频编码和传输的未来”一文中，爱德华·德尔普（Edward Delp）教授首先请与会嘉宾：“ 视频编码死了吗？ 有人认为，H.264 / MPEG-4具有更高的编码效率。 。。 也许没有更多的事情要做。 我必须承认，自从我从1976年开始从事图像和视频编码工作以来，至少有四次听到这种压缩无效的说法。 ”

人们推测视频编码已死于四十多年前。然而，我们已经到了2018年，组织了第33版图片编码研讨会（PCS）。

图像和视频编码死了吗？从应用和相关性的角度来看，视频压缩非常活跃，并且在互联网上蓬勃发展。思科白皮书“ Zettabyte时代：趋势与分析（2017年6月）”报告称，2016年，IP视频流量占IP总流量的73％。据估计，到2021年，这一数字将增长到82％。Sandvine在“ 2016年6月的全球互联网现象报告”中指出，北美固定访问网络上的峰值下载流量的60％由以下四种VOD服务所占：Netflix，YouTube ，Amazon Video和Hulu。爱立信的《 2017年11月移动性报告》估计，2017年移动数据流量中，视频应用程序占流量的55％。预计到2023年将增加到75％。

至于行业参与视频编码研究 ，似乎该领域比以往任何时候都更加活跃。开放媒体联盟（AOM）由领先的科技公司于2015年成立，旨在合作开发一种免版税的开放视频编解码器。 AOM的目标是开发高效，经济，高质量和可互操作的视频编码技术，从而导致今年AV1的发布。在ITU-T VCEG和ISO / IEC MPEG标准化世界中，联合视频专家团队（JVET）于2017年10月成立，以开发一种新的视频标准，其功能超出HEVC。最近结束的征集建议书吸引了来自工业和学术界的32所机构，令人印象深刻，总共提交了22份论文。该新标准将被称为通用视频编码（VVC），预计将于2020年10月完成。

像许多全球互联网公司一样，Netflix意识到视频编码技术的进步对于提供更具吸引力的视频体验至关重要。一方面，许多人受到不可靠的网络或有限的数据计划的约束，从而限制了当前技术可提供的视频质量。另一方面，优质视频体验（如4K UHD，360度视频和VR）则是大量数据。视频压缩增益是推动采用这些沉浸式视频技术所必需的。

那么，我们如何才能为菲律宾农村的移动用户提供100 kbps的高清质量的陌生事物？我们如何在不要求25 Mbps宽带连接的情况下流式传输完美清晰的Chef’s Table 4K-HDR-WCG节目？激进的新想法。合作。还有像2018年图片编码专题讨论会这样的论坛，视频编码社区可以共享，学习和反思。

受我们在Netflix的产品角色，与标准化社区和行业合作伙伴的接触以及与学术机构的研究合作的影响，我们就视频编码研究的当前状态分享了一些问题和想法。当我们着手组织PCS 2018的特别会议，主题演讲和邀请演讲时，这些想法启发了我们。

让我们超越基于块的混合编码进行创新。

MPEG-2，VC1，H.263，H.264 / AVC，H.265 / HEVC，VP9，AV1-所有这些标准都是建立在基于块的混合视频编码结构上的。试图偏离这种传统模型的尝试一直没有成功。在某些情况下（例如，分布式视频编码），这是因为该技术对于普遍使用的情况不切实际。但是，在大多数其他情况下，可能不会在新技术上投入足够的资源来实现成熟。不幸的是，新技术是根据最新的编解码器进行评估的，而数十年来的投资却对其编码工具进行了改进。然后很容易将新技术归为“非同等水平”。我们是否由于不允许新工具成熟而错过更好，更有效的技术？如果我们仅停留在铺装的路径上并在同一组编码工具上进行迭代，我们可以挤出多少冗余位？

社区需要更好的方法来衡量视频质量。

在学术出版物，标准化活动和行业编解码器评估中，PSNR仍然是评估编码性能的黄金标准。但是，该领域的每个人都会告诉您，PSNR不能准确反映人类的感知。诸如自适应量化和心理视觉优化之类的编码工具声称可以改善视觉质量，但在PSNR方面表现更差。因此，研究人员和工程师通过劳动密集型的视觉主观测试来增强客观测量。尽管这种评估方法已经使用了数十年，但是对于大规模评估而言却是不可行的，尤其是当测试集跨越各种内容和广泛的质量范围时。为了使视频编解码器社区更快，更准确地进行创新，应使用能够更好地反映人类感知的自动视频质量测量。这些新指标必须得到广泛同意和采用，因此有必要对其进行公开和独立验证。我们是否可以放心地移动视频编码技术，而不必首先解决自动视频质量评估的问题？

鼓励新想法意味着与新人们讨论。

我（Anne）参加了三年前我的第一次MPEG会议，在那里我提交了一份关于Netflix用例的输入文档，以用于将来的视频编码。我声称对于Netflix应用程序，如果可以显着提高压缩率，则不必担心编码复杂性的增加。我们在云上运行计算，并且没有实时要求。主席问我：“可以接受多少复杂度增加？”我没有准备好回答这个问题，所以我脑海中做了一些快速数学运算以估计上限，并说：“在最坏的情况下为100倍。”一百位视频标准化专家大笑起来。我困惑地看着椅子，他说：“请放心，他们为能够尝试新事物而感到高兴。人们通常会说3X。”我们都沉浸在视频编解码器领域，但我的观点令他们感到惊讶，反之亦然。

今天的视频编码社区由学术界的研究小组，活跃于视频标准化的机构，实施视频编解码技术的公司以及部署视频服务的技术和娱乐公司组成。我们如何在这些筒仓之间促进更多的异花授粉与协作，以积极抬起所有船只？

在2018图片编码研讨会上搭建桥梁

本着激发更多困惑的眼神的精神，希望这会带来更多的“啊哈！”时刻，我们为PCS 2018组织了一系列“弥合差距”会议。这些讲座和小组讨论旨在使PCS研究人员与相关领域联系起来和社区。

计算机视觉和机器学习的研究人员很高兴将这些技术应用于图像压缩，如CVPR研讨会和“学习图像压缩挑战”所证明的。约翰内斯·巴拉（JohannesBallé）将介绍学习图像压缩的新兴领域，并总结本CVPR研讨会和挑战赛的结果。
ITU-T VCEG和ISO / IEC MPEG的视频专家正在积极研究下一代标准VVC。这项活动的联合主席Gary J. Sullivan和Jens-Rainer Ohm教授将对结果进行总结，以鼓励学术研究人员和该技术的潜在行业用户尽早提供反馈和参与。
为了解决学术界和标准化研究人员与视频编码技术行业用户之间的脱节，我们邀请了负责大规模视频编码的工程负责人。来自Facebook的Michael Coward，来自Twitter的Mark Kalman和来自YouTube的Balu Adsumilli将参加小组讨论，分享他们对VOD和实时视频流服务的大规模编码挑战的想法和经验。

为了解决当今视频压缩中的一些关键问题，我们还组织了关于图像和视频压缩的机器学习，具有行业应用程序的图像和视频质量评估以及VR的内容准备和压缩的特别会议。此外，我们将举行麻省理工学院的Vivienne Sze教授，德克萨斯大学奥斯汀分校的Al Bovik教授和纽约大学的Yao Yao教授精彩的主题演讲。

我们希望2018年图片编码研讨会能够搭建桥梁，激发讨论的热情，并促进视频和图像编码领域的突破性创新。加入我们的旧金山，帮助塑造视频编码的未来！