胡渣都能看得清！看了张国荣《热·情》演唱会超清修复版，我们和技术修复师聊了聊

自他走后，明明是愚人节的4月1日总带着点伤感。
任何一个想他的时候，荣迷们都会打开收藏夹中某部电影，或者打开他的某场演唱会。
而昨天，我的朋友圈被张国荣2000年《热·情》演唱会超清修复版视频刷屏了。
迫不及待地点开，扑面而来的清晰度和真实感让人眼前一亮。要知道，从前观看的视频都是损伤画质，堪称时代的眼泪，荣迷们虽甘之如饴，但如果有高清画质，当真是求之不得。
《热·情》演唱会上，张先生浪漫而放肆，带着扑面而来的炙热，暖化了初春的夜晚，也暖化了人心。
把视频分享给我的朋友后，不禁好奇，这具体是怎么实现的？是否未来哥哥乃至所有我们喜欢的老电影、老作品都有可能通过数字技术重新呈现？
今天，我们找到背后的技术修复师，腾讯云多媒体实验室的总监李松南和专家研究员夏珍，跟他们聊了聊《热·情》修复的相关技术。
他们介绍，这项技术是“超清沉浸感修复引擎”，是面向老片修复专门推出的技术解决方案，它沉淀了腾讯云多媒体实验室多年的通信和处理研发经验，主要包含四大模块：智能分析、画质修复、画质增强和智能编码。
　　高清修复视频为什么让我们舒适？

其实，我们每次看修复视频感到舒适，不仅在于清晰度提升，更在于画质提升。
老片中的灰尘、污垢、霉斑、掉色、图像抖动、划痕、闪烁、噪声、变色、模糊等各种问题对是最直观影响影片质量的问题。
首先，实验室利用智能分析模块对视频进行全方位、多维度分析，包括但不限于划痕、竖线、雪花点、噪声、压缩失真、抖动等问题，评估视频的运动、纹理复杂度，分析噪声、压缩失真程度等，这些数据都将成为画质修复和增强的基础。
其次进入修复阶段。
实验室在演唱会修复上使用了众多他们独创的算法。譬如划痕算法，夏珍坦言，他至今还没在公开服务中遇到过。
数据对深度学习算法来讲是非常重要的。
假设需要修复老电影中的划痕和雪花。粗略推算，需要几万甚至几十万的训练对。
然而，目前缺少这样庞大的划痕公开数据库，算法难以调优，建立数据库的成本也很昂贵。
为此，实验室为去划痕项目设计了针对性的多维度数据生成和增广方案。包括模仿划痕数据、从真实数据上提取、划痕的裁切及合并、随机尺寸、随机模糊程度、局部及全局随机亮度调整、随机透明度调整等。
当然，也得益于腾讯此前拥有强大的数据储备，腾讯多年来以算法为翼探索各个场景，在音视频领域，依靠腾讯视频等渠道，已经积累了海量优质数据，算法可用性相比业界大为提升。
除了去划痕算法以外，整体修复过程中他们还用到了很多其他的修复算法，包括视频降噪、去压缩失真等。
经过尝试多种算法后，整体效果得到了明显提升，如下图更能直观感受修复的效果。

　　真实感怎么来的？
如果你此前看过网络上流传的《热情》原版视频，再看昨天上线的版本，不夸张地说，会有震撼、惊艳之感。
这也许是修复技术师想呈现的沉浸感。
沉浸感一般更多用于3D、VR360、自由视角等相关工作。夏珍表示，不管是提高分辨率，还是提高帧率，在2D基础上提高用户体验感受一直是他们的目标之一，而这对于他们，在技术上也是可实现的。
真实感来自画质增强，包括分辨率增强、细节增强、色彩增强、帧率提升等，画质增强包括将画质拉到2022年的水平，让画面更接近现在观众喜欢的4K等高清画质。
不知道你们发现没有，张国荣的人脸特别真实，脸上的皱纹、胡渣甚至毛发都清晰可见。

这是因为他们在人脸修复上使用了“超分辨率”，通过多帧技术使用了基于GAN的超分网络，生成的细节更加丰富和更加稳定，在放大视频分辨率同时，细节清晰度也提升，所以整体感官上提升层次大。
夏珍介绍，自研的人脸修复模型，加上人脸检测、人脸修复和融合模块，将图像修复迁移到视频过程中加入帧间稳定性处理，解决人脸检测稳定性，优化多角度人脸效果，解决视频中动态人脸遇到的复杂场景问题。
再看色彩、画面。
画质增强有个更好理解的定义：艺术修复。
演唱会现场环境复杂，灯光转换频繁，色彩多、变化快，同时舞台烟雾会让整个画面对比度和色彩饱和度不一。
对于修复效果，实验室团队原本有能力让画面清晰度更高、细节更丰富、饱和度更均衡。
但考虑到演唱会上的舞台烟雾、现场颜色等都是张国荣艺术表达的重要形式。
而且，无论是影片还是演唱会，那个年代的香港整体画面呈现都独具特色，比如打光较为朦胧，太过超清，追求接近现代画面反而会失去艺术真实性和香港艺术独特的味道。
实验室团队基于对《热情》艺术性的理解与尊重，也基于对香港影视唱片黄金时代的致敬，“修旧如旧”成为多媒体实验室在修复老影片时的一个目标追求，他们希望最大程度还原张国荣的艺术表达，保留老片原汁原味。

他们通过视频增强算法，对画面进行多维度画质提升，在空间和时间上提升视频的分辨率和帧率，在空域上提升细节清晰度、色彩丰富度，在尊重历史和原版的基础上，保证画质的提升，人脸和画面都如此。
截取一帧张国荣在舞台中央的静态画面，放大后仿佛可以透过画面感受到22年前的现场舞台。

　　丝滑画质里，被低估的视频编解码技术
昨天的演唱会，通过直播形式呈现，且直播效果流畅、画面高清。
还有一项技术不得不提：视频编解码。这绝对是一项被低估的技术。
什么是视频编解码技术？
视频是由一张张图片连接起来形成的动态图像序列，若直接将每张图片的每一个像素点数据都加以存储，视频码流所占用的带宽将不可估量。
尤其在超高清视频时代，帧率逐渐从30fps向60fps、120fps甚至240fps进发。高度密集的数据给带宽和存储带来巨大挑战。
此外，随着硬件设备更好、带宽更高，用户开始对视频分辨率的要求更高，对视频质量要求没有止境。
视频编解码技术的作用，将图像进行压缩和数字编码，以用于传输。本质上，就是用尽可能小的带宽传送高质量的视音频数据。
现在我们知道，在不改变视频主观质量的前提下，把超高清视频搬上视频号直播平台，并保证画质效果流畅、高质，是一项超级工程，也极为考验视频压缩的功力。
腾讯云多媒体实验室的视频编解码技术，在输出相同质量视频的情况下，码率可以降低一半，大大降低了带宽存储。
这其中是得益于智能编码模块，通过自适应编码在减少输出文件大小、视频传输成本的同时，保证视频的主观质量不受影响，实现最佳的画面效果。
　　数字时代的智能修复师团队
在此之前，在修复历史影像作品甚至残损影像上，腾讯云多媒体实验室也经验丰富，他们深度参与了包括《康熙王朝》、《天下人家》等多部经典影视剧高清修复工作，以及上海1949年新中国成立相关影像的修复。
据悉，一部90分钟的老影，约有12—14万帧画面需要逐帧修复，一般需要十多人的修复团队，平均每一个人需负责一万多帧，工作量十分巨大。
对比之下，这场演唱会近2个小时，场景众多，现场环境多变，细节不够丰富，场景切换快，灯光环境复杂，颜色丰富，但实验室从拿到母带到最终修复上线，仅用了3周时间。
这是由于腾讯云多媒体实验室的修复已路径初成，多项修复模块实现了不同程度的自动化。
查了下实验室的背景，难怪。
它是多媒体通信和处理研发团队，持续专注于多媒体数据传输与压缩、智慧融合媒体、互动沉浸式媒体领域的技术研究与产品化，参与国际国内行业标准制定，包含多媒体数据压缩，多媒体传输、系统与5G，以及多媒体AI等。
自2018年参与最新一代编解码标准制定以来，实验室已有超过500项提案被多个国际标准采纳，数量全球领先。
腾讯杰出科学家、腾讯云多媒体实验室总经理刘杉博士也是全球音视频领域的顶尖技术带头人。
刘杉博士是国际著名多媒体专家，腾讯首位女性杰出科学家，IEEE Fellow, APSIPA杰出工业领袖，2020年入选福布斯中国科技女性50人，拥有500+已授权专利，发表100+学术论文和一部专著，本科毕业于清华大学电子工程系，硕士和博士毕业于美国南加州大学，研究方向包括音视频、沉浸式和新兴多媒体VR/XR等的压缩、处理、传输、系统和智能化应用。深耕多媒体数据压缩、传输协议和系统、无线网络、IoT等行业标准领域，曾多次担任国际标准专家组主席和联席主席，现任IEEE数据压缩标准委员会副主席。
自2017年加入腾讯以来，刘杉博士带领团队研发和交付多项多媒体核心技术，并深度参与了国际国内行业标准制定工作。
正是这样一个团队，让这个被尘封21余年的“时代符号”的经典之作被首度解锁，为曾见过和没见过张国荣的观众带来了一场前卫、华丽、优雅的视听盛宴。
　　我们期待的经典作品，可能已经在路上
《哈利·波特与魔法石》经修复后登陆国内院线，首日票房便突破3200万元，向市场再次展现了经典影片的票房号召力。
《寻秦记》、《士兵突击》、《亮剑》等一批经典电视剧在经过画质修复提升后，都活跃在视频平台的各大榜单前列。
经典作品自带持久生命力。智能修复技术让老旧视频焕然一新，给观众带来更好体验。
夏珍表示，全球范围内有非常多的诸如演唱会、电视剧、电影、纪录片等经典影像。腾讯云多媒体实验室目前已形成了较为完整的智能老片修复技术矩阵，未来希望通过超清沉浸感修复引擎，帮助更多的时代经典高质、高效地重现于观众面前。
回想起昨天的直播画面，舞台上，一束孤单的灯光折下来，张先生寂寞而坚决的表情几乎是烙在每个爱他的人心上。
感谢技术，让我们再一次相遇。寄寓未来，有更多经典重现。雷峰网雷峰网雷峰网

---