让旧影像焕发新光彩，这项交大技术数次登上CCTV

2022年4月6日，中央电视台科教频道CCTV10《时尚科技秀》栏目播出节目——《智能影像修复》介绍了一项新技术，它能够让《红楼梦》、《西游记》等脍炙人口的经典影视作品，以及《开国大典》这样珍贵的历史影像重新焕发出生机——这就是由上海交通大学联合中央广播电视总台研发的人工智能视频增强技术。而这已是该项交大技术第二次成为央视专题报道的对象，由这项技术修复的影像还分别被庆祝中国共产党成立100周年文艺演出《伟大征程》及中共上海一大会址纪念馆选中使用，曾在2020年中国国际服务贸易交易会展出。

CCTV10《创新进行时》节目对AI视频增强技术进行专题报道

历史上有众多的经典影视作品，在今天依然受到大众的喜爱和关注，但是由于拍摄、制作时的设备限制，以及部分胶片、磁带长期保存遭到的损伤，在高清、超高清内容日益普及并逐渐成为主流的今天，这些作品的影像质量已经无法满足观众的需要。以往个别老旧影像的修复主要依靠人工来完成，但是视频的每一秒都至少由24帧画面组成，逐帧修复工作量极大，成本高、周期长，也无法满足批量、快速的修复要求，成为行业面临的一个难题。

2020年12月，上海交通大学与中央广播电视总台签署了关于深化落实《超高清视音频制播呈现国家重点实验室》协作的合作协议，依托国重实验室在上海交大共同建设“智能媒体技术研究实验室”。用人工智能技术修复老旧影像，让总台音像资料馆中的大量珍贵历史影像重新投入节目的制作，为建党百年盛大庆典《伟大征程》献礼，是王延峰教授团队在实验室共建后接到的首个重大紧急任务。为了解决这一问题，张娅和张小云两位牵头教授积极调研总台的需求与影像资料情况，基于团队在视频处理和人工智能领域的积累综合研判当前国际主流技术方向，同时联合上海云视、华为等多家上下游企业进行技术攻关，经过持续的算法创新和系统优化，AI视频增强平台应运而生。

AI视频增强平台汇聚了当前人工智能与视频处理领域的最先进算法，融合了面向真实场景的视频超分辨率技术、AI指导AI修复、人机耦合、AI人脸增强、AI智能插帧、AI智能去噪和细节增强等多个维度的技术，能够实现从空间分辨率、时间帧率、色彩和对比度等多个方向上的视频质量增强，一举解决原来影像存在的划痕、噪点闪烁、细节模糊、运动拖尾等问题，并且使原本低分辨率、隔行扫描的影像达到3840x2160的4K超高清分辨率，帧率达到50帧，支持宽色域和HDR动态范围。尤其是针对图像增强任务的不适定性导致的生成画面模糊、细节不够等问题，研究团队提出了高频细节局部自回归采样、基于任务解耦框架的有参超分等创新算法，显著提升了图像分辨率和细节质量；针对视频插帧面临的块效应、运动伪影等挑战，提出了MEMC（运动估计和运动补偿）模型驱动和场景深度感知的插帧算法，充分发挥了传统插值框架和深度学习两者的优势。

修复前后的《闪闪的红星》画面对比 

增强后的画面不仅画质更加细腻，色彩绚丽，通透感强，同时细节清晰，运动流畅，无论是人物还是室内外场景，都实现了画面质量的大幅度提升。目前利用这一技术修复的《开国大典》等多部影像作品在上海市中共一大会址纪念馆重新开放时被使用，香港回归、抗击新冠疫情等画面在《伟大征程》中在鸟巢播放，百首经典电影金曲陆续在央视平台播出……处理后的影像在新的环境中又一次焕发出了生机，引发了历史记忆与新的情感共鸣。

修复后的《开国大典》影像在中共一大会址持续播放

AI视频增强平台既解决了产业的难题，也得到了国内外学术界的认可。团队的创新算法和理论成果在计算机视觉国际顶级期刊TPAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence）和顶级会议CVPR（IEEE Conference on Computer Vision and Pattern Recognition）上发表。同时，交大技术团队与总台技术团队在AI智能视频增强、超高清电视制播呈现、媒体大数据平台等一系列项目上取得的技术突破于2021年获得了第十四届中国电影电视技术学会科学技术奖一等奖，这也是广播电视领域的国家级奖励。

“8K超高清视频智能增强关键技术”获奖证书

为了更好地满足更多不同特征的影像资料的处理与增强，王延峰教授团队将继续推动AI视频增强技术的持续迭代与更广泛的应用，同时进一步深化与总台在超高清视音频制播领域的新技术研发，促进行业产业发展。