近日,由计算机视觉顶级会议CVPR(IEEE Conference on Computer Vision and Pattern Recognition)主办,历时4个月的国际图像视频复原和增强大赛(New Trends in Image Restoration and Enhancement workshop and challenges on image and video restoration and enhancement,NTIRE2020)陆续结束,在本次大赛的去雾赛道(NonHomogeneous Dehazing),超分辨率赛道(Perceptual Extreme Super-Resolution)和视频质量映射赛道(Video Quality Mapping)中,由计算机科学与技术学院多媒体与视觉实验室的马利庄教授和谢源教授担任指导老师,刘璟、吴海燕同学组成的参赛队伍,成功包揽去雾赛道的第一和第二名,并获得超分辨率赛道第四名,以及视频去压缩痕迹赛道第四名。
本届比赛吸引了包括宾夕法尼亚州立大学(PSU)、北京大学(PKU)、上海交通大学(SJTU)、台湾大学(NTU)、台湾清华大学、字节跳动AI实验室、中国科学院深圳先进技术研究院、韩国科学技术院(KAIST)等全球知名高校及科研院所的168支队伍参加。本届比赛受到华为诺亚、迪士尼研究院、苏黎世联邦理工学院计算机视觉实验室等国际顶级研究机构的资助。
(NTIRE 2020 NonHomogeneous Dehazing Challenge)
(NTIRE 2020 Video Quality Mapping Challenge)
(NTIRE 2020 Perceptual Extreme Super-Resolution Challenge)
这是一项什么比赛?
NTIRE是具有全球范围影响力的图像处理竞赛,由计算机视觉顶级会议CVPR(IEEE Conference on Computer Vision and Pattern Recognition)主办,截至目前已成功举办四届挑战赛,是国际上最具影响力的视频和图像复原竞赛。
NTIRE2020有多个赛道,涵盖了多个图像视频处理热门研究方向,比如超分辨率、去雾、去模糊、降噪、光谱重建等。本次参加的有去雾赛道、超分辨率赛道和视频质量映射赛道。去雾赛道的任务是将非均匀的浓雾图恢复为清晰图,超分辨率赛道的任务为将经过16倍尺度降采样后的图像恢复为高分辨率图像,视频质量映射赛道的任务为对经过严重压缩的视频进行质量增强与压缩痕迹修复。
比赛的难点与挑战
在图像去雾领域的研究中,由于雾霾与无雾霾的图像对很难同时获取,普遍应用模拟算法合成带雾霾图像,然而使用模拟算法合成的数据集在真实雾霾场景下,模型泛化能力不强。本次去雾竞赛使用专业喷雾器获取真实雾霾数据集。
与去年的挑战目标不同的是,2019年的去雾竞赛,挑战将可见度极差的浓雾图像进行重建,今年的去雾竞赛,挑战重建非均匀雾霾图像的重建。数据集的带雾图像中,同时具有浓雾与轻雾等雾霾程度不同的区域,例如图像前景雾霾程度低,而远景可见度极低,肉眼几乎无法捕获到任何有效信息。
参赛团队充分考虑了非均匀雾霾数据集的特殊性,针对雾霾非均匀的特性提出了自动化的雾霾浓度生成网络,针对重建图像对应的浓雾区域非常模糊的痛点提出了细节调整网络,针对卷积神经网络进行图像重建任务极易丢失图像高频特征的问题提出了同时监督时域与频域的L1-FFT损失函数,最终提出的Trident Dehazing Network与Knowledge Transfer Dehazing Network分别斩获本赛道的冠亚军,重建结果具备最好的还原程度与感知质量。
本次竞赛的图像超分辨率赛道的难点在于输入图像由于经过16倍尺度降采样,丢失了大部分信息;而视频质量映射赛道训练集不提供无压缩的GT视频而只提供两种不同压缩程度的视频,虽然更符合实际需求,但对压缩痕迹的去除带来了巨大挑战。
心得与收获
刘璟:我在为期三年的硕士研究生生涯中,一直致力于提高解决实际问题的能力,励志在计算机视觉与数据科学竞赛中刷榜拿到名次。NTIRE作为计算机视觉顶级会议CVPR旗下的视频与图像处理领域的专业竞赛,其参赛选手同时为学术界与工业界贡献了诸多知名的模型与框架。这次竞赛陪伴我度过了撰写毕业论文期间的艰难时光与无数不眠的夜晚,为我的硕士研究生生涯划下了圆满的句号,同时也衷心感谢老师的指导。很荣幸能为视频与图像处理领域作出一点微小的贡献,今后也要饱含热情地在科研的道路上不断披荆斩棘,开荒拓野,实现自己的人生价值。
吴海燕:作为踏入科研不久的新手,当初参加比赛是抱着练练手的心态,经过不断地学习一路刷榜,收获了许多分析问题,解决问题的经验以及锻炼了实操能力,这些经验对我来说比比赛名次重要很多,非常感谢老师和学长的帮助,给予我很多启发,不断改进思路与解决难题。科研道路道阻且长,非常感谢此次比赛获奖对我之前努力的认可,我将继续探索更高的自我上界。
中山北路3663号理科大楼 200062
沪ICP备05003394
Copyright 2019计算机科学与技术学院