近几年,人工智能(AI)、大数据、区块链等技术在短短十几年内已经深刻的改变了我们的生活方式,在这个日益虚实交融的世界里,新的事物总是在不断创新和发展,其中神经网络中的生成对抗技术(GAN),在近几年尤为突出。
说到神经网络,大家肯定第一个想到的就是换脸技术,但其实它还有另外一种用法,那就是对图像进行增强。
什么是图像增强
图像增强(image enhancement)一般来说是指有目的性地增强图像整体/局部的特征,如颜色或者亮度、饱和度、锐化等。广义的图像增强范围非常大,还包括了超分辨率(Super resolution),降噪(Denoising),去模糊(Deblurring)等。
用通俗一点的话说,就是通过技术提高图片的观感,使图像与人类视觉更匹配,更加符合人眼观赏习惯。或强调图像中某些感兴趣的特征,去掉那些影响观赏体验的元素(噪点,低光,雾等)。
图像增强是一个动态的概念:虽然早在60年代初期,靠着硬件方面第3代计算机的成功研制和方法论快速傅里叶变换的提出,图像增强技术可以在计算机上满足操作。但是我们今天要介绍的则是一种崭新的,基于深度学习的图像增强技术:“(处理速度)更快,(图像清晰度)更高,(特定图像处理能力)更强”
图像增强与深度学习
为什么说基于深度学习的算法是最适合图像增强的?深度学习一经问世就在图像处理方面大放异彩,不仅仅用于图像增强,还广泛用于图像编辑,图像生成等领域。
人工神经网络的优点表现在以下几点:首先相对于传统算法(直方图调整,滤波器等)结合的模型,人工神经网络表现出更强的的学习能力。其次,深度学习的神经网络层数很多,可以针对性地解决更具体的问题。再有就是对海量数据的分析使得模型泛化能力大大增强,在图现增强的表现上远远把人类甩在身后,更不用说还有着极高的发展上限。
谁是用户?
每个人对图片观感的需求是不一样的,这由很多因素决定。在图像增强领域面对普通用户,专业用户以及需要定制化的行业我们考虑的是不同的解决思路。
普通用户在生活中会为拍糊了或者旧照片不够清晰而烦恼,这时候只需要一套标准化的功能集合(提高分辨率,调整色差,增加对比度等)就可以解决所有的问题,从而实现“一键美化”,这一点其实在如今手机相册后期的图片编辑中属于标配,但结合了深度学习算法的处理手段显然效果更好,甚至可以将手机拍摄提升到专业摄像的画质水平。
针对专业用户(此处指一些特定场景)则需要更为多元的深度学习算法,这一点对标的是相机的夜景模式,HDR(逆光模式),全景模式,人像模式等,后者直接在拍摄时就有针对性地进行了对图像的优化。这一点上我们的顾客可以是博物馆或档案馆等,对有人文价值的老照片进行修复。
商业化运营则是在特定场景的基础上进行更为深入的产品改造和优化。比较具有代表性的天文,军事,医学领域,利用算法来实现需要专业冷冻CCD相机才能拍摄出来的星图并没有那么遥远。这些往往是一些需要极高分辨率的非民用领域。对于画质需求没那么高但是有其他需求的用户场景也很广泛,例如运动相机,车载摄像头等采用广角容易发生畸变的图像,我们可以通过处理对这些瑕疵进行校正。
对未来的展望
以上是已经成熟或者在蓬勃发展的例子,面对未来,我们不妨“打开格局”。图像增强以后的方向一定是更多元的处理场景以及更进一步对视频增强的赋能。由于边际效应的存在,将视频清晰度提高100倍和1000倍对人眼能接受的效果来说是差不多的,老电影的修复大多也是基于这个原理。
目前产学研中研究远远走在了前面,像CVPR2021收录了超过一百篇关于图像增强的论文,同为顶会的ECCV2022也更新了不少例如去马赛克(Demosaicing),去雾(Dehazing),去除对数字屏幕拍照时产生的摩尔纹(Demoireing),针对拍夜景出现的低照度图像增强(Low-Light Image Enhancement)的研究。
除了研究机构,国家也在大力推动AI产业和文化产业的有机融合,例如之前提到的文博行业:根据“十四五”规划《建议》提出要实施文化产业数字化战略,这为全行业的数字化改造加速提供了政策支持。当然很多上下游相关企业也开始进入这个领域布局,期盼打通全产业链,如百度,OPPO,三星等。
图像增强之后是什么呢:视频增强。在2022年北京冬季奥运会上,北京广播电视台就通过AI技术实时将4K信号变成8K信号,并且在全球范围内首次大规模使用8K技术进行直播,连人脸上面的的微小动作、皮肤纹理都清晰可见。除了提高画质,像瑞典的Imint也将视频防抖及增强视频的Vidhance更迭到了第四代。
视频增强之后就是终点么?不,万物皆可元宇宙。元宇宙的交互沉浸式体验依赖超高清影像,其中的场景不仅需要分辨率达到12x12K清晰度,还需要360°全方位空间,影像合成时三维拼接,畸变矫正等,而这些都可以借由超分辨率,2D转3D等一系列算法予以实现。
最后的最后,当我们抛开各种高大上的黑科技不谈,图像增强也不仅是简单的一键美颜。它更可以体现企业承担诸如视力障碍,烟雾火灾及其他自然灾害等问题的社会责任感。