聊聊旷厂黑科技 | 为了让手机拍出好照片,我们开发了100多种算法

发现美并记录美,是烙印在人类血液里的本能反应。从蒙昧时代的原始人在黑暗的洞穴中画下野生动物的第一笔涂鸦开始,绘画的火花激励着一代又一代人将美记录,随着历史的巨轮滚滚向前,西方世界的绘画向着古典主义对于细节的极致追求发展,而东方文明在山水写意中感悟着天地宇宙的本心……图像,对于人类来说,既在记录现实,也是人类思想的折射与反映。

从原始到现代的图像转变

科技始终伴随着人类文明的发展,使生活更加美好与鲜活。1839年,法国人达盖尔用两个木箱拼凑出世界上第一台相机,这种全新的摄影技术,渐渐地替代了绘画,成为记录美好瞬间的全新载体。如今181年过去了,形形色色的摄影摄像设备流淌过了人们的生活,无一例外,它们都忠实的履行了自己的使命——记录生活,记录美好。

在科技纵横发展的今天,人们对于将美的瞬间停留又有了更加极致的追求——在任何环境下都可以绝对还原景物的真我本色。由此,旷视的超画质技术应运而生。超画质是一种通过高画质数码相机的成像特性,还原景物原有的细节纹理的技术,可以对画面亮度、画面对比度、画面层次感、暗场细节、色彩精准还原进行升级,从而使得画面显得通透,层次更加丰富,照片的“观感”体验更加舒服。通俗点说,超画质技术就是让相机自动对照片进行“完美PS”的过程。

如果我们用一句话来定义超画质,那就应该是:在绝对尊重画面内容的同时,又赋予画面超越基础画质的美学提升。

揭开超画质黑科技的 “神秘面纱”

为了让超画质技术能够帮助大家拍出好照片,旷视的研发人员做了相当多的尝试,开发了100多种算法,实现了不少高级功能,我们就找几个好理解的聊一聊。

高动态范围HDR,真正实现“五彩斑斓的黑”

拍夜景的时候,常常会出现一个悖论,同一幅画面里,我们既希望远处的天空背景暗一点,又希望近处的景物亮一点,这很难“一键解决”。旷视超画质技术中的高动态范围HDR,就是来解决这一矛盾的:它能够让图像明亮的地方更亮,黑色的地方更暗,将同一个画面里的亮度、色彩度处理得“更有层次”。

五彩斑斓的夜景

HDR是High Dynamic Range的缩写,即高动态范围。所谓动态范围,是一种用数学方式来描述场景中亮度层次范围的技术术语,也就是指一幅图像中最亮处和最暗处之间的比值。人眼所能感受的亮度范围大概为1/10³—10⁶nit,瞬时对比度可达10000:1,但是传统的照片却很难达到这一比例。HDR技术能够将画面整体亮度的动态范围大幅度扩展,不只是白色,而是立体空间中的各种色彩,从而提升拍摄画面的整体色彩空间。

在夜间摄影时,黑得“五彩斑斓”将再也不是什么笑谈。而常见的过度曝光或者逆光“黑脸”照片,也可以轻松被HDR解决。一句话解释,HDR就是帮你自动调整曝光,使每一张照片都光彩动人。

降噪技术,画质好更要有细节

简单的科普一下:降噪是干什么?就是降低噪点。啥是噪点?就是图像里面的噪声,最简单的例子就是没信号的电视中闪烁的雪花。

电视画面中的雪花就是生活中常见的图像噪点(图源:网络)

图像的噪点,最主要的来源是由光的散粒噪声引起的,常见的原因就是拍摄环境不行,可能是夜太黑,也可能是光太暗。

 

很多经常提到的词汇其实都跟噪点有关。比如画质,画质的技术术语是“信噪比”,是电子设备信号与噪点的功率谱之比,信噪比越高,给人的直观感受就是画质越好。降噪技术其实是通过对损害图像质感的斑点、边缘进行智能处理,从而压制噪点,让我们直观地感受到画质“提升”了。

在降噪的过程中,有一个大课题就是如何避免画面细节被损坏。比如我们拍一只猫,需要体现出猫的根根胡须、蓬松毛发,在细节处理上的难度非常大,稍不小心这些细节就伴随着噪点一起被处理掉了。一般的降噪技术,对于这种复杂边缘的处理,很容易导致“涂抹感”和“油画感”,虽然提升了画质,但是却损失了画面细节,不传神。旷视的超画质“黑科技”中,降噪技术基于旷视磨炼多年的AI算法,能够最大程度地保留细节同时提升信噪比。画质提升的同时,细节也能够清晰的表现出来。

降噪处理前后的猫咪

图像增强,更智能地给图片 “划重点”

图像增强,增强的是图像中的那些有用信息。图像增强是有目的地强调图像的整体或局部特征,将原来不清晰的图像变得清晰、或者只把某些感兴趣的特征变清晰,扩大图像中不同物体特征之间的差别,从而改善图像质量、丰富信息量、突出画面重点。

 

图像增强技术在我们的“美图”生活中相当常见,在拍照或者处理图片时常用的“锐化”工具,提高图像中某一部位的清晰度,让某些区域的色彩更鲜亮,这就是图像增强技术最好的体现。

图像增强技术示意(左为原图,右为增强后)

 

图像增强技术的难点,在于每个人对于画面内容的要求和重点的选择是不一样的,如何自动分辨每一张图片需要突出哪些局部,这对技术提出了更高的要求。旷视的图像增强算法,能够更加准确地判断图像内容中需要突出的部分,从而让拍摄者能更轻松地拍出想要的感觉。

超画质技术背后的故事

从1.0到3.0,旷视算法工程师们的魔鬼训练

在超画质技术演进的求索之路上,旷视从未停止过脚步。旷视的研发人员始终相信,AI技术与数字图像的结合,将会产生神奇的化学反应,更好地解决现实中的痛点,从而带来实际价值。于是,如何不断完美超画质技术,成为了一道摆在一众算法工程师面前的大课题。

从0到1的头脑风暴

大约是在2018年,在一次内部会议上,一位产品经理在他的PPT中首次提出了这个概念。萌生这个想法其实并没有什么曲折离奇的故事,就是因为现有的产品和技术,无法满足大家对照片的高要求,而且在那几年,手机厂商间的硝烟主要集中在摄像头的战场,敏锐的旷视人发现了这个问题和AI领域的契合点,于是就促成了计算机AI技术和传统摄影技术的一次神奇联姻。当然,头脑风暴之后就是旷视内部一次次地论证、分析与推演,终于,在2019年超画质技术1.0正式上线,摄影技术的新革命打响了第一枪。

超画质技术下夜晚的城市

当算法工程师化身为见习摄影师

旷视超画质团队的算法工程师在上岗之前,需要接受一场严格的“审美培训”,这是一项不可避免的挑战。我们都知道,计算机的世界本源是0和1,是严格理性的科学推演,而对美的追求,却是从艺术出发,是人类先天感性思维的升华。旷视的超画质技术所追求的,是对艺术和科技的把控加以更为严格的标准,这就要求算法工程师同时还要有相当出色的艺术修养。为了更精准地了解用户需求,紧追时尚的潮流,旷视的算法工程师们经常组团钻研相机的新功能,从实践中理解什么才是更加优质的画面体验。

辛苦钻研的旷视算法工程师

坚持第一性原理,深挖美的本质

旷视认为,技术落地要坚持第一性原理,从本质出发。解决超画质技术也不外如是,要从手机拍照时画面亮度偏暗/过曝、噪声过大、动态范围不佳等画质问题进行根本突破。

 

凭借在深度学习领域的积累和Brain++平台强大的能力,旷视超画质技术团队在业内首个推出AI+CV模式超画质算法,实现了画面品质的整体提升。在不到2年的时间里,旷视超画质技术已经从1.0迭代到3.0版本。如今旷视的超画质技术,不仅提供了百余种细节功能,实现了画面细节增强、动态范围提升、降噪效果升级等全局优化,还特别新增了闭眼融合修复、天空噪声优化、挥手鬼影优化等全新功能。简单来讲,手机有了旷视超画质技术,前置后置皆美丽,亮光暗光都清晰。

原画质到超画质3.0的转变

从古至今,人类一直在尝试找到一种可以100%还原本真、定格美丽的工具,并它必须易分享、好保存,从而能够向更多人展示生活的每一刻心动瞬间。如今,旷视的超画质技术应用在50多款主流手机中,正在让这个愿望距离实现更进一步。

关于旷视超画质技术,想说的、想聊的,都可以在评论区告诉我们~

传送门 

实习简历请投递至:ur@megvii.com

欢迎大家关注如下 旷视 官方微信号????

已标记关键词 清除标记
相关推荐