计算摄影这东西现在大家都不陌生了,这玩意儿最近确实流行得很,从苹果到国内的蓝绿大厂都在搞这方面的技术。
因为有一点必须要承认,优秀的计算摄影可以弥补手机硬件的不足,让照片质量变得更高。
许多手机的虚化都是算出来的 ▼
不过要说计算摄影界最会玩的,托尼觉得其实是谷歌。
因为谷歌依靠着强大的计算摄影,能让自家只有一颗摄像头的 Pixel 手机也能拍出质量相当高的照片,大大超出了人们对它的预期。。。
而前段时间的一份研究报告,又让照片的质量提升到了一个离谱的高度。。。
具体有多离谱呢?这个叫做 RawNeRF 的技术不仅可以让昏暗的夜景照片变得明亮无比,而且可以做到近乎完美的降噪。。。
油管上的一个视频展示了几个场景,比如这张照片里的光源只有蜡烛,几乎看不清其他地方。
如果我们在照片的 RAW 原数据基础上提升亮度的话,照片细节确实变多了,也变得更亮了,但是密密麻麻的噪点也出现了。。。
有一说一,还不如不提升呢。。。
这也就意味着,在通常情况下,我们要在细节更少或者噪点更多之间做出取舍。
现在确实有一些去噪技术可以缓解噪点问题,但去掉噪点之后的照片。。。也没眼看了。
你不能说没用,但糊也是真的糊。
这时 RawNeRF 的超神之处来了,它既可以让夜晚的照片充满细节,还可以几乎完美去掉噪点!
这叫什么?这就是传说中的 " 照亮你的美,夜拍也清晰 " 。
以往看似不太可能的事情,如今鱼和熊掌我全都要。
但这还没完,最 TM 离谱的是,修复过的夜晚场景不仅变得更清楚了,甚至还能动起来!
你还可以修改一些数值,比如调色或者重新对焦。。。
能提升亮度,又能消除噪点,还能让照片动起来,最后还能改变对焦点,RawNeRF 不仅可以让一张看上去没救的照片起死回生,还能焕发二次生机。
虽说这个重新对焦的效果有时候看上去过于计算摄影,但已经能满足大多数人的要求了。
RawNeRF 看上去有点过于强大,但它也不是一下就诞生的,它其实基于一个叫做 NeRF 的技术进化而成。
NeRF 的全称是一篇来自 2020 年的论文 Neural Radiance Fields ,而这里面有一个叫做神经体渲染 ( Neural Volume Rendering ) 的技术引起了大家的注意。
简单来讲,比如你对着一个物体拍摄了多张不同角度的照片,神经体渲染就会输出一张拥有类似 3D 视角的照片,或者已经算是视频了,而且精细度还不差。
面对某一个物体时,NeRF 也能够准确地还原出来。
不得不说,有点神奇。。。
而 RawNeRF 就像是更进一步的 NeRF ,它可以重建一张昏暗并且充满噪点的照片中的场景。
视频中还展示了旧版的 NeRF 来处理夜景照片,虽说也能动起来,但画面有一种说不上来的浑浊感。。。
一眼合成,鉴定为 AI 作画。
而新版 RawNeRF 则要好很多,虽然画面还是有点糊,路灯处的光线过渡也不够自然,但能达成这样的效果已经相当离谱了。
对了,RawNeRF 不仅能让夜景照片清晰地动起来,甚至还能在夜景的情况下生成出镜面反光的效果。。。
从提升细节、消除噪点,再到让图片动起来甚至重新对焦,这些全都是通过 AI 后期处理完成的。
在这份报告发出去之后,研究人员也把相关代码 MultiNeRF 放在了 GitHub 上面。
把代码放出来的其中一个原因,是因为普通用户现在还不能亲自体验到这项逆天的黑科技。。。
要是想感受一下的话也可以,你需要先把代码给撸下来,然后徒手搓一个脚本出来。。。
接下来你需要不断给 MultiNeRF 投喂素材,不断让它进行训练,直到它对修图这活儿非常熟练,就像文章里提到的效果那样。
反正这事儿对于世超来说是超纲了,不过我会把链接放在文章底部,如果你是一位大佬的话,那么欢迎亲自上阵。
不过有一点还是值得期待的,虽然这不是谷歌官方出品的研究报告和代码,但还是发在了 GitHub 的 Google Research 板块。
所以要是哪天被谷歌官方看上了,然后祝他们一臂之力,大家没准还真能用上现成的 RawNeRF 。
原文地址:http://www.myzaker.com/article/632de0ae8e9f0951665a2929