≡
✏️ 博客 🌍 旅行 ✅ 订阅 👍 赞助
🔍
计算摄影
摄影的未来是代码
04 июня 2019 — 0 条评论 — 0 次浏览 — 759 个词
本文有其他语言版本 👉
English
Español
Русский

其他语言:英语 | 波兰语

本文内容已于 2021 年修订、更新

如今不管哪款智能手机开发布会,都得专门留一段讲讲相机又有多大长进。Pixel 能在一片漆黑中拍照,华为变焦像望远镜,三星塞进了八个镜头,而在 iPhone 的屏幕上,你的朋友看起来有钱了 30%。

单反呢,却像是在原地打转。索尼年年给大伙儿撒新传感器,厂商们懒洋洋地把型号的最后一位数字改一改,就继续躲在一边悠哉悠哉地吸可卡因。我桌上就摆着一台 3000 美元的单反,可出去旅行,我越来越常带的是 iPhone。为什么?

借用一句名言:我带着这个问题上了网。网上都在讨论什么“算法”和“神经网络”,就是没人解释它们到底对照片做了什么。记者们大夸像素数,博主们齐刷刷地拍开箱,唯美派则沉醉于“对传感器色彩调性的感性认知”,恨不得往全身抹。还是老样子。

我只好坐下来,花了半辈子,自己把这事弄明白。这篇就来讲讲我弄懂了什么。

格奥尔基·杰杰亚帮我写了这篇文章。他的版本可以去他的博客看。他从摄影师的角度讲,我这边更偏技术宅一点。

开讲。不过先来一分钟资本主义时间。



发表评论

各处给的定义,包括维基百科,都差不多:计算摄影是指用数字计算代替光学变换的各种图像采集和处理技术。

这个定义什么都好,除了它实在太烂。照它这么说,连自动对焦都算,可已经给我们带来不少好东西的光场摄影倒算不进去。官方定义都这么模糊,多少说明我们压根儿不知道大家在聊什么。

计算摄影的先驱、斯坦福教授 Marc Levoy(现在也是 Google Pixel 的相机负责人)给出了另一个定义:一组改善或拓展数码摄影能力的计算成像方法。最终得到的还是一张普通照片,只不过从技术上说,用同一台相机按传统方法拍不出来。 这篇文章就按他的定义来。

所以,归根结底都怪智能手机。

智能手机别无选择,只好催生一种全新的摄影方式——计算摄影

那么点大的传感器,一拍都是噪点,再配上小得可怜、进光量也小得可怜的镜头,按哪条物理定律都只能给人带来痛苦和折磨。起初还真是这样。直到开发者想出一招:用手机的长处去补它的短板。长处是什么?飞快的电子快门、强劲的处理器,还有软件。

计算摄影领域引起轰动的研究,大多出自 2005 到 2015 年。按科学界的时间算,那简直就是昨天。一个从来没有过的知识和技术领域,此刻就在我们眼前、在我们口袋里生长。

计算摄影可不只是自拍模式和拍夜景。不用计算摄影,前不久那张黑洞照片就不可能问世。想用一架普通望远镜拍出这样的照片,就得把它造得跟地球一样大。但我们把散落在这颗小球各处的八架射电望远镜的数据合在一起,再写上几个 Python 脚本,就得到了世界上第一张事件视界照片。用来自拍也行。

📝 计算摄影:原理与实践
📝 Marc Levoy:计算摄影新技术

↑↑↑ 接下来我会不时插入这种醒目的链接。点进去是难得一见的好文章 📝 或视频 🎥。万一你好奇得坐不住了,可以顺着它们再往深处挖,也知道下一铲该往哪儿下。毕竟我一个人实在没法在一篇博客里把什么都讲完



发表评论

想象一下,我们又回到了 2007 年。无政府主义是我们的亲妈,我们的照片则是拿滑板拍出来的、满屏噪点的 60 万像素 JPEG。差不多就是那会儿,我们头一次产生了无法抗拒的冲动:给照片套点预设吧,别让人看出手机传感器有多屎。就这样,我们迷上了 Instagram 滤镜。



发表评论

X-Pro II、Lo-Fi 和 Valencia 这几款滤镜,早就成了大家心里的经典。当年我甚至还逆向分析过它们,纯属科研需要。到现在我都记得,那就是些简单的着色器(函数),由三部分组成:

  • 色彩设置(色相、饱和度、明度、对比度、色阶等等)——不过是几个数字系数,跟摄影师自古以来用的那些预设一模一样。
  • 色调映射表(Tone Mapping)——一串数值,每个值都告诉我们类似这样的事:“把红色通道的 128 映射到 240。”这张表经常做成一像素高的图片,比如这张。这就是 X-Pro II 滤镜用的那张。
  • 叠加层——一张半透明图片,带点灰尘、颗粒、暗角,以及其他一切能往上糊的东西,做出那种一点都不俗套的老胶片效果。这一层倒不是每款滤镜都有。

现在的滤镜也没跑出这三件套多远,只是背后的数学稍微复杂了点。等到手机支持硬件着色器和 OpenCL,大家很快就重写了滤镜,让它们跑在 GPU 上。当时这可酷毙了。当然,说的是 2012 年。放到今天,随便一个中学生都能用 CSS 做出来,毕业舞会上照样没人跟他睡。

不过,滤镜也没就此止步。比如 Dehancer 那帮人,就一头扎进了非线性滤镜里:不玩咱们劳动人民那套色调映射了,改用更复杂的非线性变换。据他们说,这么一来能玩的花样多多了。

非线性变换能折腾出不少东西,可它们复杂得要命,而我们人类又笨得要命。搞科研一碰上非线性变换,大家就更乐意用数值方法,到处塞神经网络,让它们替我们搞出杰作。这回也一样。



发表评论

等大家都用惯了滤镜,我们就开始把它们直接塞进相机。手机早就在悄悄给图像“加工”了,都不跟我们说一声。

最早这么干的是哪家厂商,历史没告诉我们。不过要体会这事有多早,想想看:早在 2011 年发布的 iOS 5.0 就已经有了自动增强图像的公开 API。至于公开前它已经在里面用了多久,那就只有乔布斯知道了。

这种简单的自动处理,做的事跟修图软件里的“自动增强”按钮差不多:救一救亮部和暗部丢掉的细节,猛加饱和度,去红眼,修肤色。用户哪会想到,新手机上那颗“实现了巨大飞跃的摄像头”,其实只是多了两个着色器。

离第一代 Google Pixel 发布、计算摄影开始爆火,还有整整五年。

Pixelmator 里的 ML Enhance 功能
Pixelmator 里的 ML Enhance 功能

如今,“一键出大片”的战场已经转移到了机器学习。色调映射玩腻了,大家就一窝蜂地去训练卷积神经网络和生成对抗网络,好让机器替我们推滑块。训练网络,是让它能给眼前这张图找出一组最合适的参数,让结果更接近某种主观的“好照片”标准——当然,标准是开发者定的。

Pixelmator Pro 等现代修图软件早就用上了神经网络增强。效果嘛,你也猜得到:不怎么样,而且时灵时不灵。下面的链接里有论文可读,也有数据集可拿,你可以自己练练手。

📝 图像增强论文集
📝 用深度卷积网络在移动设备上拍出单反画质



发表评论

真正的计算摄影始于堆栈——把好几张照片叠在一起。对智能手机来说,半秒钟连拍十来张根本不是事。毕竟它的相机里没什么慢吞吞的机械部件:光圈是固定的,控制曝光的也不是快门帘,而是传感器本身。处理器只需告诉传感器抓多少微秒的光子,然后读取结果。

从技术上讲,手机可以用拍视频的速度拍照片,也可以用拍照片的分辨率拍视频,那可就是丧心病狂的 12K 视频了。不过实际上,总线和处理器的速度就摆在那儿。所以总得用软件设个上限,不然成本就上天了。

堆栈本身早就有人想到了。老前辈们还在用 Photoshop 7.0 的时候,就会装插件把几张照片合成一张辣眼睛的 HDR,或者拼出一张 18000×600 像素的全景图,然后……谁都没想出来这鬼东西能拿来干什么。那真是个富得流油的年代,可惜也够野蛮。

📝 dmitry_novak:堆栈的不同玩法,以及如何在 Photoshop 里用堆栈降噪

如今我们都长大了,管这叫“ε 摄影”:每次改变相机的一个参数(曝光、焦点或位置),把拍到的几帧合起来,就能得到单拍一帧不可能拍出来的东西。不过那是搞理论的人用的词,实际干活儿,大家还是管它叫堆栈。如今手机相机的大部分创新,说到底都是建在它上面的。

有件事很多人没想过,但要理解整个手机摄影和计算摄影,这点很重要:现在的智能手机,只要你一打开相机应用,它就已经开始拍照了。这很合理,不然屏幕上的画面怎么来的?但除了往屏幕上送,它还会在后台把高分辨率画面存进自己的环形缓冲区,在那儿多留上几秒。

你按下“拍照”按钮时,照片其实已经拍完了。相机只是从缓冲区里取出最新的一张

如今的手机相机都是这么工作的。有了缓冲,摄影师惦记了那么多年的零快门时滞不但能实现,时滞甚至还能是负的:你一按按钮,手机就往过去看一眼,翻出缓冲区里最近的 10 到 15 张照片,开始疯狂地合成。再也不用等手机为 HDR 或夜景模式咔嚓咔嚓拍上一串了——直接从缓冲区往外拿,用户压根儿不会察觉。

iPhone 的实况照片(Live Photo)和别家类似的功能,靠的正是负快门时滞。



发表评论

相机传感器能不能记录人眼所见的全部亮度范围?这可是个能让人吵翻天的老话题。有人说不能,人眼能看见高达 25 档的亮度范围,就算顶级全画幅单反,后期里撑死也只能拉出 14 档。另一些人说这就不能这么比:眼睛还有大脑帮忙呢,瞳孔会自动调整,大脑的神经网络还会把画面补全。人眼在一个瞬间的动态范围,其实也不超过 10 到 14 档。这场争论就留给网上最杰出的沙发思想家们吧。

事实就是:拿哪部手机都一样,不开 HDR,给站在明亮天空前的朋友拍照,要么天空正常,朋友们的脸一片黑;要么朋友拍清楚了,天空却他妈白成一片。

办法早有了:用 HDR(高动态范围)拓宽能拍下的亮度范围。用不同的快门速度拍几张,再合在一起。一张“正常”,一张亮一点,一张暗一点。暗处的细节从亮的那帧取,过曝的地方从暗的那帧补,搞定。剩下的只是自动包围曝光的问题:每帧的曝光偏多少才不至于过头?不过算张图的平均亮度,如今一个理工科大二学生就能搞定。

在新款 iPhone、Pixel 和 Galaxy 上,HDR 连开都不用你开。相机里有个不复杂的算法,一看你在大晴天拍反差很大的东西,就自己打开了。你甚至能看出手机切换了缓冲区的写入模式,开始存不同曝光的帧:取景画面的帧率降了,画面本身却好像比眼前的实景还鲜亮。

在室外拍,这个切换的瞬间挺明显。下次拿手机拍照时留意一下。

包围曝光 HDR 的缺点是,一到光线不好的地方就彻底抓瞎。哪怕还有屋里的灯亮着,拍出来的画面也黑到电脑瓜子根本没法对齐、合成。为了解决光线问题,2013 年,谷歌在当年推出的 Nexus 手机上展示了 HDR 的另一种玩法。它叫 HDR+,用的是按时间堆栈。



发表评论

按时间堆栈,就是用一串短曝光得到长曝光的效果。最早这么干的是一群爱拍夜空星轨的人,让快门一开就是两个小时实在不方便。所有参数事先都很难算准,稍微抖一下,整张就废了。他们干脆让快门一次只开几分钟,多拍几次,回家再把这些照片放进 Photoshop 里叠起来。

这样的星轨图案一直都是用多张照片叠出来的。这样更容易控制曝光
这样的星轨图案一直都是用多张照片叠出来的。这样更容易控制曝光

也就是说,相机其实从来没拍过长曝光,但把连续拍下的几帧叠起来,我们就模拟出了它的效果。手机上会这招的应用早就一抓一大把,不过自从几乎所有自带相机都加上这个功能,它们也就没什么必要了。如今就连 iPhone 也能轻轻松松把一张实况照片合成长曝光。

点三下搞定长曝光
点三下搞定长曝光

说回谷歌的夜间 HDR。原来,沿时间做包围拍摄,在暗处也能得到不错的 HDR。这项技术最先出现在 Nexus 5 上,名字叫 HDR+。其他安卓手机也算跟着白捡了一份礼物。这技术至今都很吃香,连最新款 Pixel 的发布会上都还在拿它炫耀。

HDR+ 的工作原理挺简单:相机发现你在暗处拍摄,就从缓冲区里取出最近 8 到 15 张 RAW 照片,把它们叠在一起。这样算法就能收集到更多暗部信息,把噪点尽量压下去。所谓噪点,就是相机因为这样那样的原因没收全信息、搞砸了的那些像素。

打个比方,你不知道水豚长什么样,就请五个人分别描述一下。他们说的大致相同,但每个人都会提到一点别人没提的细节。这样你得到的信息就比只问一个人多。像素也是一个道理。

📝 HDR+:谷歌相机应用中的弱光与高动态范围摄影

把从同一位置拍的好几帧叠起来,得到的就是上面拍星轨时那种“假长曝光”效果。十几张照片的曝光累加起来,一帧里的误差也被其他帧摊薄了。想象一下,换成单反,每回得咔嚓多少下快门才能做到。

Pixel 广告,歌颂 HDR+ 和 Night Sight
Pixel 广告,歌颂 HDR+ 和 Night Sight

只剩下自动校色的问题:暗处拍的照片往往不是通黄就是通绿,而我们想要的,好像还是日光下那种鲜亮劲儿。早期 HDR+ 的解决办法很简单,跟 Instagram 滤镜一样拧一拧参数。后来又搬来神经网络帮忙,大致就是给黑白照片上色的那种。如今这也不难了。

于是就有了 Night Sight,也就是 Pixel 2 和 3 上的“夜景摄影”技术。官方说明就是这么写的:“Night Sight 靠的是构建在 HDR+ 之上的机器学习技术。” 说白了,靠它们救的是颜色。给机器看一套套“处理前”和“处理后”的照片,让它学会把一堆黑乎乎、拍得歪七扭八的照片变成一张漂亮的。

顺带一提,这个数据集公开了。苹果那帮人要不要拿去用用,好歹教会自家那些玻璃板砖在暗处正经拍张照。

另外,Night Sight 还会计算画面中物体的运动矢量,用来处理长曝光免不了的拖影和重影。这样手机就能从其他帧里取来清楚的部分,把有问题的地方“补”上。

📝 Night Sight:Pixel 手机如何在黑暗中看清东西
📝 HDR+ 连拍摄影数据集介绍

2019 年底,iPhone 也有了夜间模式,技术原理一模一样。毫无悬念 :)



发表评论

拍全景是广大乡村居民喜闻乐见的娱乐活动。有史以来,还没听说过谁真想看一张香肠似的全景图。不过又不能不提它:很多人头一次接触堆栈,就是从这里开始的。

全景拍摄第一个真正有用的用途,是把好几帧拼起来,得到分辨率超出相机传感器上限的照片。摄影师早就在用各种软件做所谓的超分辨率照片了:让几张略微错开的照片互相补上像素缝里的信息。用这招,想拼到几千亿像素都行。要是你打算把照片印成一整栋房子那么大的广告牌,那还真挺有用的。

📝 实用指南:用 Photoshop 制作超分辨率照片

另一个更有意思的做法是像素位移(Pixel Shifting)。索尼和奥林巴斯的一些微单早在 2014 年就开始支持这招了,不过它们只负责替你拍五张,回头还得你自己动手合成。典型的大相机式创新。

手机能在这件事上大显身手,原因说来好笑:你拍照时,手是抖的。这个乍看之下的毛病,成了手机实现原生超分辨率的基础。

想明白它怎么做到的,得先回忆一下相机传感器的构造。上面的每个像素(光电二极管)只能记录光的强度,也就是有多少个光子飞了进来。但像素测不出光的颜色(波长)。为了得到一张 RGB 图,只好想个土办法:在传感器上蒙一层五颜六色的小玻璃格子,让每个光电二极管只管自己那一色——红、绿或蓝。

这种格子最流行的排法叫拜耳滤色阵列,如今大多数传感器都在用。长下面这样。

于是,一束红光要是运气不好,落在传感器的绿色或蓝色小玻璃上,其中的光子就直接被拜耳滤镜扔进了垃圾桶。换句话说,光这一步我们就能白白丢掉三分之二的光子。

拜耳阵列里的绿色格子更多,这是照着人眼设计的。也就是说,一块 5000 万像素的传感器,有 2500 万个像素接收绿色,红色和蓝色各分到 1250 万。缺的那些值就靠周围取平均——这一步叫去拜耳化,或去马赛克。整套东西就靠这么个又粗又滑稽的拐杖撑着。真受不了。

其实每种传感器都有自己那套弯弯绕绕还申请了专利的去马赛克算法,不过咱们讲这个故事,管它个屁

别的传感器,比如 Foveon,到现在还真没怎么流行起来。倒也有些厂商,至今偶尔还会试试不用拜耳滤镜的传感器,想把清晰度和动态范围提上去。

光线不足,或者物体的细节特别小的时候,我们会丢掉一大堆信息,因为拜耳滤镜毫不客气地扔掉了波长不合它意的光子。所以才有人想出像素位移:让传感器上下左右各挪一个像素,把那些光子全逮住。照片并不会像你可能以为的那样变成四倍大,处理器只是拿这些数据,把每个像素的值记得更准一点。打个比方,不是找邻居算平均,而是把四个自己拿来算平均。

用手机拍照的时候,手一抖,这种位移自然就有了。新款 iPhone 和 Google Pixel 的相机已经把这套东西做进了处理器,需要的时候就会启动,尤其是变焦时。谷歌管它叫 Super Res Zoom,拉近以后效果确实很棒。iPhone 上叫 Deep Fusion,有一点小区别:中间用到的帧还会用不同的快门速度来拍,但整体思路是一样的。

下回再看到新款华为号称 100 倍变焦,你就知道了:就是这招。光学变焦顶多占到 10 倍。

📝 SIGGRAPH 2019:手持多帧超分辨率成像
📝 用 Pixel 3 的 Super Res Zoom 看得更清、更远

把稍稍错位的照片叠在一起,就能收集到每个像素更多的颜色信息。也就能在不增加传感器实际像素数的前提下,减少噪点、提高清晰度和分辨率。



发表评论

这招来自微距摄影。拍微距,景深太浅一直是个问题。为了让整个物体都清楚,得来回移动焦点拍好几张,再把它们合成一张全都清晰的。爱拍风景的人也常用这招,好让前景和背景都锐得像一阵突如其来的窜稀。

微距摄影中的焦点堆栈。不这么叠,还真拍不成这样
微距摄影中的焦点堆栈。不这么叠,还真拍不成这样

这些玩法后来也都搬上了手机,动静倒不大。2013 年,诺基亚 Lumia 1020 带着“Refocus App”上市;2014 年,三星 Galaxy S5 也有了“选择性对焦”模式。两者套路一模一样:按下按钮,飞快地拍三张,一张对“正常”的焦点,一张往前挪,一张往后挪。软件把三帧对齐,再让你从里头挑一张。这就号称可以在后期“真正”控制焦点了。

没什么进一步处理了。毕竟光这么个小把戏,就足以往 Lytro 和同类产品的棺材盖上再钉一颗钉子,尽管人家用的是真正的重对焦。说到这儿,咱们聊聊它们吧(话题过渡技能 80 级)。



发表评论

各种精巧的堆栈、夜景模式、神经网络,好是好,但有个最大的毛病:折腾完,得到的还是一张普通 JPEG。是,颜色很鲜,画面很亮,很抢眼,可 JPEG 还是 JPEG,最大的缺点没变:到了后期,几乎没法再好好调整。

拨弄拨弄颜色,调调微反差,都是咱们爱干的事。

手握堆栈和计算摄影的全部本事,结果全倒进了土得掉渣的 JPEG

就好像餐厅给你端上一盘细嫩无比的意面,转手就往上哗啦糊了一层番茄酱。

这倒也好理解:对普通人来说,JPEG 够用了。就连我这些年在博客上写游记,拿 iPhone 直出的照片也绰绰有余,更别说 Instagram 和那些恨不得把画质压成十级渣的社交平台了。

不乐意的是摄影师。他们见识过计算摄影的本事,也明白单反从物理上就做不到,可还是没法用上这些好东西,因为到手的只是普通 JPEG。原因呢,是我们还觉得 RAW 神圣不可侵犯,只肯往里写单独一帧的原始像素。

知道了堆栈的种种好处,你想想这得多憋屈。JPEG 里是漂亮的夜景,十来帧合成,两秒的曝光还稳得一塌糊涂;RAW 里呢,就剩孤零零一个又吵又抖的方块。

所以这几年我们才渐渐明白,是时候重新想想 RAW 文件究竟该是什么了。从今往后,它不光是传感器上那些像素的快照,也是一个容器,可以把各路算法的中间结果装进去,让摄影师有权按自己的想法拼出、调出最后那张照片。

在这样一个多层 DNG 文件里,夜景模式救回来的照片、它的深度图,还有其他有用的蒙版,都可以分开存放。

作者:格奥尔基·杰杰亚
作者:格奥尔基·杰杰亚

于是计算 RAW 登场了。Google Pixel 从 2018 年起就有,iPhone 则是在 2020 年加入,名字叫 Pro RAW。两者用的都是 DNG 格式。

上图取自格奥尔基·杰杰亚的新文章,整篇专讲 Pro RAW,以及这东西对摄影师来说到底爽在哪儿。推荐过去看看 👇

💎 计算摄影 2.0

计算 RAW 的派对现在才刚开场。过去很少有人拿安卓手机认认真真拍 RAW,自然也没什么人专门为它做软件。Apple Pro RAW 一来,开发者立马活跃起来——这下就看 Pixelmator 和 Lightroom 抢着炫耀谁的多层处理更漂亮了。

Halide 博客有篇不错的《读懂 ProRAW》,讲的就是这格式里面都装了些什么。

来源:blog.halide.cam
来源:blog.halide.cam


发表评论

前面我们也看明白了,如今的传感器就是一堆拄着拐杖才站得住的烂摊子。从开天辟地到现在,它的构造就没怎么变过。我们改进的只是制造工艺:缩小像素间距,跟噪声和干扰斗争,添加专门供相位检测自动对焦用的像素。可就算拿来最贵的单反,想在屋里的灯光下拍一只跑动的猫——往客气了说吧,赢的是猫。

🎥 相机传感器背后的科学

我们早就在试着发明点更好的东西。搜一下“computational sensor”或“non-bayer sensor”,就能找到一大堆相关尝试和研究。甚至上面说的像素位移,也算是试图靠计算改善传感器的一种。

不过,过去二十来年里最有盼头的故事,恰恰来自所谓的光场相机。

为了免得你一想到接下来那堆大词就困了,先爆个料:新款 Google Pixel 的相机,其实也算“有那么一点儿”光场相机。每组就两个像素,可这已经够它算出真材实料的光学深度了,还不用像别家那样再装一颗摄像头。

光场成像是件厉害的武器,只是还没真正打响。下面放一篇我近来特别喜欢的文章,说的是光场相机能做什么,以及我们和它们会有怎样的未来。下面一些例子就是从那儿借来的。

📝 7.55 亿像素的计算视频:光场成像的昨天、今天和明天



发表评论

1994 年提出构想,2004 年在斯坦福造了出来。第一款消费级光场相机是 Lytro,2012 年上市。现在 VR 行业也在积极试验类似的技术。

光场相机跟普通相机相比,构造上只改了一处:在传感器上覆盖一层微透镜阵列,每个透镜罩住几个实际像素。差不多这样:

只要算准阵列到传感器的距离和光圈大小,最后成像时就会得到一簇簇分明的像素,像是一幅幅缩小版的原图。

🎥 演示 RAW 文件编辑过程的无声视频

有意思的是,如果从每一簇里各挑一个像素,比如都挑正中间那个,只用这些像素拼一张图,它跟普通相机拍出来的照片就没什么两样。是,分辨率损失了一点,不过让索尼往下一代传感器上再撒几百万像素就好了。

好玩的才刚开始。如果从每一簇里改挑另一个位置的像素,再拼一张,出来的还是一张正常照片,只不过像是拍摄位置挪了一个像素。这样一来,如果每簇有 10×10 个像素,我们就有了从 100 个“略有不同”的位置拍到的同一个物体。

像素簇越大,能拼出来的图就越多,但每张图的分辨率就越低。在手机都能装上 4100 万像素传感器的时代,分辨率是可以牺牲一点,但凡事都有个限度。得找个平衡。

📝 plenoptic.info:讲光场成像的网站,附 Python 代码示例

好,光场相机我们造出来了。然后呢,它能干什么?

当年记者们写 Lytro,翻来覆去说的都是这个功能:拍完以后还能在后期真正地重新对焦。所谓“真正”,是指我们不靠各种去模糊算法硬救,只用手头现成的像素,按需要的顺序从各簇中选取,或取平均。

光场相机拍的 RAW 长得很怪。想从里面得到一张我们看惯了的清晰 JPEG,得先把它拼出来。JPEG 里的每个像素,都要从 RAW 的某个像素簇里选出来。选法不同,结果就不同。

比如,像素簇离原始光线的落点越远,这束光就越失焦。光学就是这么回事。要得到一张焦点挪过位置的图,我们只需按想要的距离选取像素:相对于原来的位置,挑近一点的,或者远一点的。

这张图要从右往左看:已知传感器上的像素,我们反过来重建图像。上面得到清晰的原图,下面算出它后面的东西。也就是用计算来移动焦点
这张图要从右往左看:已知传感器上的像素,我们反过来重建图像。上面得到清晰的原图,下面算出它后面的东西。也就是用计算来移动焦点

把焦点往自己这边拉就难一些,因为从物理上说,簇里能派上这个用场的像素确实比较少。起初开发者甚至不想让用户手动对焦,打算交给相机的软件自己决定。用户不喜欢这样的未来,所以后来的固件还是加了这个功能,起名叫“创意模式”。不过也正是出于前面那个原因,能重新对焦的范围被卡得很死。

在光场成像里,得到深度图算是最简单的操作之一。只要拼出两个不同的视图,算算同一个物体在两张图里错开了多少就行。位移越大,离相机越远。

前不久谷歌买下 Lytro,又把它关了,却把它的技术用在了自家的 VR,还有……Pixel 的相机上。从 Pixel 2 开始,这颗摄像头第一次有了“那么一点儿”光场相机的意思,只不过每簇才两个像素。这就让谷歌不用像其他人一样再安一颗摄像头,单靠一张照片也能算出深度图。

Google Pixel 摄像头的左、右子像素各自看到的画面。最右边做成了动图,方便看出差别(得仔细瞧)
Google Pixel 摄像头的左、右子像素各自看到的画面。最右边做成了动图,方便看出差别(得仔细瞧)
深度图还会交给神经网络再处理一遍,让背景虚化更均匀
深度图还会交给神经网络再处理一遍,让背景虚化更均匀

📝 Pixel 2 和 Pixel 2 XL 手机上的人像模式

这张深度图靠的是两个相差一个子像素的视图。这就足够算出一张二值深度图,把前景和背景分开,再把背景虚化成眼下流行的散景。这么分层之后,还会让神经网络把结果抹平、“改善”一下。网络训练的是怎么改进深度图,不是怎么把背景弄糊,很多人把这事想反了。

还有个妙处:手机这点光场能力,几乎是白捡的。我们本来就会在那些小得可怜的传感器上加微透镜,指望好歹能多收点光。谷歌打算在接下来的 Pixel 上再走一步,让一个透镜罩住四个光电二极管。

你看不见自己的鼻子,是因为大脑把两只眼睛看到的东西拼成了一张图。闭上一只眼,你就会在视野边上发现一整座埃及金字塔。

光场相机也能做到同样的事。从不同像素簇中取像素,拼出彼此错开的图像,就能像是从好几个位置看同一个物体。跟我们的双眼一样。这带来两项很棒的本领:一是能估算物体的距离,像在现实里一样轻松分出前景和背景;二是如果物体不大,我们甚至可以把它从画面里彻底移走。就像你的鼻子。用的是光学,来真的,不靠 Photoshop。

能想到的用途,比如去掉挡在相机和拍摄对象之间的树,或者像下面的视频那样,去掉正在飘落的彩纸。

从一份光场 RAW 里可以拼出上百张照片,各自的拍摄位置在整片传感器上相差几个像素。于是我们就像有了一根跟镜头直径一样大的管子,可以在管子里自由移动拍摄点,把画面的抖动抵消掉。

严格说,这仍然算光学防抖,因为我们什么都不用算,只需挑出正确位置上的像素。另一方面,任何光场相机都得牺牲像素数来换取光场能力,而任何电子防抖干的恰恰也是这事。所以当赠品收到这个功能挺开心,专门为了它去用光场相机,就不是什么好主意了。

传感器和镜头越大,能挪动的空间就越大,花样就越多,给这一整套马戏班子供电、散热捅出来的臭氧层窟窿也就越多。耶,科技!

就算是光场相机,也还是得用它,毕竟我们至今没想出别的办法来得到彩色数字图像。不过现在取颜色的平均值,不必像传统去马赛克那样只盯着周围一小撮像素,还能参考相邻簇里那几十个它自己的副本。

论文里管这叫“计算超分辨率”。这我可又要打个问号了:说到底,我们是先把传感器的实际分辨率砍到几十分之一,再挺着胸脯说自己把它还原回来了。想把这套说辞卖出去,可得下一番功夫。

不过从技术上说,还是比搞像素位移时让传感器一阵抽搐有意思。

爱拍心形散景的人这下要乐坏了。既然重对焦都能控制,不妨再往前走一步:一部分像素从失焦图像里取,其他的从正常图像里取。这样想要什么形状的光圈都行,摄影群里又能乐上一阵了。

这篇毕竟聊的是摄影,就不跑远了。想知道的朋友可以去读读、看看上下这些链接,里面还讲了五六种有意思的光场相机用法。

🎥 看看 Lytro 如何永久改变电影摄影



发表评论

别人讲全光成像,通常都从光场开始。我一直没搞懂,干嘛一上来就拿它把人绕晕。好吧,从物理上讲,光场相机确实是一种记录光场的工具。连 plenoptic 这个名字都是这么来的:拉丁语 plenus 的意思是“全”,也就是把光线的信息全收进来。跟“全体会议”里的“全”一个意思。

咱们用人话说说,光场到底是什么,要它干什么。

传统照片都是二维的:光线从哪里进镜头,照片上相应的像素就亮起来。相机才不在乎这束光打哪儿来,是碰巧从旁边照进来的,还是从一位美女的屁股上反射过来的。照片只记录光线与传感器表面相交的那个点。

光场图像记录的也是这个,但多了一项:这束光是从哪儿来的。换句话说,它记下了光线在空间里的矢量。就像给游戏关卡计算光照,只不过方向反过来——我们是想弄清现实世界的光照模型。于是,所谓光场,就是场景里所有光线的集合。既有从光源直接射来的,也有反射过的。

光场的数学模型多了去了。这算是最直观的一个
光场的数学模型多了去了。这算是最直观的一个

光场本质上描述了周围空间看起来是什么样。在这片空间里,随便哪张照片,我们现在都能用数学算出来。拍摄位置、景深、光圈——这些也都能算。

这里我喜欢拿城市打比方。照片,就像你从家走到卖啤酒的小摊那条路,闭着眼都记得;光场,则是整座城市的地图。有了地图,我们可以算出从 A 到 B 的任意一条路线。同理,知道光场,就能算出任意一张照片。

只为拍张普通照片,这确实是杀鸡用牛刀。但 VR 正慢悠悠地爬上舞台,而光场正是其中很有希望的一个方向。记录下光场,就能在虚拟现实里从空间中的任意位置观察物体。想在房间里走一圈,再也不用先做个房间的 3D 模型了——“只需要”把屋里的每一束光记录下来。只需要,嗯哼。我们正为这个苦战呢。

📝 谷歌 AR 与 VR:光场实验



发表评论

我和斯坦福那帮人说的“光学”,不只是透镜和镜头,而是拍摄对象到传感器之间的一切,连光圈和快门都算。摄影原教旨主义者看到这里该炸了。



发表评论

2014 年,HTC One (M8) 上市,成了第一款配备双摄像头、还会些相当喜感的计算摄影把戏的智能手机。比如把背景换成雨丝或者闪闪发光的小亮片,深得俄罗斯“同学网”各大人气群组的真传。

竞赛开始了。大家纷纷往手机里装两个、三个、五个镜头,顺便争一争长焦和广角哪个更好。最后折腾出了 Light L16。你猜对了,整整 16 个镜头。

Light L16
Light L16

L16 已经不是手机了,更像是一种新型口袋相机。它的定位是单反的便携替代品:不靠死贵的大光圈镜头和全画幅传感器,而靠计算摄影算法的本事来保证画质。

P30 Pro 的潜望式长焦镜头
P30 Pro 的潜望式长焦镜头

它的 16 个镜头里有 28 毫米广角,还有 70 和 150 毫米长焦。每个长焦都是潜望式的,也就是说,光线不是穿过透镜直接落到传感器上,而是由镜子反射,折向机身内部。这样就能把挺长的长焦镜头塞进扁平的机身,不必从机身上伸出一根管子。华为前不久在 P30 Pro 上玩的也是这一手。

L16 每拍一张照片,至少 10 个镜头同时开工,然后由相机巧妙地把各张照片合成一张 5200 万像素的图像。按设计者的想法,多个镜头同时拍摄,就能收集到跟单反大镜头一样多的光,又能机智地绕开种种光学定律,不必背根长长的望远镜筒。

第一版的软件功能包括拍完再调景深和焦点。手里有了从不同角度拍的照片,就能算出画面深度,做出像样的软件虚化。纸面上听着挺美,上巿之前,大家甚至还对光明的计算摄影未来抱了点希望。

2018 年 3 月,Light L16 上市,然后……摔了个响亮的跟头。技术上它确实活在未来,但一台卖 2000 美元的相机,居然没有任何光学防抖,所以照片动不动就糊(镜头可是 70 到 150 毫米,不奇怪)。自动对焦慢吞吞的,多帧合成的照片这里清楚那里模糊,到了暗处更是彻底没用,因为它没有谷歌 HDR+ 或 Night Sight 那样的算法。当时一台支持 RAW、卖 500 美元的卡片机,开箱就能把它按在地上摩擦。于是第一批卖过,销售很快就停了。

不过 Light 公司倒没就此关门,反而融到了钱,正加倍卖力地搞新版。比如前不久那部密集恐惧症患者的噩梦 Nokia 9,就用到了他们的技术。等着看新花样吧,这个点子显然还有不少可挖的。

🎥 Light L16 评测:光学狂想



发表评论

激光雷达是个专门测量物体距离的独立装置。通常它向前发射一束光脉冲,再算算这束光多久才回来。激光雷达这些年的进步,得感谢近来的自动驾驶汽车热。车顶上那些转来转去的怪玩意儿,就是激光雷达。

那种激光雷达暂时还塞不进智能手机,所以我们先用它的弟弟——飞行时间相机(ToF)。原理简单得可笑:一颗独立的专用摄像头,上面装个 LED 闪光灯。它发出多次光脉冲,记录光先到达哪些物体,再据此画出这幅画面的深度图。

手机激光雷达的精度可以达到一厘米。旗舰手机用它们来制作散景用的深度图,也用它们改善暗处的自动对焦。

等增强现实时代到来,精确知道画面里各处的深度会很有用。拿激光雷达对着物体表面扫一通,做个初步的三维地图,比分析摄像头拍回来的图像简单、准确得多。

手机装激光雷达,主要为了三件事:

  1. 计算画面深度,叠加软件虚化效果。
  2. 为 AR/VR 应用更精确地绘制空间地图。
  3. 加快暗处的自动对焦。

可以看我另一篇讲增强现实的文章,里面更详细地说了这些东西是怎么工作的。



发表评论

前方进入望远镜、X 射线以及其他战争迷雾区。咱们不会往太深处走,不过最好还是先系上安全带。编码孔径的故事,始于那些按物理规律没法聚焦射线的场合:伽马射线和 X 射线。至于为什么,请就近抓一位物理老师问问。

所谓编码孔径,就是把光圈上那个常规的孔,换成某种图案。小孔的位置得排得有讲究,让它们的整体图样随失焦程度的不同而尽量拉开差异。变化越多越好。天文学家为望远镜发明了一大堆这样的图案,这里我放一个最经典的。

当我们对准某个物体合焦,景深以外的东西都会变糊。从物理上说,模糊就是一个点由于失焦,被镜头投到了传感器上的多个像素上。于是,一盏路灯就变成了散景里的一张圆饼。

数学家把这种操作和它的逆操作叫卷积(convolution)和反卷积(deconvolution)。记住这两个词,听着就很酷!

严格说,只要知道卷积核,任何卷积都能倒回去。数学家是这么说的。可现实里,传感器的动态范围有限,镜头里的透镜也不完美,我们拍到的那些“散景”离数学上的理想情况差得远,没法完全还原。

📝 弗拉基米尔·尤日科夫:还原失焦和运动模糊的图像

不过只要知道卷积核,我们还是能试试。不卖关子了,在摄影里,这个核恰恰就是光圈的形状。光圈用纯光学的方式,做了一次数学上的卷积。

问题是,普通圆形光圈无论模糊成什么程度,还是圆的。卷积核始终差不多——稳定是稳定,没多大用。换成编码孔径,不同程度的失焦就会让光线被不同的核编码。智商 > 150 的读者已经猜到下面要干什么了。

就剩一个问题:怎么知道图像里的每个区域用了哪个核?可以手工来,把各种核挨个比一遍,看哪个卷积结果更吻合。但这不是咱们的路数。人类早就为这个发明了傅里叶变换!为免各位遭受高数的蹂躏,我给真有兴趣的人放个链接,这是我最喜欢的讲解。

🎥 傅里叶变换到底是什么?一个直观的介绍

咱们普通人只需要知道,傅里叶变换能从一堆叠在一起的波里,找出占主导的规律。用在音乐上,它能告诉你一个复杂和弦里各个音的频率;用在照片上,它能告诉你,一大堆光波主要是按什么图样叠起来的。也就是卷积核。搞定。

而编码孔径投下的形状,会随物体距离改变。也就是说,普通传感器拍的一张普通照片,就够我们纯靠数学算出物体有多远!

拿这个核做一次反卷积,就能还原图像里模糊的区域。可以说,是把散落各处的像素请回原位。

右上角显示的就是卷积核
右上角显示的就是卷积核

大多数去模糊工具就是这么工作的。甚至普通圆形光圈也能凑合用,只不过结果没那么准。

编码孔径的缺点是损失光线、引入噪声,而这两样我们还不能当作不存在。激光雷达和精度相当不错的 ToF 相机问世之后,在消费电子产品上用编码孔径的种种设想更是基本没戏了。如果你在哪儿见过,来评论区说一声。

📝 用带编码孔径的普通相机获取图像和深度
📝 编码孔径:计算摄影 07/08 冬季学期课程
🎥 编码孔径投影(SIGGRAPH 2008 演讲)



发表评论

根据最新国标,光有一半是波。给光圈编码时,我们控制的是镜头各处透不透光,翻译成波的语言,就是在控制振幅。除了振幅,波还有相位,而相位也能编码。

做法是再加一片透镜,把穿过它的光的相位翻转过来。对,就像平克·弗洛伊德那张专辑封面。

接下来就跟其他光学编码一样了。图像的不同区域经过不同编码,我们可以用算法认出它们,再做点调整。比如挪一挪焦点。

相位编码的好处是不损失亮度。所有光子都老老实实地飞到了传感器上,不像用编码孔径时那样,一头撞上不透光的部分(别忘了,国标的另一半说了,光是粒子)。

缺点则是清晰度必然会受损,因为哪怕焦点完全准确,物体的像也会在传感器上均匀地摊开。横竖都得把傅里叶叫来,替我们把它拼回去。下面的链接里有更详细的说明和照片示例。

📝 白钟旻(Jongmin Baek):计算光学,2012



发表评论

光到达传感器之前,我们最后还能编码的东西,是快门。不按惯常的“打开——等一会儿——关上”来,而是在拍一帧的过程中开关好几次,让加起来的总曝光时间等于我们要的值。有点像多重曝光:同一帧曝光好几次。

假设我们打算在夜里拍一辆飞驰的汽车,拍完还想看清车牌。我们没有闪光灯,也不能用长曝光,不然全糊了。快门得快,可曝光时间一路缩短下去,最后就只剩一张全黑的照片,车也没认出来。怎么办?

可以在拍这一帧时让快门开关好几次。这样车就不会均匀地糊成一条,而会糊成一段段已知间隔的“楼梯”。当然,前提是它没飙到街坊那辆趴地改装拉达 2114 的速度,这种情况科学界不予考虑。

这么一来,我们用一串随机的快门开关给运动模糊编了码,就能试着用前面说的反卷积把它解回来。结果比起硬要救回长曝光均匀抹开的一串像素,这个办法好用好几倍。

光干这事的算法就有好几种。想看更硬核的细节,下面还是附上那几位聪明的印度研究者发表的成果。

📝 编码曝光摄影:利用频闪快门消除运动模糊
🎥 频闪快门编码滤波器



发表评论

再过不久,我们的胃口会大到连光照都想留到后期再调。拍完才把阴天换成晴天,或者匀一匀脸上的阴影——现在看着很离谱,十年以后再看看。

我们已经发明过一种简单粗暴的照明控制设备,能名副其实地把光往人脸上怼——闪光灯。最早是相机有技术限制,非它不可;后来有坏人把它装进了每一台傻瓜相机,专门毁你的家庭照;到了智能手机时代,大家都拿它当手电筒。

至于怎么走向计算照明,我们现在的步子还挺乱,也没几个人看得懂。



发表评论

老诺基亚最爱炫它们的氙气闪光灯,拍一张就能啃掉百分之一的电。如今生活无聊多了,到处都是朴素省电的 LED。一颗发光二极管也玩不出太多花样,不过我们还是试了。

头一步,大家都换上了双 LED 闪光灯——一橙一蓝两个灯,通过调整各自的亮度,尽量配合画面的色温。iPhone 上这叫原彩闪光灯(True Tone),由一小段代码按某个颇有心机的公式控制。连开发者都不让碰。

📝 揭秘 iPhone 的琥珀色闪光灯

等手机有了深度传感器和神经网络,我们就想拿它们解决所有闪光灯的头号难题:脸被打得惨白,连带整个前景都过曝。各家想了各家的办法。iPhone 有了慢速同步闪光,让相机在暗处特意延长曝光时间。Google Pixel 和其他安卓机则用了合并闪光帧和非闪光帧的算法。手机迅速拍两张照片,一张开闪光,一张不开。离相机近的部分,从没开闪光的那张里取;照亮的背景细节,从开了闪光的那张里取。这样光照就大致均匀了。

可编程多闪光灯还能拿来干什么,前景挺模糊。倒是在计算机视觉里有个有趣的应用:需要更清楚地找出物体的边缘时,可以用上它。比如拿它做一张宜家柜子的组装示意图。

📝 非真实感相机:
用多闪光成像检测深度边缘并进行风格化渲染



发表评论

给光编码一直是最容易的。拍一帧的时间里,我们就算换上一百次灯光,跟光本身的速度相比也差得远。所以早在遥远的 2005 年,下面这帮人就想出了 Lightstage。

🎥 Lightstage 演示视频

方法的要点是,拍一部货真价实的每秒 24 帧的电影,要在每一帧的时间里,来得及从所有可能的方向给对象打遍光。做法是用 150 多盏灯,加一台高速摄影机,在一帧电影的时间里拍下一百帧光照不同的画面。任何创新,一旦说穿,听起来就是这么傻。

现在电影里把实拍和 CGI 合成到一起时,用的就有类似的办法。有了它,到了后期还能完全控制对象身上的光,把对象放进光照随便什么样的场景都行。只需挑出从所需方向打光的那些帧,稍微调个色,搞定。

可惜这套东西很难搬上手机,不过也许这个点子对谁有用。我见过一帮人做的应用:拿手机的手电筒从不同方向照一张脸,就能拍出它的 3D 模型。



发表评论

要在手机上认真搞计算照明,就得从普通 LED 闪光灯转向投影仪——只要能把二维图案投到平面上的东西都算。刚起步,投个简单的单色网格也行。

投影仪的第一个好处是,它可以只照亮画面里确实需要补光的地方。前景里再也不会有一张张白得没了细节的脸——把脸认出来,跳过不照就行。就像现在的汽车激光大灯,能避开迎面驶来的车,不晃司机的眼,又能照亮行人。就算投影仪只有区区 100×100 个点,这种选择性补光也有不少有意思的玩法。

汽车上的可控照明,五年前就已经不是什么稀奇事了
汽车上的可控照明,五年前就已经不是什么稀奇事了

投影仪的第二种用途更现实:往场景里投一张肉眼看不见的网格。有了它,那些估算深度的神经网络就可以歇着了。看这张网格,用最简单的计算机视觉算法,就能算出画面里各个物体有多远。早在微软 Kinect 的年代就这么干过,愿它安息,当年真他妈牛逼。

当然,这里不能不提 iPhone X 以及后续机型上为面容 ID 服务的点阵投影器。这还只是我们迈向投影技术的第一步,但已经相当引人注目了。

iPhone X 上的点阵投影器
iPhone X 上的点阵投影器


发表评论

该坐下来琢磨琢磨了。看各大科技公司眼下的动静,接下来十年,我们恐怕要跟增强现实打不少交道。也就是现在,AR 看上去还像个玩具,让你摸摸三次元老婆、试穿运动鞋、看看妆化出来是什么样,或者拿来训练美国大兵。到了明天,我们可能不知不觉就用上瘾了,成天都在用。谷歌和英伟达那边哗哗往这里流的钱,现在已经能感觉到了。

对摄影来说,这意味着 AR 照片会流行起来:你能控制整个 3D 场景。像搭载 Tango 的手机那样扫描空间,像 HoloLens 那样往里面添加新物体,诸如此类。别让如今 AR 应用那稀烂的画质吓着,等游戏公司带着自家油光水滑的过场大片进场,好看的多了去了。

作者:坏点像素

还记得华为那个造假的月亮模式闹出过多大动静吗?没赶上的,我讲讲它是怎么玩的:华为相机一旦认出你想拍天上的月亮,就往画面里贴上一张事先备好的高清月亮照片。这样确实好看多了嘛。货真价实的中国赛博朋克。整个互联网一起笑得比平时大声多了。

人生目标:练成华为那张能把人忽悠瘸了的嘴
人生目标:练成华为那张能把人忽悠瘸了的嘴

后来我给自己买了副新肺,坐下来一想:台上那位老廖说得还真没错。承诺给大家什么,就给了什么——月亮是真的,相机也的确能把它拍成那样,还有问题请写信给体彩中心。要是明天手机问你,要不要把乌云换成漂亮的晚霞或蓝天,圣彼得堡五百万居民不得乐疯了!

以后,机器会替我们把照片“画完”。反正我看到的是这样

如今 Pixel、Galaxy 和其他安卓手机的相机里,就已经有了这样那样傻乎乎的 AR 模式。有的让你加个卡通人物模型,跟它合影;有的让你把表情符号贴满整个屋子;还有的跟 Snapchat 一样,往你脸上套面具。

这些不过是我们天真烂漫的第一步。如今谷歌相机里就有 Google Lens,你拿镜头对着什么,它就替你谷歌一下那是什么。三星的 Bixby 也会这招。眼下这些功能的用途还只是羞辱 iPhone 用户,不过不难想象,下回你以埃菲尔铁塔为背景自拍时,手机会跟你说:你知道吗,你这张自拍简直是坨屎。我找了张同角度、拍清楚了的铁塔照片换在背景里,顺手给你理了理发型,把嘴唇下面那颗痘也抹了。这张最适合套 VSCO 的 L4 滤镜。不谢。

再往后,相机会把草换成更绿的,朋友换成跟你更铁的,奶子换成更大的,差不多就这意思。美丽新世界。

这一切看起来都会很荒唐,刚开始甚至会很吓人。唯美派老爷子们能气炸,那些捍卫天然美的斗士则会挨家挨户没收人民群众的神经网络。广大群众呢?广大群众会爱死它。因为对他们来说,照片只是表达自我、传递情绪的一种方式。每次有工具能让人表达得更鲜明、更有效,大家就会用起来——表情符号、滤镜、贴纸、面具、语音消息。有的人看到这串清单已经犯恶心了,可往下还能接着列。

记录“客观现实”的照片,看起来会跟一家人围着俄式土豆沙拉吃跨年饭的合影一样无聊。它们不会消失,但会变成类似纸质书的东西,是一群能从中看出特别意义的审美爱好者的兴趣。“手机都能替我画出一样的效果了,谁还有兴致费劲去打光、给场景里的物体安排构图啊?” 一拨人会百思不得其解。“咯咯,咯咯哒。” 另一拨人会反驳道。

广大群众才不在乎什么狗屁客观性,他们要的是算法让自己看起来更年轻,假期看起来比隔壁工位同事的更精彩。增强现实会替他们把现实补画出来,甚至比现实本身还要精细。听着好笑,可我们真的要开始给现实世界提升画质了。

而且没错,跟往常一样,这一切的开端会是一群青少年,还有他们那些“搞不懂的、只有傻子才玩的弱智爱好”。什么事一开始都这样。当你发现自己看不懂某样东西时——那就是未来。留心看看他们在干什么。

💎 增强现实



发表评论

纵观历史,人类的每一种技术,都是从不再照搬生物的那一刻起,变得更高明的。今天很难想象,一辆汽车不用轮子,倒长着关节和肌肉。固定翼飞机时速能超过 800 公里,鸟儿只能一边扑腾一边羡慕。至于计算机处理器,自然界里压根儿就找不到对应的东西。

最有意思的,是没进这份名单的东西。相机传感器。直到今天,除了模仿眼睛的构造,我们还没想出更好的办法。镜头照着晶状体来,再配上一组 RGGB“视锥细胞”,跟视网膜一个思路。

计算摄影给这个过程加上了“大脑”——一个处理视觉信息的处理器。它不只是沿着视神经读取像素,还会根据自己的经验补全画面。没错,这在今天给我们打开了很多可能性,但我总怀疑,我们还在试着扑腾一对插满羽毛的翅膀,而没有转身去发明飞机。去发明那个能把这些快门、光圈和拜耳滤镜全都甩在身后的东西。

这件事的妙处就在于,今天我们根本不知道它会是什么。

而这真好。



发表评论
评论 👇
想看更多? 给你