Google更新相机应用：用算法实现单反的景深效果和光场相机的先拍照后对焦

Google近日正式推出了新版的Google Camera app。这款Android应用的最大亮点是用算法实现单反相机的景深效果—即可以让前景清晰，远景模糊。不过app目前仅支持Android 4.4（KitKat），但官方称后续将支持更多版本。

新版Google Camera的版本号为2.1.037。该应用不仅开发了全新的界面，而且新增了几项令人眼前一亮的新功能，包括镜头模糊功能、改进的全景拍摄，以及照片球等。

其中最重要的新功能就是类似数码单反相机的镜头模糊功能。我们知道，对于业余的摄影爱好者来说，最难掌握的技巧之一就是对景深的把握。哪怕用单反相机也要经过一些相对复杂的设置才能实现前景突出背景模糊的效果。智能手机的相机尽管从分辨率上来看也能与数码相机匹敌，但以往并不具备类似的功能。

比单反相机更强悍的是支持先拍照后对焦的光场相机Lytro。这种相机可以让用户先拍摄照片，然后再根据需要自由对焦。其原理是相机传感器前面布设大量微镜头，通过这些微镜头，相机传感器记录下的不是单一的由镜头、光圈等设置决定的图像，还包括了用复杂的方式记录下来的各个方位的光线，随后Lytro软件会根据需要对图像进行解码，从而达到先拍照后对焦的效果。

Google Camera的原理与Lytro类似，只不过前者是软件实现的，后者是硬件实现。Google工程师Carlos Hernández在博客中解释了其镜头模糊功能的机制。Google Camera事先捕捉的也不仅仅是一张照片，而是在用户拍照前移动手机时捕捉下一系列的帧。然后利用计算机视觉算法对这些图像帧进行处理，创建出对象的3D模型，再估算出到达屏幕每一点的距离（景深）。就像下面这组照片的对比（左边是原始效果，右边是镜头模糊效果）：

其具体过程是这样的。

首先，App会筛选出屏幕上的视觉特征，然后在一系列图像中跟踪这些特征。接着利用所谓的运动求取结构（Structure-from-Motion，SfM）算法及光束法平差来计算相机的3D定位和定向，以及所有的图像特征在一系列帧中的3D位置。

接下来，app再利用多视角立体（ Multi-View Stereo，MVS）算法计算参照图上每一个像素的景深。Carlos解释说，MVS的原理类似于人的立体视觉：只要知道同一个对象在不同图片中的3D位置，我们就能三角定位出该对象的3D位置并计算出与该对象的距离。人具有高超的识别对象能力，但机器如何识别两张不同照片里面哪个像素和哪个像素是对应的呢？计算两个像素RGB颜色之间的绝对误差和（SAD）。于是景深问题就解决了。

最后就是优化问题。按照Carlos的说法，一张最好的景深图应该是所有的相应像素之间相互类似程度最高的。但这样又会导致不同的景深图的匹配度一样。为了解决这个问题，Google引入了场景的3D几何学条件来辅助优化，比方说，可以假设临近的两个像素之间的景深类似。最后，再利用马尔科夫随机场推理法来解决此优化问题（下图中的中间那幅就是景深图，越近颜色越黑，越远颜色越白）。

有了景深图之后，app就可以对图片进行重新渲染了。渲染的效果可以根据像素深度、光圈以及与焦面的相对位置来进行不同程度的模糊化处理。焦面决定了对哪一像素进行模糊化，app会根据像素与焦面的距离按比例提高/降低模糊度。也就是说用户可以通过app确定焦点在哪里，然后实现前景清晰背景模糊或者背景清晰前景模糊（如下图）的效果。

此前曾有消息称Amazon将推出有5个前置摄像头、可实现裸眼3D效果的智能手机。Google此时更新相机应用仿佛在说：看，你用5个摄像头做到的事情我用1个摄像头加上强悍的算法也能做到。当然，这种效果是无法跟硬件相比的。另外值得一提的是去年诺基亚也发布过一款类似的Windows app—Nokia app Nokia Refocus。