了解苹果iPhone 11新相机功能背后的技术

“简而言之，深度融合是一种先进的计算摄影形式，可以安排为您挑选最佳照片”

苹果太喜欢夸张了，没有“绝对惊艳”、“前无古人”、“真正不可思议”之类的短语，没有一个苹果的活动感觉是完整的。客户和技术媒体也习惯了苹果的自拍——毕竟，即使该品牌确实有炫耀现有技术重新版本的革命性趋势，但它仍然只是有效的。然而，在最近结束的iPhone 11事件中，库比蒂诺巨人本身有点不同，以轻快的步伐从一个发布会转移到另一个发布会，没有任何劳动。然而，这并没有阻止菲尔席勒给他们的新相机技术贴上“疯狂的计算机摄影科学”的标签。我们这里说的是苹果的深度融合技术。如果你想知道它是什么，为什么你应该关心，请继续阅读。

这是什么？

在所有可能的方式中，深度融合完全符合计算摄影的既定定义。为了再次记忆，计算摄影可以定义为一个系统，在这个系统中，处理单元的算法主要负责在拍摄一张照片后生成一张合成照片。通常，它使用智能手机内部的图像信号处理器(ISP)来增强传感器和镜头在众多数学计算中捕获的图像，以便产生用现有光学设置无法实现的图像。

通过深度融合，苹果正在进一步推动计算摄影。苹果的大赌注不仅仅是依靠互联网服务提供商，而是放弃了对神经引擎或神经处理单元(npu)的大部分责任，以便在拍照时使用更多的计算能力。通过这样做，在苹果新iPhone上拍摄的任何图像都将由多张照片组成，然后深度融合将采用和增强元素，以创建具有最佳平衡颜色、丰富细节、纹理、白平衡和噪点的照片。鉴于苹果通常在相机中使用顶级硬件，至少在理论上，结果应该是非常好的。

它是如何工作的？

在新的iPhone 11、iPhone 11 Pro和iPhone 11 Pro Max中，当相机应用程序打开时，一系列算法可以指示成像系统采取行动。这被设置为其操作的关键位，在你真正按下快门按钮之前，相机已经准备好拍摄一组对象。造成这种情况的主要原因是ISP本身，它被编程为在按下快门时总共拍摄9张照片——4张快速曝光照片，4张二次曝光照片和1张长曝光照片。

前8张照片实际上是在按下快门按钮之前点击的，而当按下快门按钮时，问题中的iPhone会拍摄主体的长曝光照片。需要注意的是，这里的“长曝光”是对普通智能手机照片的标准快门速度的主观判断，可能低于1/2或1/6秒。一旦拍摄了这些图像，这就是苹果A13仿生SoC上新神经引擎的开始。参考该技术的深度融合部分。

在这里，神经引擎从2400万像素或2400万像素的组合数据中创建整个图像帧，以便在照片的每个部分拍摄的九个镜头中选择最佳的。更精确地说，对于最终照片中的每个最终像素，神经引擎的算法被训练成从九个捕获的图像中挑选出最佳像素。即使在现代的片上系统处理单元中，也就是说，从按下快门到观看照片，相当多的数据在一秒钟以上的范围内被处理。

由于深度融合的基本任务是改变所有镜头的曝光时间，因此神经引擎可以为每个像素提供多种指标供您选择。基本上，一旦你点击了图像，A13 SoC的神经引擎就可以决定最佳的对比度、清晰度、保真度、动态范围、色彩准确度、白平衡、亮度和所有其他与图像相关的因素。与基本上由范围更广的可变因素发挥作用的相机不同，深度融合技术应该能够理想地产生非常精确的图像，具有更高的动态范围、难以置信的高水平复杂细节、出色的弱光成像、低噪声水平和颜色。

另一个应该受益的领域是弱光摄影，这是苹果通过自己的夜间模式推广的。在弱光条件下，苹果将长曝光图像的亮度优势与短曝光图像的稳定性、细节和准确性相结合，创造出各种超级图像，在黑暗中提供出色的拍摄对象，同时保持稳定性和不会造成模糊的镜头。在这种情况下，深度融合可能会显示出它的大多数功能，因为在白天，它将取决于苹果是否获得其正确判断颜色的算法。

和其他技术有什么不同？

说实话，深度融合并不是完全开创性的，甚至也不是什么新鲜事。三年前，索尼在其前旗舰产品索尼Xperia Z5上推出了预测拍摄功能。在过去，这个拍品总共拍了四张照片——三张照片是在快门按下之前拍的，另一张是按下的。这个想法是为了帮助用户拍摄快速移动物体的稳定，稳定的照片，或者快速移动自己——例如，赛道上飞驰的汽车，或者快速汽车内部道路上独特的树木。

谷歌Pixel 4有望进一步改善计算摄影。

索尼著名的摇摇欲坠的界面意味着这个功能太过平淡和错误，通常按下快门就会冻结相机应用。因此，尽管是智能手机上最早的计算人工智能摄影制造商之一，索

尼却未能充分利用它，就像480和960fps的超慢动作视频一样。另一方面，谷歌使用突发HDR成像更加智能。它使用轻量级界面，资源友好的相机应用程序和优秀的ISP，在Google Pixel 3上提供15次HDR +计算摄影。这与Schiller声称的iPhone 11独有的“疯狂科学”完全相同 - 从按下快门到观看照片之前，这一切都需要大约一秒钟，其中Pixel 3相机在HDR +中拍摄同一主题的15张图像，

坦率地说，Deep Fusion唯一独特的游戏，就像它到目前为止所看到的那样，在于它点击的额外长曝光图像。长曝光帧可以在选择正确的亮度和亮度级别时为神经引擎提供良​​好的杠杆作用，尤其是在昏暗的设置中。也就是说，在拍摄速度，整体细节等方面，看看Apple的计算摄影是否真的具有Google对其算法的影响力肯定会很有趣。

那么，这是一个大问题吗?

对于Apple来说，Deep Fusion是对备受瞩目的Google Pixel相机的回应。Android的制造商已经在过去几代Pixel智能手机上进行了计算摄影，虽然许多报道称苹果已落后，但现在iPhone上有责任展示其所有神经引擎和软件可以做什么。

然而，就目前而言，很难说Deep Fusion是否真的是一种值得被称为“疯狂科学”的技术，或者会逐渐淡出另一种苹果的夸张。