本文内容

● 工作道理

● 重要职能

● 相机机能

● 失效

● 后续步骤

本页介绍若何使用Femto Mega中的深度相机。。。。。 深度相机是两个相机中的第二个。。。。。 如前面的部门中所述，，，，，，另一个相机是 RGB 相机。。。。。

工作道理

Femto Mega  深度相机选取调幅陆续波 (AMCW) 时差测距 (ToF) 道理。。。。。 该相机将近红表 (NIR) 频谱的调造光投射参与景钟祝。。。。 而后，，，，，，它会纪录光线从相机传布参与景，，，，，，而后从场景返回到相机所破费的功夫的间接丈量值。。。。。

处置这些丈量值能够天生一张深度图。。。。。 深度图是一组以毫米为单元的Z坐标值，，，，，，对应到图像中的每个像素。。。。。

连同深度图一路，，，，，，我们还能够获得所谓的清澈 IR 读数。。。。。 清澈 IR 读数中的像素值与从场景返回的光线量成正比。。。。。 这个图像类似于通例的 IR 图像。。。。。 下图显示了一张示例深度图（左）的对应的清澈 IR 图像（右）。。。。。

重要职能

深度相机的技术特点蕴含：

● 建设高级像素技术的 1 兆像素 ToF 成像芯片，，，，，，实现更高的调造频率和深度精度。。。。。

● 两个 NIR 激光二极管实现近距和宽视场 (FoV) 深度模式。。。。。

● 全球最幼的 3.5μm x 3.5μm ToF 像素。。。。。

● 自动像素增益选择支持较大的动态领域，，，，，，允许捕获清澈的近距和远距对象。。。。。

● 全局快门可援手改善日光下的拍摄机能。。。。。

● 多相位深度推算步骤可能实现靠得住的正确度，，，，，，即便芯片、激光和电源存在差距。。。。。

● 较低的系统误差和随机误差。。。。。

深度相机将原始的调造 IR 图像传输到电脑主机。。。。。 在电脑上，，，，，，GPU 加快的深度引擎软件会将原始信号转换为深度图。。。。。?深度相机支持多种模式。。。。。 窄视场 (FoV) 模式极度适合 X、Y 维度领域较幼，，，，，，但 Z 维度领域较大的场景。。。。。 若是场景中的 X、Y 领域较大，，，，，，但 Z 领域较幼，，，，，，则宽 FoV 模式更相宜。。。。。

深度相机支持 2x2 装箱模式，，，，，，这种模式与非装箱模式相比，，，，，，能够扩大 Z 领域。。。。。 装箱的价值是降低图像分辨率。。。。。 所有模式都可能以高达 30 帧/秒 (fps) 的速度运行，，，，，，但 1 兆象素 (MP) 模式之表，，，，，，它的最大运行帧速度为 15 fps。。。。。 深度相机还提供被动 IR 模式。。。。。 在此模式下，，，，，，照像机上的照明器不会激活，，，，，，只能观测到环境光。。。。。

相机机能

相机的机能以系统误差和随机误差来衡量。。。。。

系统误差

系统误差界说为消噪后测得的深杜纂正确（真实）深度之差。。。。。 我们会凭据静态场景的很多帧推算时态均匀值，，，，，，以解除尽可能多的深度噪声。。。。。 更确切地说，，，，，，系统误差界说为：

其中，，，，，，dt 暗示功夫 t 处的丈量深度，，，，，，N 是求均匀过程使用的帧数，，，，，，dgt 是真实深度。。。。。

深度相机的系统误差规范不蕴含多蹊径滋扰 (MPI)。。。。。 当某个传感器像素集成了多个对象反射的光时，，，，，，就会产生 MPI。。。。。 使用较高的调造频率以及稍后将会介绍的深度失效能够在深度相机中部门缓解 MPI。。。。。

随机误差

如果我们在没有移动相机的情况下拍摄了统一对象的 100 张图像。。。。。 在这 100 张图像中，，，，，，每张图像的对象深度略有分歧。。。。。 这种差距是散粒噪声造成的。。。。。 产生散粒噪声的原因是，，，，，，撞击传感器的光子数因某种随机成分随时而变。。。。。 我们将静态场景中的这种随机误差界说为一段功夫内的深度尺度误差，，，，，，其推算公式为：

其中，，，，，，N 暗示深度丈量值数，，，，，，dt 暗示功夫 t 处的深度丈量值，，，，，，d 暗示基于所有深度丈量值 dt 推算出的均匀值。。。。。

失效

在某些情况下，，，，，，深度相机可能无法提供某些像素的正确值。。。。。 在这种情况下，，，，，，深度像素将会失效。。。。。 无效的像素由深度值 0 暗示。。。。。 深度引擎无法天生正确值的原因蕴含：

● 超出活动 IR 照明遮罩领域

● IR 信号鼓和

● IR 信号强度低

● 滤波异常

● 多蹊径滋扰

照明遮罩

当像素超出活动 IR 光照的遮罩领域时，，，，，，它们将会失效。。。。。 我们不建议使用此类像素的信号来推算深度。。。。。 下图显示了超出照明遮罩领域而导致像素失效的示例。。。。。 失效的像素蕴含宽 FoV 模式的圆圈（左）和窄 FoV 模式的六边形（右）表部的玄色像素。。。。。

信号强度

当像素蕴含鼓和的 IR 信号时，，，，，，它们将会失效。。。。。 像素鼓和后，，，，，，相位信息将会迷失。。。。。 下图显示了 IR 信号鼓和导致像素失效的示例。。。。。 请查看指向深度图像和 IR 图像中的示例像素的箭头。。。。。

若是 IR 信号强度不够，，，，，，以至无法天生深度，，，，，，则也可能会产生像素失效。。。。。

下图显示了 IR 信号强度低导致像素失效的示例。。。。。 请查看指向深度图像和 IR 图像中的示例像素的箭头。。。。。

歧义深度

若是像素从场景中的多个对象收到了信号，，，，，，则它们也可能会失效。。。。。 在角落中经；；；；；；峥吹秸庵窒袼厥У那榭觥。。。。 由于场景的几何结构，，，，，，拍照发出的 IR 光会从一堵墙反射到另一堵墙。。。。。 这种反射光会导致测得的像素深度呈显扃义。。。。。 深度算法中的滤波器会检测这些有歧义的信号，，，，，，并使像素失效。。。。。

下图显示了多蹊径检测导致像素失效的示例。。。。。 你还可能会发现，，，，，，在一个相机视图(上排)中失效的一样表表区域若何在另一个相机视图(下排)中再次出现。。。。。 此图演示在一个透视图中失效的表表可能会在另一个透视图中显示。。。。。

坐标系统