January 6, 2017 最近入手了联想的Phab2 Pro，作为“全球首款搭载Tango技术的智能手机”，还是挺让人期待的，先来几张真机实拍： Phab2 Pro 6.4英寸屏幕，4GB内存，64G存储空间，定制版的8核高通处理器，前置800w像素摄像头后置1600w，当然这些都不是重点，重点是它背面的几个传感器，从上到下分别是： 1600w像素RGB摄像头 TOF深度传感器-红外光接收器 TOF深度传感器-红外光发射器 闪光灯 鱼眼广角摄像头 指纹识别传感器 与Tango技术相关的主要是TOF深度传感器和鱼眼广角摄像头，这里的TOF传感器是PMD和Infineon俩家公司合作研发的。TOF技术原理容易理解，向目标点发射特定的光，然后根据发射到接收反射光所花的时间，乘上光速就得到了目标点离传感器的距离，这就要求传感器有相当的灵敏度和很高的数据处理速度，并且要对抗日常环境光的干扰。实际上，在深度获取方面，TOF已逐渐成为主流，相比双目视觉方法，其精确度、稳定性、抗干扰性以及适用场景都要好不少。 Phab2 Pro加装的鱼眼广角摄像头主要用于运动追踪，普通手机都内置了陀螺仪和加速度计，通过这两个传感器，可以粗略地得到设备的运动信息，做一些简单的AR应用(如Pokemon Go)，但如果仅依靠陀螺仪和加速度计，要做类似SLAM的大范围运动追踪，不仅准确度不够，Drift也会非常严重以至于不可接受，因此Tango用一个鱼眼摄像头来辅助运动追踪，广角可以拍摄到更大范围的周围环境，从官方视频来看，猜测这个摄像头是单色的，并且采用了光流法来做特征点的跟踪。 AR应用 Google Play上的Tango应用并不是很多，且都没怎么更新，究其原因，可能一方面没有好的应用场景，另一方面是目前的技术距离大众期望还有较大差距。Phab2 Pro有将精选的几个Tango应用放在一起，这里贴一些应用的截图： 首先是Google IO 2016上的现场演示Demo：https://youtu.be/yvgPrZNp4So?t=796 ，科技感很强，根据真实环境构建虚拟环境，最后还有实景结合的部分。 然后是一些经典的AR应用：在实景中增加虚拟物体，实测可以感受到Tango的运动追踪效果确实比较好： 最后值得一提的是测量类应用，如 Measure ，可以直接测量实景中物体的尺寸，实测准确度挺高： Tango 技术 如官方介绍，Tango技术主要分为三部分：运动追踪、区域学习和深度感知。 1、运动追踪(Motion Tracking) 运动追踪好理解，即确定设备的空间位置和姿态，可用六个参数来表示(6-DOF)。通常我们说“定位”，大家会想到GPS，GPS技术是通过确定设备和外部几个参考点(卫星)的距离来确定自身位置，而运动追踪则不一样，它没有固定的外部参考点，仅仅是依靠自身来完成“定位”，当然，如前面说的，Tango除了使用陀螺仪和加速度计，还增加了鱼眼相机，通过拍摄周围环境，结合图像特征点来提高运动追踪的精度。官方提供了一个通过运动追踪来显示设备轨迹的Demo： 2、区域学习(Area Learning) 区域学习是在运动追踪的基础上进行的，“学习”可以简单地理解为记录运动追踪过程中鱼眼相机的数据，并建立索引，其作用主要有两方面： 提升运动追踪轨迹的精确度； 在已知环境中重定位。 提升轨迹的精确度不难理解，当追踪过程中拍摄环境提取特征数据后，如果匹配上之前某个位置的数据，即可知回到了上次的位置，因此可以修正轨迹构成环路。所以如果你想得到某条弯曲小路的轨迹，就拿着手机来回多跑几次，轨迹也就越准确。 通过记录运动追踪数据，可以看做设备对周围环境有了“记忆”，加载某个环境的“记忆”后，重新开启运动追踪，就能立马知道自己在这个环境中的位置，也即“重定位”。打个比方，你拿着手机在停车场把各个角落都给“学习”了，保存下来，下次打开手机，立马就知道自己在停车场什么位置。 3、深度感知(Depth Perception) 深度感知是基于前面说的TOF传感器，得到的是稀疏的点云，这里的点云只有位置坐标，如果要进行彩色3D重建，需要再结合RGB摄像头拍摄到的图像数据。 畅想 整体上看，目前的Tango技术似乎并没有达到让人满意的效果，但不可否认这是很有意义的技术方向，最基本的，Tango技术增强了设备与外部环境的交互，类似于GPS，Tango能使设备知道自己在环境中的位置，而且是室内的高精度定位，这是GPS做不到的；更重要的，Tango使设备能“采集环境的空间信息”，想象有一天，满大街都是带Tango技术的智能设备，所有设备都将采集到的环境信息上传到数据中心，从而构建出一个更精细的3D世界地图，这个地图还包含商场、车库等建筑的内部空间结构信息，甚至重建出整个地球的表面结构，那个时候，人们的生活可能会发生不可想象的变化。