Phab2 Pro体验 & Tango技术简介

January 6, 2017 最近入手了联想的Phab2 Pro,作为“全球首款搭载Tango技术的智能手机”,还是挺让人期待的,先来几张真机实拍: Phab2 Pro 6.4英寸屏幕,4GB内存,64G存储空间,定制版的8核高通处理器,前置800w像素摄像头后置1600w,当然这些都不是重点,重点是它背面的几个传感器,从上到下分别是: 1600w像素RGB摄像头 TOF深度传感器-红外光接收器 TOF深度传感器-红外光发射器 闪光灯 鱼眼广角摄像头 指纹识别传感器 与Tango技术相关的主要是TOF深度传感器和鱼眼广角摄像头,这里的TOF传感器是PMD和Infineon俩家公司合作研发的。TOF技术原理容易理解,向目标点发射特定的光,然后根据发射到接收反射光所花的时间,乘上光速就得到了目标点离传感器的距离,这就要求传感器有相当的灵敏度和很高的数据处理速度,并且要对抗日常环境光的干扰。实际上,在深度获取方面,TOF已逐渐成为主流,相比双目视觉方法,其精确度、稳定性、抗干扰性以及适用场景都要好不少。 Phab2 Pro加装的鱼眼广角摄像头主要用于运动追踪,普通手机都内置了陀螺仪和加速度计,通过这两个传感器,可以粗略地得到设备的运动信息,做一些简单的AR应用(如Pokemon Go),但如果仅依靠陀螺仪和加速度计,要做类似SLAM的大范围运动追踪,不仅准确度不够,Drift也会非常严重以至于不可接受,因此Tango用一个鱼眼摄像头来辅助运动追踪,广角可以拍摄到更大范围的周围环境,从官方视频来看,猜测这个摄像头是单色的,并且采用了光流法来做特征点的跟踪。 AR应用 Google Play上的Tango应用并不是很多,且都没怎么更新,究其原因,可能一方面没有好的应用场景,另一方面是目前的技术距离大众期望还有较大差距。Phab2 Pro有将精选的几个Tango应用放在一起,这里贴一些应用的截图: 首先是Google IO 2016上的现场演示Demo:https://youtu.be/yvgPrZNp4So?t=796 ,科技感很强,根据真实环境构建虚拟环境,最后还有实景结合的部分。 然后是一些经典的AR应用:在实景中增加虚拟物体,实测可以感受到Tango的运动追踪效果确实比较好: 最后值得一提的是测量类应用,如 Measure ,可以直接测量实景中物体的尺寸,实测准确度挺高: Tango 技术 如官方介绍,Tango技术主要分为三部分:运动追踪、区域学习和深度感知。 1、运动追踪(Motion Tracking) 运动追踪好理解,即确定设备的空间位置和姿态,可用六个参数来表示(6-DOF)。通常我们说“定位”,大家会想到GPS,GPS技术是通过确定设备和外部几个参考点(卫星)的距离来确定自身位置,而运动追踪则不一样,它没有固定的外部参考点,仅仅是依靠自身来完成“定位”,当然,如前面说的,Tango除了使用陀螺仪和加速度计,还增加了鱼眼相机,通过拍摄周围环境,结合图像特征点来提高运动追踪的精度。官方提供了一个通过运动追踪来显示设备轨迹的Demo: 2、区域学习(Area Learning) 区域学习是在运动追踪的基础上进行的,“学习”可以简单地理解为记录运动追踪过程中鱼眼相机的数据,并建立索引,其作用主要有两方面: 提升运动追踪轨迹的精确度; 在已知环境中重定位。 提升轨迹的精确度不难理解,当追踪过程中拍摄环境提取特征数据后,如果匹配上之前某个位置的数据,即可知回到了上次的位置,因此可以修正轨迹构成环路。所以如果你想得到某条弯曲小路的轨迹,就拿着手机来回多跑几次,轨迹也就越准确。 通过记录运动追踪数据,可以看做设备对周围环境有了“记忆”,加载某个环境的“记忆”后,重新开启运动追踪,就能立马知道自己在这个环境中的位置,也即“重定位”。打个比方,你拿着手机在停车场把各个角落都给“学习”了,保存下来,下次打开手机,立马就知道自己在停车场什么位置。 3、深度感知(Depth Perception) 深度感知是基于前面说的TOF传感器,得到的是稀疏的点云,这里的点云只有位置坐标,如果要进行彩色3D重建,需要再结合RGB摄像头拍摄到的图像数据。 畅想 整体上看,目前的Tango技术似乎并没有达到让人满意的效果,但不可否认这是很有意义的技术方向,最基本的,Tango技术增强了设备与外部环境的交互,类似于GPS,Tango能使设备知道自己在环境中的位置,而且是室内的高精度定位,这是GPS做不到的;更重要的,Tango使设备能“采集环境的空间信息”,想象有一天,满大街都是带Tango技术的智能设备,所有设备都将采集到的环境信息上传到数据中心,从而构建出一个更精细的3D世界地图,这个地图还包含商场、车库等建筑的内部空间结构信息,甚至重建出整个地球的表面结构,那个时候,人们的生活可能会发生不可想象的变化。