7 月 29 日,谷歌(Google)公布了Pixel 4系列手机的宣传视频。视频中显示,Google此次的新机将会有隔空手势操作和Face ID两个新功能。

谷歌表示Pixel 4的Face ID可实现多角度解锁,支持Face ID支付。

手势操控目前支持切换歌曲、来电静音、来电接听等功能的操作。
GIF22.gif

谷歌还公布了新机额头部分的设计:两个用于面部解锁红外相机、一个环境光/距离传感器、一个Soli雷达芯片、一个点投影仪和一个面部解锁照明灯。


这是第一款配备雷达芯片 Soli的移动设备

Soli是什么Soli是一项运用微型雷达监测空中手势动作的新型传感技术。这种特殊设计的雷达传感器可以追踪亚毫米精准度的高速运动,然后将雷达信号进行各种处理之后,识别成一系列通用的交互手势,方便控制各种可穿戴和微型设备。


Soli的原理与实现目前Soli项目公开的技术细节非常少,目前我们知道的是它可能采取了单发射,多接收的天线设计。在天线前面的障碍物会反射电波回到雷达天线,而反射信号的能量,延时以及多普勒效应则对应了物体的各项特征,包括物体的大小、形状、材料、距离以及速度。
谷歌在介绍Soli的时候专门强调Soli不像传统的雷达传感器,并没有需要很大的带宽和空间解析度。事实上Soli的解析度比手指可以实现的精细动作更低,所以对手指运动的捕捉需要分析反射信号在时间上的动态变化,这也对手势识别的算法提了更高要求。
从原始的雷达信号到最终的手势控制需要经历下面几步:
1、捕捉原始反射信号
2、将接收的时序信号处理和转换到Range Doppler Map
3、特征提取,识别,定位与追踪
4、从提取的特征实现手势识别
Soli SDK为第三方开发者提供了上面每一步的程序接口,同时兼容不同类型的雷达,支持从每秒100到10000的采样帧数。
Soli的雷达采用了调频连续波Frequency Modulated Continuous Wave (FMCW)的调制格式。这项技术目前已经用在汽车自动巡航等应用,可以同时实现对物体距离和速度的感应。下面我们结合NVDIA最近发表的一篇论文(Short-range FMCW monopulse radar for hand-gesture sensing) 来解释下这项技术的原理:
FMCW这种格式是由周期性锯齿波函数调制。雷达发射的信号从物体反射回后产生了时间与频率上的差异。其中时间的延时τ是电波往返的时间,频率上的变化fd则是物体运动导致的多普勒效应。

我们把接收到的信号跟原信号相乘,然后在模拟信号领域进行低通过滤,这样就可以产生明显的beat信号。然后把二维的时序信号各自做FFT转换,减去静止不变的背景环境,就可以获得所需的Range Doppler Map (RDM):

RDM的每一格都对应着目标的目前的距离和运动速度。因为不同的物体可以在不同距离或者在相似的距离但是各自有不同的速度,RDM便实现了同时追踪多个物体的效果。比如下图是一个正在移动的手掌,每一个绿框可以是被识别出来的手指。

如果我们有多个接收天线,通过比较每个天线之间RDM的相位差,我们可以计算出每个物体的到达角度(Angle of Arrival),配合上之前算出的距离,这样就实现了对物体的空间定位。如果跟传统的深度感应器进行校准之后,则可以获得三维深度图。

我们可以把四维的矢量信号(三维空间位置加上径向速度)映射到一个手掌模型上,导入后端的手势学习模型中进行识别。
这是五个不同用户进行四种手势产生的RDM,可以明显看出手势之间的差异是明显的,而不同用户在进行同一手势时是有很多相似点的。

所以FMCW这种格式相比其他雷达有以下这些优点:
1、同时计算速度与距离,距离信息准确度高。
2、Beat频率不高,对应采样率也低,降低了模拟电路与数字信号处理的难度,整个算法可以嵌入在低功耗芯片上实现。
3、最短测量距离跟信号波长相关,所以物体可以离天线非常近,甚至可以贴到天线上。
由此可见,Soli采用的这种FMCW技术是它实现微型化雷达和极低功耗的基础。谷歌网站上展示的2014年的早期产品原型还是一个巨大的机盒,然后仅仅一年多之后就把系统缩小到了不到一平方厘米的面积,其中包含了多种天线和感应器。