麻省理工学院的研究人员制造了一种增强现实耳机,可以让佩戴者看到X光。
该耳机结合了计算机视觉和无线感知功能,可以自动定位隐藏在视线之外的特定物品,可能是在盒子里或是堆下,然后引导用户取回。
该系统利用射频(RF)信号,该信号可以穿过常见的材料,如纸板箱、塑料容器或木制分隔器,以找到已贴上RFID标签的隐藏物品,该标签反映了射频天线发送的信号。
当佩戴者穿过房间时,耳机会引导佩戴者朝向物品所在的位置,这在增强现实(AR)界面中显示为一个透明球体。一旦物品在用户手中,头戴式耳机X-AR就会验证他们是否已经拾取了正确的物体。
当研究人员在类似仓库的环境中测试X-AR时,耳机可以将隐藏的物品平均定位在9.8厘米以内。它验证了用户以96%的准确率选择了正确的项目。
X-AR可以帮助电子商务仓库工作人员在杂乱的货架上快速找到物品或将其埋在箱子中,或者在同一个箱子中有许多相似的物品时识别订单的确切物品。它也可以用于制造工厂,帮助技术人员找到正确的零件来组装产品。
Fadel Adib说:“我们这个项目的整个目标是建立一个增强现实系统,让你看到看不见的东西,这样做,它可以引导你走向它们,并真正让你以以前不可能的方式看到物理世界。”
他是电气工程和计算机科学系副教授、媒体实验室信号动力学小组主任,也是X-AR论文的资深作者。
增强AR耳机
为了制造一种具有X射线视觉的增强现实耳机,研究人员首先必须为现有的耳机配备一个可以与RFID标签物品通信的天线。大多数RFID定位系统使用多个相距数米的天线,但研究人员需要一个能够实现足够高带宽以与标签通信的轻型天线。
艾德说:“一个巨大的挑战是设计一个可以安装在耳机上的天线,而不覆盖任何摄像头或妨碍其操作。这非常重要,因为我们需要使用面罩上的所有规格。”
该团队采用了一种简单、轻便的环形天线,并通过缩小天线(逐渐改变其宽度)和增加间隙来进行实验,这两种技术都可以提高带宽。由于天线通常在户外工作,研究人员对其进行了优化,以便在连接到耳机的面罩时发送和接收信号。
一旦团队建立了一个有效的天线,他们就专注于使用它来定位带有RFID标签的物品。
他们利用了一种被称为合成孔径雷达(SAR)的技术,这种技术类似于飞机对地面物体的成像。当用户在房间内移动时,X-AR用天线从不同的有利位置进行测量,然后将这些测量结果组合起来。以这种方式,它就像一个天线阵列,其中来自多个天线的测量值被组合以定位设备。
X-AR利用头戴式耳机的自动跟踪功能中的视觉数据来构建环境地图,并确定其在该环境中的位置。当用户行走时,它计算每个位置的RFID标签的概率。在标签的准确位置,概率最高,因此它使用这些信息来锁定隐藏的对象。
多德说:“当我们设计这个系统时,这是一个挑战,但我们在实验中发现,它实际上可以很好地适应人类的自然运动。因为人类经常走动,所以它可以让我们从许多不同的位置进行测量,并准确地定位一个物体。”
一旦X-AR定位了物品,用户拿起它,耳机需要验证用户是否抓住了正确的物体。但现在用户站着不动,耳机天线也不动,因此无法使用SAR定位标签。
然而,当用户拿起物品时,RFID标签会随之移动。X-AR可以测量RFID标签的运动,并利用耳机的手部跟踪功能来定位用户手中的物品。然后它检查标签是否发送了正确的RF信号,以验证它是正确的对象。
研究人员利用耳机的全息可视化功能,以简单的方式向用户显示这些信息。一旦用户戴上耳机,他们就使用菜单从标记项目的数据库中选择一个对象。对象定位后,它被一个透明球体包围,这样用户就可以看到它在房间中的位置。然后,该设备以地板上的足迹的形式将轨迹投影到该项目,该轨迹可以在用户行走时动态更新。
测试耳机
为了测试X-AR,研究人员创建了一个模拟仓库,用纸板箱和塑料箱填充货架,并在里面放置带有RFID标签的物品。
他们发现,X-AR可以以小于10厘米的误差引导用户接近目标物品——这意味着平均而言,该物品的位置距离X-AR引导用户的位置不到10厘米。研究人员测试的基线方法的中位误差为25至35厘米。
他们还发现,它正确地验证了用户98.9%的时间选择了正确的项目。这意味着X-AR能够将拾取误差减少98.9%。当物品还在盒子里时,准确率甚至达到91.9%。
Boroushaki说:“系统不需要通过视觉看到物品来验证你是否选择了正确的物品。如果你有10部不同的手机,它们的包装相似,你可能无法分辨它们之间的区别,但它可以指导你仍然选择正确的手机。”
既然他们已经证明了X-AR的成功,研究人员计划探索如何使用不同的传感方式,如WiFi、毫米波技术或太赫兹波,来增强其可视化和交互能力。他们还可以增强天线,使其射程超过3米,并将系统扩展到多个协调耳机使用。
阿迪布说:“因为现在还没有这样的系统,所以我们必须想办法从头到尾构建一种全新的系统。事实上,我们提出的是一个框架。有很多技术贡献,但它也是未来如何设计具有X射线视觉的AR耳机的蓝图。”