Oculus分享:为挑战性环境优化6DoF控制器追踪

  • 时间:
  • 浏览:3

(映维网 2019年12月24日)映维网曾在九月和十一月分享了关于OculusConstellation追踪系统的相关细节,其中负责AR/VR设备输入追踪的Facebook工程经理安德鲁·梅利姆(Andrew Melim)撰文介绍了当当让我门 是如保用基于Constellation追踪的控制器来提高交互保真度,以及在最近版本更新中所采用的最新LED匹配方案。日前,安德鲁·梅利姆再次撰文的介绍了当当让我门 为进一步优化和强化Oculus Insight控制器追踪系统而付出的努力。下面是映维网的具体派发:科技快报

延伸阅读:深入探索Oculus Insight如保提高追踪保真度,确保内向外追踪系统性能科技快报

延伸阅读:Oculus揭秘Touch控制器追踪技术:LED 匹配科技快报

Facebook进一步介绍关于最近用以优化控制器追踪性能的版本更新,尤其是针对具有挑战性的追踪环境,如涵盖圣诞树或假日装饰灯具的空间。原困Facebook的追踪系统是基于检测和几何匹配小簇红外光,也不假日季期间将呈现重大的挑战,原困它要在涵盖数百个光点blob的背景下正确追踪控制器,而系统原困会将其误认为是控制器。科技快报

1. 追踪挑战科技快报

当控制器指在圣诞树前时,Insight追踪系统所感知的画面将如下所示。右侧的黄点是系统检测到的所有潜在控制器LED。如你所见,无论是来自圣诞树,装饰吊灯,还是这一 原困指在的灯串,内控 光源一定会给系统定位控制器的LED带来挑战。科技快报

图中的这一 光源对追踪算法提出了一定的挑战:科技快报

更多的光点blob会原困分割和匹配的计算时间增加。科技快报

若无关于控制器在上一帧中的位置信息,原困控制器介于装饰灯具的离群值范围内,则系统几乎不原困计算姿势。科技快报

就算指在先前的信息,即便是单个错误的LED一定会造成错误地匹配,从而原困追踪失败。科技快报

原困Quest的严格计算预算,计算时间的任何增加都原困造成camera的掉帧。科技快报

面对上述挑战,在假日装饰灯付进 的环境中进行控制器追踪非常困难,有之前 除非用户关闭灯具或将其移至这一 房间,有之前 原困会原困错误。但Facebook希望当当让我门 什么就让 都我越来越多 不会 在俺家 享Quest和Rift S的乐趣,也不Facebook专注于优化追踪系统。科技快报

2. 补救方案科技快报

Facebook构建了有一种主要方法来补救你这一 大问提的不同方面:科技快报

首先,开发了有一种不不会 检测环境中的固定3D灯源,并使用其3D位置来帮助拒绝你这一 光点blob的全新算法。映射内控 点的过程这一于于Insight追踪眼前 的系统。科技快报

要为你这一 固定的离群点创建精确的映射,不不会 系统计算它们的基本几何形态学 并对其在3D空间中的位置进行三角测量。系统将在游玩过程建立其追踪的标记列表。你这一 标记不仅存储离群点的位置,同时存储称为协方差的不选泽性值。你这一 不选泽性不不会 帮助提高系统当标记为固定时的判断精度。一旦在同一位置多次看了相同的标记,系统就会予以确认并在追踪过程忽略相关的光点blob。科技快报

在下面的并排图像中,让他看了新算法(左侧)识别出粉红色标记和绿色标记。其中,粉红色为圣诞树灯具的光点blob,而绿色则为控制器LED的光点blob。科技快报

一旦绘制了固定标记,系统就会将它们投影到camera视图,从而获取其在每一帧中的像素位置。在所述位置检测到的光点blob(通过特定阈值内的误差度量来测量)我越来越多 用于匹配。进行删减后,系统将获得一另另两个 非常有原困是控制器blob的非固定blob索引列表。有之前 ,仅追踪固定的标记不足英文以确保可靠的追踪。在最具挑战性的环境中,当当让我门 希望系统在补救就让 先剔除明显不正确的光源。科技快报

也不,Facebook通过内控 测试分析缘何会指在追踪不匹配。Facebook发现通常的情况报告是,原困姿态匹配,不匹配的控制器blob尺寸会错误,如假定姿态接近时blob太小。综上所述,图像中的显式blob尺寸基本可根据以下因素进行预测:科技快报

LED与摄像头的距离科技快报

入射到LED的入射角科技快报

图像blob到图像中心的距离科技快报

图像Blob椭圆在图像空间中的方向科技快报

考虑到你这一 关系,Facebook尝试了不同的方法来将上述输入信号建模为输出。Facebook发现原困塑料的折射效应,几何建模相当不准确,而机器学习方法(尤其是小型神经网络)能带来最高的精确度。科技快报

Facebook利用Caffe2训练了一另另两个 极小且针对性极强的CNN卷积神经网络,从而验证明显越来越来越多或太小而无法成为控制器blob的blob。Facebook对特定的内控 派发数据集进行了训练,并发现这与映射标记结合时我越来越多 不会 明显减少离群值数量的有效方法。科技快报

3. 结果科技快报

通过你这一 优化,追踪系统的性能在充满挑战的环境中(如假日季期间常见的环境)有了显著改善。最大的改进是显著减少了数据丢失的数量,并几乎消除了在密集内控 照明情况报告下不正确的LED匹配。当当让我门 发现这我越来越多 不会 改善用户体验,同时希望Quest和Rift S用户我越来越多 不会 全年无缝地享受VR的乐趣。科技快报