当前位置:首页> 圈子> AR时代

【AR时代】AR自然手势交互,很真实很酷炫!

来源: 时间:

视频里实现的是裸手自然手势交互,厉害之处在于他不是依靠Leap motion或者深度摄像头实现的,不涉及任何硬件辅助,纯靠视觉算法实现,在普通手机上就可以运行。而且,这项能力已经开放SDK,有兴趣的朋友可以去下载体验。

这家公司叫ManoMotion,他们提供了一种手势识别框架,可以为增强现实应用提供精确的手势控制能力。而这项能力只需要2D摄像头就可以在3D空间中实现精确的手部跟踪和识别,可以在任何设备上使用,包括Android和iOS系统的手机、Gear VR设备等。

他们已经开放了SDK,包括Native和Unity的SDK,目前是申请使用。笔者尝试申请,也很快得到回复,但他们比较关注使用场景及目的,所以到目前为止并没有给到SDK。有兴趣的朋友可以试一下,感觉他们还是很关注落地,如果仅仅是尝鲜,不一定能通过。

接下来介绍一下这项能力,做过leap motion开发的人应该比较了解,leap motion很容易实现这类功能。通过红外摄像头进行手部姿态检测和跟踪,应用在AR或VR场景中实现手势识别及交互,示例如下:

而ManoMotion提供的手势交互能力完全由算法实现,不需要任何硬件辅助。关于AR中的手势交互应用,目前来说还都是比较简单的手别触发以及跟踪特效,例如曾经特别火的手势控雨,就是通过识别手掌手势,然后跟踪手势状态实现的。

在这之前笔者了解到的基于单目摄像头的自然手势交互技术,几乎没有可以实现裸手与模型交互的,了解这项技术后不得不赞叹地说,真是amazing!!!

但是视频里实现的手势交互,应用在移动AR中存在很大缺陷:

首先,移动设备需要手持操作,如果想要通过这种自然手势交互,那么需要释放一只手进行识别交互,体验上存在一定问题;

其次对于移动AR来说,当前最实用的方式还是触屏手势交互,通过触屏操作可以轻易完成模型拾取、点击、缩放、旋转、平移等主要交互,而自然手势交互需要考虑识别准确率、稳定性等等一系列因素,对于任务型交互来说很不适用。

那这项技术没有用武之地了吗?

不,还有一个很好的应用场景,那就是AR/MR眼镜。很多朋友应该都玩过HoloLens,知道HoloLens也支持自然手势交互,包括bloom手势(召唤/返回主菜单)、air-tap手势(点击功能,与Gaze配合使用),示例如下:

这是两个动态手势识别,触发交互指令的示例。其中air-tap需要配合Gaze注视点先选中,然后执行点击效果。当然HoloLens中也支持手势拖拽、缩放这样一些交互方式,但是笔者试过超级难用,根本不能作为主任务流程的交互方式。

曾和HoloLens的研发人员有过交流,他们也承认当前自然手势交互的不足,所以更建议用户使用Gaze及语音交互。而ManoMotion提供的这套手势交互框架,如果应用在AR或MR眼镜中,感觉可以发挥出更大的价值:

释放双手,让手可以更自然地出现在摄像头前,无论是手势识别还是与模型交互,可以更稳健交互;

更大视角,手机屏幕尺寸有限,应用在AR眼镜中,即使当前比较小的40寸的虚拟屏幕也足够,可以更精准地实现手部和场景模型的交互;

虚实互动,AR/MR眼镜更关注场景,虚拟和现实可以融合得更好,而手势作为一种新的输入通道,可以一定程度上弥补触屏手势缺失造成交互效率的降低,同时用户可以更自然地实现虚实互动。

目前ManoMotion的SDK还没有支持AR/MR眼镜设备,但笔者相信这是必然的。充满希望的自然手势交互技术,终将成为AR/MR眼镜的必备能力。

热门板块