Projects | 增强现实环境下的平滑追踪眼控交互研究

项目类型

增强现实

人机交互

Hololens2

Unity3D

Blender

Figma

SPSS

项目周期

【2023.09 - 2024.04】

Link

Created

Mar 7, 2024 01:32 PM

摘要

结合ZF项目作为自己的毕业课题，主要探究增强现实环境下（Hololens2）面向遮挡目标选择任务的平滑追踪眼控交互研究

项目背景

AR设备和技术的迅速发展为人机交互领域带来了全新的机遇与可能性。

AR环境的复杂性主要源自于虚拟与真实世界的相互叠加与交叉，这种情况导致场景中物体可能出现多层次、多方向的遮挡关系。虽然 AR 现有交互技术普适性、灵活性和实用性强，但在处理小目标、远距离或被其他物体遮挡时，现有的交互技术通常受到较大影响。因此，在复杂3D场景中，目标选择技术仍然存在一定挑战。

AR/VR头显设备中的交互技术涵盖了手持控制器、手势识别、语音识别、眼动追踪和脑机接口等多种方式。在这些技术中，眼动追踪作为一种重要的交互方式备受关注、特点在于其快速的移动选择、强大的隐私保护、较低的体力消耗、便捷和易学性等不可替代的优势。

对应于人眼的四种基本眼部动作（注视、扫视、眨眼和追随运动），眼控技术可以分为注视（Fixation）交互、眼势（Gaze Gesture）交互、眨眼（Eye Blink）交互和平滑追踪（Smooth Pursuit）。注视、眨眼和平滑追踪常用于目标选择任务。然而在AR环境中，注视和眨眼需要校准，且注视的精确度仍无法满足精确交互的需求。此外，存在着Midas Touch问题，即用户可能仅仅通过观察就意外选择了错误的对象。相比之下，平滑追踪由于其特殊的交互机制，在远距离和小目标选择方面展现出更高的精确度和效率，在复杂3D场景下进行目标选择有着巨大的潜力。