1.1

引言


人类主要通过语音、姿势与动作、表情等方式实现自然的互动,手势作为身体姿态与动作中的一种,包含手指、手腕及手臂的姿态和运动。手势一直是人机交互中重要的研究对象,因为手势可以为用户提供自然、直观、灵活的人机交互方式,对于具有视觉或听觉障碍的用户来说尤其重要。

在屏幕交互时代,绝大部分的人机交互方式都局限在简单的手部动作上,例如使用电脑时拖曳鼠标和敲击键盘,以及在移动设备的触控屏上点击按钮、长按激活菜单和双指往外扩张放大图片。近些年来,随着可穿戴计算机系统的日益普及,由于输出设备往往与输入设备相互分离,基于键盘和触摸屏的解决方案已不再适用,而语音与手势接口的结合被认为是最具发展潜力的方式。当计算机被视为交流对象时,语音是最直观的信息输入方式;而手势则特别适用于空间交互、无声音交互和隐蔽式交互。手势可通过整只手臂、手部或手指完成,其中小幅度手势更适合可穿戴计算场景——大幅度手势易让用户产生疲劳,且人类天生擅长利用手指完成精细的操作控制。

在 VR 和 AR 等虚拟环境中,手势交互不再局限在平面上,系统允许用户通过空间手势向系统发送命令,例如选择、移动和删除交互对象;还可以通过其他手势表达复杂意图,例如切换交互场景、控制虚拟对象及执行虚拟动作。在工业和医疗领域,通过隔空手势作业有助于用户在安全、无菌的环境下工作。在智能座舱领域,驾驶员可通过手势直接控制系统以及车内设备,能有效减少驾驶员视线离开路面的频率,提升控制效率,降低驾驶安全风险。

手势的基本分类

根据运动维度和控制自由度,可将人手手势归纳为三大类、十二种基础类型,覆盖从静态姿态到连续运动的完整动作空间。这一分类框架是后续数据集构建与评估体系的基础。

类别手势类型典型动作描述主要应用场景
手型手势
静态姿态
A · 握拳 / 双握拳 五指自然弯曲内收,掌心闭合;双手同步握拳为双握拳 确认指令、抓取操作、开始/停止
B · 捏合 / 双捏合 拇指与食指(或多指)对捏;双手同步执行为双捏合 精准选择、缩放、点击确认(Pinch)
C · 张开 / 双张开 五指充分伸展展开;双手同步张开为双张开 停止/取消、放大、展开菜单
D · 小指捏合 拇指与小指对捏,余指自然伸展 静音切换、特定功能触发
E · 比耶(V 形) 食指与中指伸直呈 V 形,余指弯曲 拍照触发、确认/选择、自定义功能
运动手势
轨迹动作
F · 滑动 手掌或手指沿水平 / 垂直方向单次快速移动(上/下/左/右) 翻页、切歌、滚动列表、方向导航
腕部手势
关节运动
G · 外旋 前臂以纵轴为轴向外旋转(掌心朝上) 连续音量调节、模拟旋钮、视角旋转
H · 内旋 前臂以纵轴为轴向内旋转(掌心朝下) 连续控制、反向旋钮、返回操作
I · 外偏(尺偏) 手腕向小指侧弯曲(尺骨方向) 方向选择、光标偏移
J · 内偏(桡偏) 手腕向拇指侧弯曲(桡骨方向) 方向选择、光标偏移
K · 伸展(背伸) 手腕向手背方向弯曲(背伸) 上翻、确认、唤醒
L · 弯曲(掌屈) 手腕向手掌方向弯曲(掌屈) 下翻、取消、休眠

在实际系统设计中,上述基础类型常以单一手势组合序列的形式出现。可穿戴手势接口(sEMG 腕带、IMU 戒指等)尤其擅长捕捉 A–E 类手型手势(肌肉激活特征明显)和 G–L 类腕部手势(惯性运动特征稳定),而 F 类滑动手势则需结合加速度计或雷达感知。这一差异直接决定了不同传感方案在数据集构建中的采集策略与标注规范。

空中手势交互

空中手势交互是一种无需接触任何表面、不传递物质、无动量传递、移动自由度高、无损耗或磨损、不依赖触觉反馈的交互方式,能够将交互从物理中控屏上"解绑"。Qian 等人的研究发现空中手势用于车载次要任务时能将驾驶错误减少 50%,Ataya 等研究者认为空中手势具备 L3 级自动驾驶情境适用性:当驾驶员处于高认知负荷的 NDRT 中时,空中手势是唯一一个偏好度显著上升的输入模态。

虽然空中手势在"输入"端减少了视觉需求,但现有空中手势存在一系列人机交互层面挑战:

  • Midas Touch 问题:系统难以区分用户自然手部动作是否为交互指令,导致误触率高。设计者往往被迫定义非自然的"手势词典",增加了用户的记忆与学习成本。
  • "猩猩臂"效应(Gorilla Arm):系统要求用户将手臂抬起并悬停在空中,做出幅度大、表演式的动作。Hansberger 等研究者指出,在没有任何物理支撑的情况下进行空中交互会导致上肢肌肉迅速疲劳,且主观不适感随操作时间呈非线性增长。

微动手势:下一演进方向

空中手势当前存在的局限性促使研究人员探索下一个演进方向,微动手势概念浮出水面。微动手势主要利用手掌和手指的微小运动,具有低运动幅度、低人体工学负荷和高社会隐私性的特征。Perusquía-Hernández 等人证实,微动手势幅度小、速度快、更隐蔽,能与用户日常大范围手势进行有效区分,减少系统误报危险。

很多研究者认为微动手势执行基于一个物理表面或参照物,像"随身交互"在皮肤上点击、"随物交互"在方向盘上操作。Zhang 等人研究证明用户可依赖本体感觉实现闭眼操作,能有效降低认知负担并克服手臂疲劳。微动手势提供一种可以随时、即时调用,且不干扰主要任务的人机交互方式。虽然微动手势在理论上契合 L3 级驾驶场景,但其"高速度、低幅度"运动特征对传感器捕捉精度与实时性提出了严峻挑战。

手势可通过整只手臂、手部或手指完成,其中小幅度手势更适合可穿戴计算场景——这一特性决定了本研究的核心方向:以微动手势与肌电信号为主要研究对象,探索下一代自然人机交互范式。