手势识别的最终目的是将物理动作转化为有意义的交互指令。本节基于对人机交互领域主要手势研究的系统归纳,梳理手势在功能层面的语义分类体系,并分析各类手势在实际系统中的采纳规律。
功能分类体系
按照交互意图,手势语义可归纳为六个功能类别,涵盖 55 个操作条目。
| 类别 | 条目数 | 典型操作 | 代表手势示例 |
|---|---|---|---|
| 变换 | 6 | 平移、旋转、缩放、移动光标 | 两指合拢(缩放)、旋转抓握手(旋转) |
| 导航 | 9 | 平移/滚动、下一项、上一项、视角控制 | 手向右滑(下一项)、双手分开(缩放) |
| 确认 | 2 | 接受/确认、拒绝 | 大拇指朝上(确认)、X 符号(拒绝) |
| 选择 | 3 | 单选、多选、取消选择 | 手握成拳(单选)、张开手(取消) |
| 调整设置 | 2 | 增大、减小 | 手向上移(增大)、手向下移(减小) |
| 动作 | 33 | 播放、停止、删除、静音、拍照等 | 手掌朝外(停止)、双手围成方框(拍照) |
采纳率分析
各条目附有两项量化指标:出现频次(#)表示该操作在文献数据集中出现的次数,采纳率(AR)表示实际被系统采用的比例。
| 操作 | 类别 | 出现频次 | 采纳率 |
|---|---|---|---|
| 缩放(变换) | 变换 | 27 | 0.78 |
| 旋转 | 变换 | 56 | 0.54 |
| 下一项 | 导航 | 43 | 0.52 |
| 平移/滚动 | 导航 | 31 | 0.50 |
| 平移(变换) | 变换 | 59 | 0.45 |
| 编组 / 取消编组 | 动作 | 3 | 1.00 |
| 播放 | 动作 | 23 | 0.12 |
| 停止 | 动作 | 39 | 0.12 |
变换类手势采纳率最高且最稳定。缩放(AR=0.78)、旋转(AR=0.54)在各类系统中已形成事实标准。
动作类手势两极分化明显。编组等操作虽出现频次极低但一旦出现即被完整采纳(AR=1.00);而播放、停止等高频操作采纳率极低,说明尚无公认的标准手势形式。
对肌电手势设计的启示
高度兼容的类别:变换类(平移、旋转、缩放)和调整设置类所对应的手势均有清晰的肌肉激活特征,是 sEMG 识别的优势区间,也是 Ninapro 系列中功能性抓握和腕部运动的主要语义来源。
需要重新定义的类别:确认类和动作类中大量依赖手势轨迹或空间朝向的操作,在肌电模态下难以直接对应——sEMG 感知的是肌肉收缩模式而非三维空间姿态。
采纳率的参照价值:设计肌电手势库时,优先覆盖高采纳率操作(缩放、旋转、变换类)可保证与现有交互规范的兼容性;对低采纳率的动作类操作,则有更大的重新设计空间。