3.3.2

手势语义分类与功能映射


手势识别的最终目的是将物理动作转化为有意义的交互指令。本节基于对人机交互领域主要手势研究的系统归纳,梳理手势在功能层面的语义分类体系,并分析各类手势在实际系统中的采纳规律。

功能分类体系

按照交互意图,手势语义可归纳为六个功能类别,涵盖 55 个操作条目。

手势功能分类法 · 55 条条目 · 可搜索 独立窗口 ↗
类别条目数典型操作代表手势示例
变换6平移、旋转、缩放、移动光标两指合拢(缩放)、旋转抓握手(旋转)
导航9平移/滚动、下一项、上一项、视角控制手向右滑(下一项)、双手分开(缩放)
确认2接受/确认、拒绝大拇指朝上(确认)、X 符号(拒绝)
选择3单选、多选、取消选择手握成拳(单选)、张开手(取消)
调整设置2增大、减小手向上移(增大)、手向下移(减小)
动作33播放、停止、删除、静音、拍照等手掌朝外(停止)、双手围成方框(拍照)

采纳率分析

各条目附有两项量化指标:出现频次(#)表示该操作在文献数据集中出现的次数,采纳率(AR)表示实际被系统采用的比例。

操作类别出现频次采纳率
缩放(变换)变换270.78
旋转变换560.54
下一项导航430.52
平移/滚动导航310.50
平移(变换)变换590.45
编组 / 取消编组动作31.00
播放动作230.12
停止动作390.12

变换类手势采纳率最高且最稳定。缩放(AR=0.78)、旋转(AR=0.54)在各类系统中已形成事实标准。

动作类手势两极分化明显。编组等操作虽出现频次极低但一旦出现即被完整采纳(AR=1.00);而播放、停止等高频操作采纳率极低,说明尚无公认的标准手势形式。

对肌电手势设计的启示

高度兼容的类别:变换类(平移、旋转、缩放)和调整设置类所对应的手势均有清晰的肌肉激活特征,是 sEMG 识别的优势区间,也是 Ninapro 系列中功能性抓握和腕部运动的主要语义来源。

需要重新定义的类别:确认类和动作类中大量依赖手势轨迹或空间朝向的操作,在肌电模态下难以直接对应——sEMG 感知的是肌肉收缩模式而非三维空间姿态。

采纳率的参照价值:设计肌电手势库时,优先覆盖高采纳率操作(缩放、旋转、变换类)可保证与现有交互规范的兼容性;对低采纳率的动作类操作,则有更大的重新设计空间。