概念定义
多模态指令理解是处理多种模态所承载交互指令的能力,核心是识别并理解指令内容,使交互功能能够响应不同模态的指令输入。
工作方式
用户通过不同模态表达指令后,交互功能理解相应输入,并将其作为后续交互的内容基础。
相关交互能力
多模态指令理解可与连续对话、方言识别共同构成交互能力。三者分别对应不同的交互处理对象:连续对话处理前后相接的交流内容,方言识别面向方言表达,多模态指令理解处理通过不同模态表达的指令。
应用场景
该术语适用于支持多种指令表达模态的交互功能描述,也可用于说明同时具备连续对话、方言识别与多模态指令理解的交互能力。