多模输入开发概述

HarmonyOS旨在为开发者提供NUI（Natural User Interface）的交互方式。有别于传统操作系统的输入划分方式，在HarmonyOS上，我们将多种维度的输入整合在一起，开发者可以借助应用程序框架、系统自带的UI组件或API接口轻松地实现具有多维、自然交互特点的应用程序。

具体来说，HarmonyOS目前不仅支持传统的输入交互方式，例如按键、触控、键盘、鼠标等，同时提供多模输入融合框架，可以支持语音等新型的输入交互方式。

约束与限制

• 多模输入事件在不同形态产品支持的情况如下表。

  | 多模输入事件 | 手机 | 平板 | 智慧屏 | 车机 | 智能穿戴 | | ------------ | -------- | -------- | -------- | ------ | -------- | | 按键输入事件 | 支持 | 支持 | 支持 | 支持 | 支持 | | 触屏输入事件 | 支持 | 支持 | 支持 | 支持 | 支持 | | 鼠标事件 | 部分支持 | 部分支持 | 部分支持 | 不支持 | 不支持 | | 语音事件 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 |

  说明

  手机、平板、智慧屏产品对鼠标事件只支持鼠标左键事件，鼠标右键以及滚轮等事件暂不支持。

• 目前多模输入不支持注入事件（即开发者无法模拟注入事件验证应用程序功能），仅支持KeyEvent事件的生成。

• 使用多模输入相关功能需要获取多模输入权限：ohos.permission.MULTIMODAL_INTERACTIVE。
• 多模输入子系统提供多模态输入的融合框架，所融合的输入能力需要对接到输入能力感知模块上。