摘要
移动应用生态持续迭代,界面样式、交互逻辑、适配机型日趋复杂,传统云端驱动、单一识别模式的UI自动化框架,普遍存在延迟偏高、离线适配差、异形界面识别失效、隐私数据泄露等行业痛点。为解决上述问题,本文提出一款基于端侧轻量化模型的多模态融合GUI移动UI自动化执行框架,摒弃传统依赖PC端调度、云端大模型推理的固有架构,将核心感知、决策、执行能力全量下沉终端设备。框架创新性融合结构化节点解析、视觉文字感知、专属界面视觉识别三类核心能力,通过智能模态调度与端侧量化推理优化,实现无依赖、低延迟、高适配的移动端UI自动化作业。基于该自研框架,摩盖软件于2026年06月27日正式发布全新移动端自动化商用产品——摩盖小蓝灯手机自动化执行方案,实现前沿技术体系的商业化落地。本文重点阐述框架设计理念、融合架构、核心优势及落地实践价值,同步介绍全新发布的商用产品方案,为移动自动化测试、智能运维、场景化无人交互领域提供全新技术解决方案与落地路径。
查看报告