KnowAct-GUIClaw 是一个开源的个人 GUI 助手框架,采用“知识-路由-行动-反思”循环,具备自进化记忆和技能,在 Android、iOS、HarmonyOS 和桌面平台的自动化任务中达到当前最优性能。

Stars

482

7 天增长

暂无数据

Fork 数

42

开放 Issue

0

开源协议

MIT

最近更新

2026-07-27

AI 仓库情报摘要
FR-AI / ANALYSIS

为什么值得关注

在长期任务 MobileWorld 基准上以 64.1% 的成功率超越了 GPT-5.5 和 Seed-2.0-Pro 等封闭智能体及所有开源框架,且对多种基座模型具有泛化能力(Kimi-2.6 提升 8.5%,Qwen3.5-35B-A3B 提升 16.2%)。

适合谁使用

  • GUI 自动化研究人员和从业者
  • 移动端和桌面应用测试工程师
  • 构建个人助手的人工智能智能体开发者
  • 对自主 UI 智能体感兴趣的开源社区

典型使用场景

  • 在 Android 设备上自动执行重复操作(如打开设置、开启 Wi-Fi)
  • 使用 dry-run 模式进行跨平台 GUI 测试与验证
  • 构建能通过交互学习并记住策略的个人助手
  • 从 Android 清单文件中提取快捷方式并验证以加速任务执行

项目优势

  • 在 MobileWorld 基准上取得 64.1% 的最优结果,且使用开源模型
  • 支持多平台:Android (ADB)、iOS (WebDriverAgent)、HarmonyOS (HDC)、桌面 (local)
  • 具备自进化记忆 (policy.md, gui_memory_bank.jsonl) 和技能 (skills.py),随时间持续改进
  • 灵活部署:可作为完整智能体主机 (nanobot) 或独立 CLI 工具使用,并支持适配器模式

使用前须知

  • 需要 Python 3.11+、uv、多模态视觉模型以及相应的后端工具 (ADB, WebDriverAgent 等)
  • 技能提取和记忆归纳默认关闭,建议使用 dry-run 模式避免意外更改设备
  • 记忆中的策略规则仅为模型指导而非强制执行,需配合操作系统、后端或沙箱控制实现强制限制

README 快速开始

Quick start: complete host

项目描述

Recursive Self-Improvement GUI Assistant

相关仓库与替代方案

根据分类、Topic 和编程语言匹配的相似项目。

lopopolo
精选
lopopolo GitHub avatar

harness-engineering

Harness Engineering is a methodology for improving coding agent outputs by carefully crafting the environment around them—providing curated context, tools, and executable constraints that encode an organization’s nonfunctional requirements and cumulative lessons.

AI 与机器学习AI 智能体
2,390
slvDev
精选
slvDev GitHub avatar

esp32-ai

A 28.9 million parameter language model runs on an $8 ESP32-S3 microcontroller entirely on-device, generating simple stories at about 9.5 tokens per second.

AI 与机器学习大语言模型
1,960
littledivy
精选
littledivy GitHub avatar

mimic

mimic captures traffic from any iOS or web app and automatically generates a Python client library that lets you call the app's API like a regular library.

AI 与机器学习
1,482