claw-ui-s

OpenClaw 桌面自动化技能 — 单模型视觉推理 + 直接执行
OpenClaw skill for desktop automation — single-model, no grounding server needed

中文说明 • English • OpenClaw Skill • DirectACI • Contributing

---

中文说明

这是什么

claw-ui-s 是基于 [Agent-S](https://github.com/simular-ai/Agent-S) S3 的社区扩展版本，核心贡献有两项：

1. **OpenClaw 技能（`agent-s-cua`）** — 将桌面 GUI 自动化能力打包成 OpenClaw 平台的标准技能，让任何 OpenClaw Bot 都能操控桌面应用。

2. **DirectACI** — 单模型执行模式，用一个多模态大模型（如 kimi-k2.5）同时完成"视觉推理"和"像素坐标输出"，无需再部署独立的 Grounding 服务。

原版两步走:  截图 --> 推理模型 --> "点击发送按钮" --> Grounding API --> 坐标 --> pyautogui
DirectACI:  截图 --> kimi-k2.5 ----------------------------------------> 坐标 --> pyautogui

快速上手

**安装**

git clone https://github.com/jessepwj/claw-ui-s
cd Agent-S
pip install -e .

**设置 API Key**

# DashScope（阿里云，国内可用）
export OPENAI_API_KEY=sk-...
export OPENAI_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1

**运行任务**

agent_s \
  --provider openai \
  --model kimi-k2.5 \
  --model_url https://dashscope.aliyuncs.com/compatible-mode/v1 \
  --model_api_key $OPENAI_API_KEY \
  --direct \
  --task "打开微信，找到联系人'张三'，发送消息：在吗"

**使用 OpenClaw 技能**

将 `openclaw-skill/` 复制到 OpenClaw 技能目录，重命名为 `agent-s-cua