Open Computer Use · 给 AI 一双手

01 · What

一个 MCP 服务，接通所有 AI 代理

2026 年 4 月，OpenAI 的 Codex Computer Use 展示了「非侵入式 CUA」的可能性—— 不靠虚拟机、不靠截图猜坐标，而是直接读操作系统的辅助功能（Accessibility）树。作者 iFurySt 决定把它开源复刻，于是有了这个项目。

你的 Agent

Codex / Claude Code

Gemini CLI · opencode · 任意 MCP 客户端

──▶

open-computer-use

MCP stdio server · 本地运行

──▶

你的桌面

macOS · Windows · Linux 真实应用

接入方式：command: "open-computer-use"，args: ["mcp"] — 完事。

🖱️

非侵入式操控

基于系统 Accessibility 树定位元素，读得懂界面、点得准控件，不需要虚拟化桌面。

🔌

MCP 标准协议

不是某个 App 的私有插件，任何支持 MCP 的 Agent 一行配置即可接入。

🛡️

默认不抢你的鼠标

点击优先走进程内定向事件，移动真实光标的全局模式需要显式开启安全门。

🧩

三平台同协议面

macOS 用 Swift，Windows 用 Go + PowerShell，Linux 用 Go + Python，9 个工具签名完全一致。

02 · Tool Surface

9 个工具，一套协议面

工具清单刻意对齐官方 Codex computer-use 的 9 个 tool，让 Agent 的提示词和工具面零偏差。先看状态、再点元素、最后收尾，跟人操作电脑的节奏一样。

open-computer-use · 9 tools · JSON-RPC over stdio

list_apps列出运行中 + 近 14 天用过的应用读

get_app_state抓取窗口截图 + Accessibility 元素树（默认 1200 节点 / 64 层）读

click点击元素或坐标，支持 element_index 精确定位写

perform_secondary_action执行元素暴露的辅助动作（如右键菜单项）写

scroll滚动页面，支持小数页数（对齐官方 schema）写

drag从 A 拖到 B 的坐标级拖拽写

type_text输入文本：按 Unicode 字素簇聚合，中文标点 / emoji 不乱序写

press_key按键：BackSpace / Page_Up / F1–F12 / KP_* 全覆盖写

set_value直接写可编辑控件的值（AXValue 可设置时才写）写

$ ocu call get_app_state --args '{"app":"TextEdit"}'

03 · Runtimes

一套协议，三个原生实现

每个平台都用它自己最擅长的辅助功能栈，而不是包一层 Electron 模拟器。这也是项目最硬核的地方：三套 runtime，行为对齐到同一个协议面。

Open Computer Use.app

macOS

Swift · AppKit · Accessibility · ScreenCaptureKit

主线平台，体验最完整：视觉光标、权限引导、Dock 隐形 agent
CLI 通过 Unix socket 代理到 .app，真实自动化跑在授权身份下
要求 macOS 14.0+，首次需授权辅助功能与屏幕录制

GA · 主线

open-computer-use.exe

Windows

Go · PowerShell · UI Automation · Win32 消息

Go 二进制内嵌 PowerShell bridge，UIA pattern 优先
控件不暴露 pattern 时回退 PostMessage / SendMessage
默认不启动新应用、不抢焦点，均有显式环境变量开关

实验性

open-computer-use (linux)

Linux

Go · Python · AT-SPI2 / D-Bus

Go 二进制内嵌 Python bridge，走 GNOME AT-SPI2 可访问性接口
Wayland 下合成事件为 best-effort，截图黑屏会自动检测并省略
自动发现登录桌面会话的 DBus / display 环境

实验性

04 · Deep Dive

藏在细节里的功夫

读源码才看得到的部分——这个项目最值得佩服的地方。

A · CURSOR MOTION
逆向工程官方光标运动从官方二进制里恢复出 20 条候选路径与评分模型，重建了 Bezier + 弹簧动力学：移动时长对齐 343/240 ≈ 1.43s，spring 参数 response=1.4、damping=0.9、dt=1/240。
spring 1.4 / 0.9dt 1/24020 条路径
B · SAFETY
非侵入是默认值点击优先走 CGEvent.postToPid 进程定向事件，不碰你的真实鼠标；全局 HID 事件要 OPEN_COMPUTER_USE_ALLOW_GLOBAL_POINTER_FALLBACKS=1 才放行。密码管理器有内置 denylist。
postToPidclick_method=auto
C · CJK & ELECTRON
为中文输入专门调过type_text 按 Unicode 字素簇聚合投递，中文标点、emoji、组合字符不会乱序；飞书 / Electron 富文本输入框优先 AXValue 直写，避免后台键盘事件丢失。
grapheme clusterAXValue fallback
D · TREE BUDGET
元素树不爆内存默认 1200 节点 / 64 层深度，压缩无语义容器、过滤滚动噪音，把可点击的按钮留在预算内；深页面可显式加大预算。
max_tree_nodestext_limit
E · TURN BOUNDARY
turn-ended 收尾协议每个任务轮次结束时通过 notifications/turn-ended 清理视觉光标，接上 Codex legacy notify 的 after-agent payload，光标不会残留桌面。
turn-ended
F · METHODOLOGY
几乎 100% AI 生成项目用作者自研的 harness-template 方法论拉起，是「AI 全栈生成复杂工程」的实践样本，作者为此专门写了方法论文章。
harness-template

05 · Quick Start

30 秒上手

装完授权，一行命令接进你的 Agent。

安装npm

$ npm i -g open-computer-use   # 短命令别名 ocu
$ open-computer-use                # macOS 首次运行：授权辅助功能 + 屏幕录制

一键接入 AgentMCP

$ open-computer-use install-codex-mcp      # Codex → ~/.codex/config.toml
$ open-computer-use install-claude-mcp     # Claude Code → ~/.claude.json
$ open-computer-use install-gemini-mcp     # Gemini CLI → ./.gemini/settings.json
$ open-computer-use install-opencode-mcp   # opencode → ~/.config/opencode/opencode.json