计算机使用（macOS）

Hermes Agent 可以在后台驱动你的 Mac 桌面——点击、输入、滚动、拖拽。你的光标不会移动，键盘焦点不会改变，macOS 也不会切换空间（Spaces）。你和代理可以在同一台机器上协同工作。

与大多数计算机使用集成不同，此功能适用于任何具备工具调用能力的模型——Claude、GPT、Gemini，或本地 vLLM 端点上的开源模型。无需担心 Anthropic 原生的 schema。

工作原理

computer_use 工具集通过 stdio 与 cua-driver 进行 MCP 通信，后者是一个 macOS 驱动程序，利用 SkyLight 私有 SPI（SLEventPostToPid、SLPSPostEventRecordTo）和 _AXObserverAddNotificationAndCheckRemote 辅助功能 SPI 来：

直接向目标进程发布合成事件——无需 HID 事件 taps，无需光标扭曲。
在不提升窗口的情况下翻转 AppKit 激活状态——无需切换空间。
在窗口被遮挡时保持 Chromium/Electron 辅助功能树活跃。

这种组合正是 OpenAI 的 Codex “后台计算机使用”所采用的方案。cua-driver 是其开源等效实现。

启用

选择最方便的路径——两者都运行相同的上游安装程序：

选项 1：专用 CLI 命令（最直接）。

hermes computer-use install

这将获取并运行上游 cua-driver 安装程序： curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.sh。使用 hermes computer-use status 验证安装。

选项 2：交互式启用工具集。

运行 hermes tools，选择 🖱️ Computer Use (macOS) → cua-driver (background)。
设置过程将运行上游安装程序（与选项 1 相同）。

安装完成后，无论你选择哪种路径：

在提示时授予 macOS 权限：
- 系统设置 → 隐私与安全性 → 辅助功能 → 允许终端（或 Hermes 应用）。
- 系统设置 → 隐私与安全性 → 屏幕录制 → 允许相同的应用。
启动启用了该工具集的会话：
```
hermes -t computer_use chat
```
或者在 ~/.hermes/config.yaml 中将 computer_use 添加到已启用的工具集中。

保持 cua-driver 最新

cua-driver 项目定期发布修复（例如，v0.1.6 修复了 UTM 工作流中的 Safari 窗口焦点错误）。Hermes 在两个地方刷新二进制文件，以确保你不会停留在过时的版本上：

hermes update —— 当你更新 Hermes 本身时，如果 cua-driver 在 PATH 中，上游安装程序将在更新结束时重新运行。对于非 macOS 用户和未安装 cua-driver 的用户，此操作无影响。
hermes computer-use install --upgrade —— 手动强制刷新。无论是否已安装 cua-driver，都会重新运行上游安装程序。当你希望获得最新修复而无需等待下一个代理更新时，请使用此命令。

hermes computer-use status 会在二进制路径旁边显示已安装的版本。

快速示例

用户提示：“找到我来自 Stripe 的最新邮件，并总结他们希望我做什么。”

代理的计划：

computer_use(action="capture", mode="som", app="Mail") —— 获取 Mail 的截图，其中每个侧边栏项目、工具栏按钮和消息行都已编号。
computer_use(action="click", element=14) —— 点击搜索字段（截图中元素 #14）。
computer_use(action="type", text="from:stripe")
computer_use(action="key", keys="return", capture_after=True) —— 提交并获取新截图。
点击顶部结果，阅读正文，总结。

在此过程中，你的光标保持在原位，Mail 永远不会前置。

提供商兼容性

提供商	视觉支持？	可用？	备注
Anthropic (Claude Sonnet/Opus 3+)	✅	✅	整体最佳；支持 SOM + 原始坐标。
OpenRouter (任何视觉模型)	✅	✅	支持多部分工具消息。
OpenAI (GPT-4+, GPT-5)	✅	✅	同上。
本地 vLLM / LM Studio (视觉模型)	✅	✅	如果模型支持多部分工具内容。
纯文本模型	❌	✅ (降级)	使用 `mode="ax"` 进行仅辅助功能树操作。

截图作为 OpenAI 风格的 image_url 部分随工具结果内联发送。对于 Anthropic，适配器将其转换为原生的 tool_result 图像块。

安全性

Hermes 应用多层防护：

破坏性操作（点击、输入、拖拽、滚动、按键、聚焦应用）需要批准——要么通过 CLI 对话框交互式批准，要么通过消息平台的批准按钮。
在工具级别硬阻塞的组合键：清空废纸篓、强制删除、锁定屏幕、注销、强制注销。
硬阻塞的输入模式：curl | bash、sudo rm -rf /、fork bombs 等。
代理的系统提示明确告知：不点击权限对话框，不输入密码，不遵循嵌入在截图中的指令。

如果你希望确认每个操作，请在 ~/.hermes/config.yaml 中配合使用 approvals.mode: manual。

Token 效率

截图开销很大。Hermes 应用四层优化：

截图驱逐 — Anthropic 适配器在上下文中仅保留最近的 3 张截图；较旧的截图会被替换为 [screenshot removed to save context] 占位符。
客户端压缩修剪 — 上下文压缩器会检测多模态工具结果，并从旧结果中剥离图像部分。
图像感知令牌估算 — 每张图像按约 1500 个令牌计算（Anthropic 的固定费率），而非按其 base64 字符长度计算。
服务端上下文编辑（仅限 Anthropic） — 启用时，适配器通过 context_management 启用 clear_tool_uses_20250919，以便 Anthropic 的 API 在服务端清除旧的工具结果。

在 1568×900 分辨率的显示器上，一次包含 20 个操作的会话通常消耗约 30K 令牌的截图上下文，而非约 600K。

限制

仅限 macOS。 cua-driver 使用了 Linux 或 Windows 上不存在的 Apple 私有 SPI。对于跨平台 GUI 自动化，请使用 browser 工具集。
私有 SPI 风险。 Apple 可能在任何操作系统更新中更改 SkyLight 的符号表面。如果希望在 macOS 版本升级后保持可复现性，请使用 HERMES_CUA_DRIVER_VERSION 环境变量锁定驱动程序版本。
性能。 后台模式比前台模式慢 — SkyLight 路由的事件耗时约 5-20 毫秒，而直接 HID posting 更快。对于代理速度的点击操作而言差异不明显；但如果尝试录制速通视频，则会察觉到此差异。
不支持键盘输入密码。 type 对命令 shell 负载有硬阻塞模式；对于密码输入，请使用系统的自动填充功能。

配置

覆盖驱动程序二进制路径（测试 / CI）：

HERMES_CUA_DRIVER_CMD=/opt/homebrew/bin/cua-driver
HERMES_CUA_DRIVER_VERSION=0.5.0    # optional pin

完全交换后端（用于测试）：

HERMES_COMPUTER_USE_BACKEND=noop   # records calls, no side effects

故障排除

computer_use backend unavailable: cua-driver is not installed — 运行 hermes computer-use install 获取 cua-driver 二进制文件，或运行 hermes tools 并启用 Computer Use 工具集。

点击似乎无效 — 捕获并验证。可能存在你未察觉的模式对话框阻塞了输入。使用 escape 键或关闭按钮将其dismiss。

元素索引过时 — SOM 索引仅在下次 capture 之前有效。在任何改变状态的操作之后重新捕获。

"blocked pattern in type text" — 你尝试 type 的文本匹配危险 shell 模式列表。请将命令拆分或重新考虑该操作。

工作原理​

启用​

保持 cua-driver 最新​

快速示例​

提供商兼容性​

安全性​

Token 效率​

限制​

配置​

故障排除​

另见​