有沒有想過，與其自己一步步點擊滑鼠、一個字一個字打字，不如讓 Claude 直接幫你操作電腦？這次要聊的 Computer Use 功能真香。不過它不是什麼黑魔法，而是有很明確的規則和限制——搞懂這些，才能發揮它最大的威力。

為什麼需要 Computer Use？

你想想這個場景：有個內部系統只有 GUI 沒有 API、一個老舊工具沒有命令列、某個桌面應用程式得手動填資料。常規的解決方案是什麼？自己寫個爬蟲、自己手動操作、或是等開發者提供接口。但如果有 AI 能直接看著你的螢幕、跟著你的指令點擊和輸入呢？

Computer Use 就是這樣的東西。Claude 可以：

  • 打開你的應用程式，模擬真實使用者的行為
  • 截圖看目前的畫面，理解當前的狀態
  • 控制滑鼠點擊、拖拉、輸入文字
  • 執行快捷鍵
  • 在本地端複雜的 GUI 工作流中自動化流程

它的核心設計哲學是：如果沒有更好的方法（像 API、命令列或瀏覽器擴充），就用 Computer Use。

優先級順序：先想想有沒有更好辦法

在真的啟用 Computer Use 之前，Claude 官方給的建議順序是這樣的：

  1. Connector 優先：Gmail、Slack、Jira 這類有官方整合的，用 Connector
  2. Bash 命令：如果有命令列工具，直接跑 shell command
  3. Claude in Chrome：瀏覽器工作流，用專門的瀏覽器自動化
  4. Computer Use 最後：以上都不行才用

為什麼要這樣排序？因為 Connector 最快最穩定，Bash 次之，瀏覽器自動化也很可靠。Computer Use 相對來說慢一些，而且複雜流程可能需要重試。所以不是「有 Computer Use 就全用」，而是「用對工具，事半功倍」。

怎麼開啟 Computer Use

首先要確認你的環境符合條件：

  • Claude Desktop 要是最新版本（有夠重要，舊版本沒這功能）
  • 需要 Pro 或 Max 訂閱方案（Team 和 Enterprise 還不支援，這是研究預覽階段的限制）
  • 目前支援 macOS 和 Windows（移動端還沒有）

開啟步驟很直接：

  1. 打開 Claude Desktop
  2. 進到 Settings > General
  3. 找到「Computer use」的切換開關，打開它
  4. 在 macOS 上，你還需要手動授予兩個權限：
    • Accessibility 無障礙存取權限（這樣 Claude 才能控制滑鼠和鍵盤）
    • Screen Recording 螢幕錄製權限（這樣 Claude 才能看你的螢幕截圖）

macOS 會跳出系統提示，或者你可以手動去「系統設定 > 安全性與隱私」裡面確認。

應用程式權限分層

這是我覺得最聰明的設計——不是全開放或全禁止，而是分成三個層級：

1. 僅檢視（View only）

瀏覽器、股票交易平台這類，Claude 只能截圖看，不能點擊或輸入。為什麼？因為這些地方通常有 API 或瀏覽器自動化工具，用不著 Computer Use。而且涉及財務的應用，更要小心。

2. 僅點擊（Click only）

終端機、IDE、文字編輯器這類。Claude 能點擊和滾動，但不能打字。理由是保護你的敏感輸入——避免誤解或注入。

3. 完全控制（Full control）

一般的應用程式、繪圖軟體、檔案管理器。Claude 可以點擊、打字、拖拉，做任何事。

安全機制：別太擔心，但也不要太大意

官方特別強調——Computer Use 在研究預覽階段，安全防護還不完美。所以：

絕對不要用 Computer Use 操作：

  • 金融帳戶（銀行、投資）
  • 法律文件
  • 醫療資訊
  • 任何含有敏感個人資料的系統

系統的防護措施：

  • 每個應用都有權限核准流程，Claude 操作時你會看到提示
  • 對終端機、Finder、系統設定這類高風險應用，會額外警告
  • 你可以設定「被拒應用清單」，某些應用永遠不給 Computer Use 權限
  • 視窗會在 Claude 操作時隱藏，完成後才顯示（防止你被驚嚇，也防止意外幹擾）
  • 有提示注入偵測，會警告螢幕上的內容是否在試圖欺騙 Claude

實際用途舉例

光講理論沒意思，來看看真的能幹嘛：

行動應用測試：用模擬器跑 iOS/Android 應用，Claude 可以幫你自動化測試流程，截圖、點擊、驗證結果。

本地工具整合：某個只有 GUI 的舊系統，沒 CLI 也沒 API？Claude 可以幫你點進去填資料、匯出結果。

數據整合：從多個本地檔案和應用抓資料，填進試算表。比起手動複製貼上，自動化真的扯欸。

競爭分析：在本機上蒐集本地檔案的資料，做對比和分析。

實際限制要知道

別期待 Computer Use 是銀彈：

  • 電腦得亮著：桌面必須是活躍的（螢幕亮著、應用程式開著）
  • 複雜流程可能失敗：多步驟的操作有時候 Claude 會搞混狀態，得重試
  • 比不上直接整合：速度、穩定性都不如 API 或 Bash 命令
  • 不在 Team/Enterprise 方案上：如果你是企業版用戶，暫時用不了

什麼時候該用 Computer Use

簡單的判斷標準：

✅ 用 Computer Use：

  • 沒有 API 或命令列的桌面應用
  • 內部系統只有 GUI
  • 一次性的自動化任務，不值得寫整套工具
  • 測試或原型開發階段

❌ 不用 Computer Use：

  • 有 API 或官方 Connector 的服務
  • 網頁應用（用 Claude in Chrome 更好）
  • 涉及敏感金融或隱私資訊
  • 對效率和穩定性要求超高的生產環境

小結

Computer Use 是 Claude Desktop 的一項強大功能，但不是用來取代所有自動化工具的。它的定位很明確：當你沒有更好的選擇時，就用它直接操控你的電腦。

設定很簡單，安全機制也有考慮到，但前提是你得知道自己在做什麼、知道什麼時候該用、什麼時候不該用。真香的功能，但踩坑的可能性也存在——特別是在研究預覽階段。

下次遇到「這個系統沒有 API 怎麼辦」的問題，不妨試試 Claude 直接操作一下，看看能不能省掉你不少手動工作。

原文來源：Claude Code Desktop 官方文件
原文來源：Computer Use 安全指南