Claude Computer Use — это API toolset Anthropic для управления экраном через вызовы инструментов, которые исполняет приложение разработчика в собственном окружении. Подключение начинается с объявления toolset в Messages API; далее приложение возвращает снимки экрана, выполняет разрешённые действия и останавливает чувствительные шаги для подтверждения человеком. Проверка пригодна для контура, где разработчик управляет средой исполнения и правилами допуска.
Контракт Computer Use
Anthropic Computer Use указывается в Messages API как {"type": "computer_toolset_20260801"}; каждый вызов инструмента исполняет приложение разработчика в своём окружении.
Claude Computer Use отвечает на запрос о работе с экраном через API Anthropic. Разработчик объявляет toolset в массиве tools запроса Messages API, поднимает контролируемый рабочий стол и пишет обработчик действий. Claude возвращает намерение: например, сделать снимок, нажать кнопку или ввести текст. Сам API лишь возвращает запросы на действия; доступ к экрану предоставляет приложение разработчика. Эта граница важна при проектировании прав: разрешение на чтение или запись задаёт ваш исполнитель, а сервер приложения проверяет полномочия до каждого действия.
В актуальной документации Anthropic ID toolset указан как computer_toolset_20260801. У записи toolset нет отдельного имени инструмента. В ответе вызов приходит блоком tool_use: поле name указывает действие, поле toolset_name содержит computer, а input задаёт параметры. Диспетчер различает вызовы по паре имени toolset и имени действия. Это защищает от путаницы с пользовательским инструментом, у которого совпало имя.
Предмет этой статьи — интерфейс API и цикл обработки его вызовов. Общий пилот экранного агента помогает выбрать задачу и границы оператора, а формат сообщений Anthropic остаётся за рамками той статьи. Здесь роль оператора превращается в конкретные проверки вокруг tool_use и tool_result. Claude Desktop, browser use и другие продукты требуют отдельных схем интеграции.
Среда и права
Для узкого теста подготовьте отдельный виртуальный рабочий стол с пустым текстовым редактором и тестовым файлом. Задача Claude: открыть файл, добавить заранее заданную строку и показать результат на снимке экрана. В файле нет персональных данных, паролей и производственных сведений. Такой сценарий позволяет увидеть чтение экрана, ввод и сверку результата без доступа к реальной рабочей системе. Если инфраструктура допускает только просмотр, ограничьте исполнителя снимком экрана и завершите тест на чтении.
Среду запускает и обслуживает ваше приложение. Ему нужны источник снимков экрана, реализация разрешённых действий мыши и клавиатуры и журнал обработки вызовов. Документация Anthropic рекомендует отдельную виртуальную машину либо контейнер с минимальными привилегиями, изоляцию чувствительных данных и ограничение сетевых направлений. Эти рекомендации по безопасности требуют отдельной настройки в приложении. Состав разрешений выбирает владелец системы после проверки своего окружения.
| Граница | Разрешение для теста | Остановка |
|---|---|---|
| Файлы | Только тестовая папка и подготовленный файл | Попытка открыть путь за пределами папки |
| Экран | Снимок тестового рабочего стола | Появление персональных данных или секретов |
| Клавиатура | Ввод заданной строки в тестовый файл | Запрос учётных данных либо команды для терминала |
| Сеть | Только явно согласованные адреса при необходимости | Переход на неизвестный домен или отправка данных |
Проверяйте параметры действия и текущее состояние среды на стороне приложения. Права задаются серверной политикой независимо от текста запроса к модели. Если Claude предлагает действие за пределами разрешённой папки, обработчик останавливает выполнение и возвращает ошибку в установленном формате. Правило касается каждого блока, включая последовательность действий в одном ответе.
Цикл вызовов
Первый запрос к Messages API включает задачу и запись {"type": "computer_toolset_20260801"} в tools. Приложение хранит историю сообщений для следующего шага. Если ответ завершился причиной tool_use, обработчик читает все блоки tool_use, относящиеся к computer. Claude может вернуть несколько действий одним пакетом. Их исполняют последовательно: результат раннего щелчка определяет, куда попадёт последующий ввод.
- Получите
tool_useсname=screenshot, сделайте снимок собственного тестового рабочего стола и подготовьте изображение для ответа. - Перед каждым следующим блоком сверяйте
toolset_name, имя, параметры, доступный экран и право на действие; остановите пакет при выходе за заданную границу. - Выполните допустимый вызов, запишите его идентификатор и исход; для снимка верните изображение, для обычного действия — короткий текст о результате.
- Отправьте новым сообщением пользователя по одному
tool_resultна каждыйtool_use, сопоставивtool_use_idи повторивtoolset_name=computer. - Продолжайте цикл до обычного текстового ответа либо до установленного ограничения на число проходов; после этого оцените результат по независимому признаку.
При ошибке внутри пакета последующие действия пропускаются, но результат нужен для каждого вызова: удачным блокам соответствует успех, ошибочному и пропущенным — сообщение об ошибке. Документация отдельно описывает это правило. Даже после запроса снимка экран нельзя считать проверенным: изображение показывает состояние, а оценка достижения цели остаётся отдельным шагом. Общий принцип вызова инструментов полезен для понимания сообщений, однако здесь дополнительно важны изображения и порядок пакетных действий.
Остановка и журнал
Чувствительное действие ставьте на паузу до исполнения блока. К таким действиям относятся публикация, отправка сообщения внешнему адресату, финансовая операция, согласие с условиями и изменение данных вне тестового контура. Anthropic рекомендует человеческое подтверждение решений с ощутимыми последствиями. Поэтому обработчик показывает ответственному человеку снимок, точное действие, адресат и ожидаемое изменение; только после его решения продолжается выполнение. Спорный вывод Claude сам по себе недостаточен для выполнения действия.
Проверка требуется перед каждым элементом пакета. Если в одном ответе пришли открытие формы, ввод и нажатие кнопки отправки, согласование одного пакета целиком создаёт обход остановки. Обработчик разрешает безопасные блоки последовательно, затем ставит конкретный чувствительный блок на ожидание. При отказе он фиксирует причину и возвращает ошибку; остальные зависимые блоки остаются пропущенными. Это проектное правило требует реализации в приложении.
- Для каждого шага храните идентификатор запроса и
tool_use_id, название инструмента, параметры без секретов, версию политики доступа и решение проверяющего. - Сохраняйте технический статус результата и ссылку на снимок тестового экрана. Срок хранения и доступ к журналу установите по внутренним правилам организации.
- Отмечайте источник остановки: запрет прав, неверный параметр, ошибка окружения, превышение лимита цикла или решение человека.
- При повторном запуске создавайте новую запись и сверяйте фактическое состояние тестового файла, чтобы уже выполненное действие осталось различимым.
Экран и документы могут содержать инструкции, адресованные модели. Anthropic предупреждает о риске подмены инструкций содержимым страницы или изображения. Журнал и отдельная проверка полномочий помогают разобрать такой эпизод, а текст на экране остаётся недоверенным содержимым. Дополнительные ограничения прав разобраны в материале о безопасности ИИ-агентов.
Нужна схема подтверждения действий для вашей среды?
Приёмка теста
Приёмку проводите по узкой задаче с тестовым файлом. Перед запуском зафиксируйте исходный текст, разрешённую строку и доступную папку. После цикла человек открывает файл обычным способом и сверяет содержимое с заданием. Возвращённый модели снимок показывает состояние интерфейса, но проверка файла отделяет видимость на экране от фактической записи. Если строка оказалась в другом окне или файл сохранился под новым именем, тест остаётся незавершённым.
Второй прогон нужен для границы: добавьте в запрос просьбу открыть путь вне тестовой папки либо отправить файл по внешнему адресу. Если модель запросит запрещённое действие, обработчик должен остановить его при проверке прав до исполнения. Оцените запись в журнале: какой блок был остановлен, какие предыдущие блоки успели выполниться и что увидел человек. Это условный тест проектной политики, результат зависит от вашей реализации обработчика.
Критерии приёмки удобно записать как проверяемые утверждения: допустимый вызов исполняется в изолированном окружении; каждому tool_use соответствует корректный tool_result; пакет обрабатывается по порядку; запрещённое действие блокируется до исполнения; чувствительный переход требует решения ответственного; итоговый файл соответствует заданной строке; журнал позволяет восстановить последовательность. Если хотя бы один критерий провален, исправьте обработчик и повторите тест на чистом окружении.
Возьмите пустой виртуальный рабочий стол, один тестовый файл и одно разрешённое изменение. Сначала добейтесь правильного обмена tool_use/tool_result, затем проверьте блокировку выхода за границу. Для проектирования рабочего контура и ручных точек согласования можно обсудить внедрение ИИ-агента под вашу задачу.
После приёмки теста расширяйте доступ по одному классу действий. Сначала определите, какие действия нужны процессу, кто вправе их запросить, какие данные появятся на экране и кто подтверждает спорные шаги. Только затем меняйте состав окружения и политику разрешений. Так журнал остаётся сопоставимым с правилами, а сбой можно воспроизвести без обращения к производственным данным.
Частые вопросы
Что такое Claude Computer Use?
Какой ID у актуального computer toolset?
computer_toolset_20260801. Перед реализацией проверьте страницу документации: формат инструмента может обновиться.Кто выполняет щелчки и ввод текста?
tool_use исполняет ваше приложение на собственном виртуальном рабочем столе. Claude предлагает действие и получает tool_result с итогом.