AI企業のH Companyが、人間向けに作られたデスクトップ画面をAIエージェントに操作させるためのクライアント「HoloDesktop CLI」を発表しました。HoloDesktop CLIによってAIエージェントに「画面を見る能力」と「PCを操作する能力」を追加できると述べられています。

Let your favorite agent harness operate your computer: Introducing HoloDesktop CLI - H Company

https://hcompany.ai/holodesktop-cli





これまでのAIエージェントはコードを書く、外部ツールを呼び出す、検索結果をまとめるといった作業を得意としてきました。一方で、画面上のボタンを押したり、画像として保存されたレシートを確認したりするなどの「人間が目と手でこなしている作業」は苦手でした。

HoloDesktop CLIは、H Companyのコンピューター操作向けAIエージェント「H Agent」をPC上で起動して操作するためのクライアントです。H Agentは画面を確認しながらOS全体でマウス操作やキーボード入力を行えるため、アプリ側がAI向けの専用APIを用意していなくても、人間と同じように画面をたどって作業を進められるとのこと。

HoloDesktop CLIはAIエージェントと外部ツールを連携させるMCP、親エージェントがサブエージェントに作業を任せるACP、エージェント同士をつなぐA2Aに対応し、他のエージェントと連携して稼働できるため、「Claude Code」「Cursor」「Codex」「Hermes」「OpenClaw」「NemoClaw」など、すでに使っているAIエージェント環境に組み込むことが可能です。



たとえばClaude Codeでウェブアプリに新機能を追加した場合、コードの変更だけならClaude Code単独でも進められます。しかし実際にログインし、画面を移動し、フィルターが正しく動くかを確認する作業にはGUIの操作が必要になります。HoloDesktop CLIを使えば、Claude Codeが新機能を作成した後にHoloDesktop CLIへテスト作業を引き渡し、HoloDesktop CLIが画面上で不具合を見つけ、Claude Codeが修正し、再びHoloDesktop CLIが動作確認を行うといった動作が可能というわけ。



HoloDesktop CLIは推論処理の実行方法も選べます。手軽に使いたい場合はH CompanyのModels APIを利用し、よりプライベートに動かしたい場合はHolo3.1系モデルなどを自分のハードウェアで動かすセルフホスト構成も選択可能。ローカルモードの場合、スクリーンショットやキー入力、アプリの内容が外部へ送信されないとのこと。

また、PCを直接操作するAIエージェントということで、安全策として動作を停止させるコマンドのほか、「Escキーを素早く2回押すと実行中の操作を一時停止してキャンセルする」という緊急停止用のキルスイッチが用意されています。

なおholo-desktop-cliのリポジトリで公開されているCLIとMCP、ACP、A2Aの連携部分はオープンソースのApache 2.0ライセンスで公開されていますが、実際にエージェントを動かす「hai-agent-runtime」バイナリはH Companyの規約で配布されるクローズドソースのコンポーネントです。

H Companyは今後、ユーザーがノートPCを使い続けている間にH Agentが作業できるバックグラウンドモードや、日常のワークフローのそばで使えるネイティブアプリを開発予定とのこと。さらに、単一のPCを超えて複数エージェントを動かせるクラウドベースのコンピューター操作エージェントも提供する予定と述べています。