Gemini 画面操作機能|AI が代わりに作業する Computer Use、6月24日公開
Google が6月24日、Gemini 3.5 Flash に Computer Use 機能を追加。AI が自動でブラウザ・モバイル・デスクトップを操作し、マルチステップのタスクを代行する。画面を見て、ボタンを押し、情報を集める AI エージェントが、諦めた夢を動かす新しい選択肢になる。
Google が6月24日、Gemini 3.5 Flash に Computer Use(画面操作)機能 を追加したと発表した。
この機能により、AI がブラウザ・モバイルアプリ・デスクトップソフトを 人間のように操作 し、複数のステップにわたるタスクを自動で実行できるようになる。
「このボタンをクリックして、情報を入力して、次の画面に進んで…」といった一連の操作を、AI が代わりにやってくれる時代が始まった。
Gemini Computer Use とは何か
Computer Use は、AI が 画面を見て、マウスやキーボードを操作する 機能だ。
従来の AI(ChatGPT や Claude など)は、テキストで指示を受け取り、テキストで答えを返すだけだった。画面上のボタンをクリックしたり、フォームに情報を入力したりはできなかった。
Gemini の Computer Use は、以下の3つの能力を組み合わせている。
- 画面認識:ブラウザや アプリの画面をキャプチャし、「ここにボタンがある」「ここに入力欄がある」と理解する
- 操作実行:マウスカーソルを動かし、クリックし、文字を入力する
- マルチステップ実行:複数の画面を移動しながら、最終目標まで自動で進む
例えば、「競合5社の最新製品価格を調べて、スプレッドシートにまとめて」という指示を出すと、Gemini は以下を自動実行する。
- 各社のウェブサイトを開く
- 製品ページを探す
- 価格情報をコピーする
- Google スプレッドシートを開いて貼り付ける
- 次の会社に移る
人間なら30分かかる作業が、AI なら3分で終わる 可能性がある。
AI が代わりに操作できる3つの領域
Gemini の Computer Use は、以下の3つの環境で動作する。
1. ブラウザ(Web)
Google Chrome や他のブラウザ上で、ウェブサイトを開き、リンクをクリックし、フォームに入力できる。
使える場面:
- 複数のサイトから情報を集めて比較表を作る
- ECサイトで商品を検索して価格を記録する
- オンラインフォームに定型情報を自動入力する
2. モバイルアプリ
スマートフォンのアプリ内で、画面をタップし、スワイプし、情報を入力できる。
使える場面:
- 複数のアプリから通知をチェックして要約する
- 旅行アプリで検索条件を入力して結果を保存する
- SNS アプリで定期的な投稿作業を自動化する
3. デスクトップソフト
PC上の Excel、PowerPoint、Photoshop などのソフトを操作できる。
使える場面:
- Excel で毎日のデータ入力作業を自動化
- PowerPoint で定型スライドを自動生成
- 画像編集ソフトで同じ加工を複数ファイルに適用
「諦めた夢」を動かす新しい武器
HAIIA が掲げる 「諦めた夢を、AI と一緒にもう一度動かす」 というミッションにとって、Computer Use は大きな転換点だ。
これまで「時間がない」「スキルがない」と諦めていた作業を、AI が代わりにやってくれるようになる。
副業で月3万円を目指す人へ
例えば、Web ライティングの副業を始めたいが、競合調査に時間がかかりすぎる という壁があったとする。
従来なら、10 サイトを手作業で開いて、情報をコピペして、まとめるのに2時間かかっていた。
Gemini の Computer Use なら、「この10社のブログ記事タイトルと公開日を一覧にして」と指示するだけで、5分で完了 する。
浮いた1時間55分を、実際のライティングや営業活動に使えば、月3万円への到達が2ヶ月早まる かもしれない。
デザインの夢を諦めた人へ
「Canva で毎日 SNS 用の画像を作りたいが、同じ操作の繰り返しが苦痛」という人もいるだろう。
Computer Use なら、「このテンプレートで、テキストだけ変えて5枚作って」という指示で、AI が Canva を自動操作 して画像を生成してくれる。
手作業なら30分かかる作業が、AI なら3分 で終わる。
HAIIA の3つの軸 では、AI を使った自己実現の道筋を示している。Computer Use は、その道をさらに歩きやすくする新しい武器だ。
明日からできる一歩
Gemini の Computer Use は、6月24日時点では 開発者向け API として提供されており、一般ユーザーが直接使えるのは数ヶ月先になる見込みだ。
それまでにできることは、「自分の作業で、繰り返しが多い部分」をリストアップしておく ことだ。
以下の質問に答えてみよう。
- 毎日・毎週、同じ操作を繰り返している作業は何か?
- その作業に、何分かかっているか?
- その作業を AI が代わりにやってくれたら、何に時間を使いたいか?
このリストがあれば、Computer Use が一般公開された瞬間に、最も効果の高い使い方 がすぐに見つかる。
「AI に何をやらせるか」を先に考えておくことが、AI エージェント時代を生き抜く最初の一歩だ。
関連記事
- NotebookLM アップデート|Gemini 3.5 でリサーチが自律化
- Gemini 3.5 発表|200万トークンで長編小説を丸ごと分析できる時代へ
- AI プロンプト 書き方|回答精度を10倍にする5つのコツ【2026年版】
よくある質問
Gemini Computer Use はいつから使えますか?
2026年6月24日時点では 開発者向け API として提供されています。一般ユーザーが Gemini アプリや Google AI Studio で直接使えるようになるのは、2026年秋ごろ が見込まれています。Google の公式発表をチェックしてください。
Computer Use は無料で使えますか?
現時点では料金体系が未発表ですが、Gemini 3.5 Flash の通常の API 料金(入力 100万トークンあたり 1.5 ドル)に加えて、画面操作1回あたりの追加料金 が発生する可能性があります。ただし、Gemini の無料版でも制限付きで使える形になる可能性もあります。
どんな作業を任せられますか?
繰り返しの多い定型作業 に最も効果があります。例えば、複数サイトからの情報収集、フォームへの定型入力、画像編集の一括処理などです。逆に、創造的な判断が必要な作業(デザインの配色選び、文章の構成など)は、まだ AI に完全に任せるのは難しいでしょう。
セキュリティは大丈夫ですか?
Google は、Computer Use が ユーザーの明示的な許可なしに操作を実行しない 仕組みを実装しています。また、パスワードやクレジットカード情報など、機密性の高い情報を扱う画面では、AI が自動的に操作を停止 するセーフガード機能があります。ただし、初期段階では誤動作のリスクもあるため、重要な作業では人間の最終確認が推奨されます。
About Haiia Notes
HAIIA(健全AI教育協会)が運営するメディア。AI で諦めた夢にもう一度火をつけるためのニュース・実践記事・レポートを、毎日お届けしています。