Google、Mac版「Gemini」にアプリを代わりに操作する「computer use」を追加 Appleも自社エージェントを開発か

画像:ITmedia NEWS

要約

Googleは11月19日(現地時間)、Mac版「Gemini」アプリに、AIが画面を認識してアプリを操作する「computer use」機能を追加した。まず米国の有料プラン加入者向けに英語版で提供する。

何が起きたか

チャットで作業内容を伝えると、Geminiがクリック、文字入力、メニュー操作、フォーム入力などを代わりに行う。Mac内のファイル、デスクトップアプリ、Webをまたいだ複数手順の作業にも対応する。

操作は他のウィンドウから切り離されたバックグラウンドのウィンドウで行われ、チャット画面にライブプレビューが表示される。画面やカーソルを占有しないため、ユーザーはその間も自分の作業を続けられる。操作できるアプリはユーザーが選べ、重要な操作の前には承認を求める。

利用にはApple Silicon搭載でmacOS Sequoia以降のMacと、Google AI Plus・Pro・Ultraのいずれかへの加入が必要。日本での提供時期は明らかにしていない。同様の機能は、AnthropicのClaudeやOpenAIのCodexのMac版がすでに提供している。

一方、Bloombergによると、Appleも「人のようにコンピューターを使えるAIエージェント」を開発する技術者の求人を出している。Appleは10月、AIエージェントなどのアプリにMacのフルディスクアクセス権を与える際の制御を強める対策を発表している。

なぜ重要か

AIがPCのアプリを直接操作する機能が、大手各社の一般向けアプリに広がってきた。手順を作り込まなくても、指示するだけで定型作業を任せられるようになりつつある。

出典