OpenAIがAIエージェント「Codex」を大幅刷新、「PCの操作」「ブラウザで直接指示」「画像生成でUIモックアップ」など – GIGAZINE

OpenAIがコーディング支援AI「Codex」のアップデートを公開しました。PCを自動で操作可能になったり、アプリ内ブラウザを搭載してウェブページ上で直接AIに指示が出せるようになったり、画像生成が追加されたりするなどさまざまな機能強化が実施されています。

Codex for (almost) everything | OpenAI
https://openai.com/index/codex-for-almost-everything/

◆PCの操作が可能に
今回のアップデートでは、Codexが独自のカーソルを使ってPC上の全てのアプリを認識し、クリックしたり入力したりできるようになっています。例えば○×ゲームのアプリに対し、「Xcodeのこのアプリを動作させて、プレイしてみてバグがあったら直して」とプロンプトを入力。

Codexが自動で現在の状況を確認し、Xcodeで当該アプリのプロジェクトが開かれていることを認識しました。

Codexが独自のカーソルを使用して実行ボタンをクリック。

ゲームが起動したので、Codexがテストプレイを開始します。Codexが左上のマスをクリック。

そして「プレイヤーが1手クリックするたびにコンピューターが2手進める」というバグを発見しました。

自動でコードの修正が行われ、再び○×ゲームを起動します。

当初の目的通り、正常に○×ゲームを遊べる状態までCodexが自動で処理してくれました。

Codexが使用する独自のカーソルは別のCodexやユーザーのカーソルとは独立しており、複数のエージェントを並行して動作させても問題ないとのこと。

なお、今回のアップデートではPCの操作はmacOS限定のリリースとなっています。

◆アプリ内ブラウザから直接指示が可能に
今回のアップデートで、Codexとウェブとがネイティブに連携できるようになりました。Codexにアプリ内ブラウザが搭載されており、サイトの一部を指定して直接変更内容を指示できるようになっています。例えば以下ではキャッチフレーズ部分を指定して「フォントを小さくして文も短くして」と指示。

Codexが自動で処理を行ってくれるというわけ。

今回のアップデートでは、ローカルホスト上のウェブアプリケーションに対して指示が出せるようになっています。将来的にはブラウザ全体をCodexが制御できるように拡張していく予定とのことです。

◆GPT Image 1.5を使用した画像生成が可能に
Codexに画像生成機能が搭載されました。例えばウェブページを指定して、「最上部に画像を生成して埋め込んで」と指示すればOK。

GPT Image 1.5で画像が生成され、指示通りページ内に埋め込まれました。

製品コンセプトやモックアップなどを作成する際に同じワークフロー内で画像を生成できるようになりました。

◆90種類以上のプラグインを同時公開
スキルやアプリのほか、AIエージェントと外部の橋渡しをするMCPサーバーを組み合わせた90種類以上のプラグインが同時にリリースされました。Codexがアクションを実行するためのより多くの手段を得られるとのこと。

プラグインの導入は数回クリックするだけと非常に簡単です。

プロンプト内で「@」を付けてプラグインを指定すれば利用可能。

◆ソフトウェア開発全体への対応
GitHub連携や複数ターミナルの実行、SSH経由でリモート開発環境への接続などの機能が追加されています。

「このプロジェクトに投稿された最近のIssueをトピックごとにグループしてスプレッドシートにまとめて」と指示。

CodexがGitHubからデータを取得して自動でトピックを分類し、まとめてくれます。

◆スケジュール機能
今回のアップデートで、既存の会話スレッドが再利用できるようになりました。同時にCodexにスケジュール機能が追加され、数日から数週間にわたる長期タスクを継続できるようになっています。

「SlackとGmailとGoogle CalendarとNotionをチェックして重要そうなものを教えて」というプロンプト例が掲載されています。

「監視し続けて」とプロンプトを続けると「1時間ごとに実行」のスケジュールタスクが追加されました。

今回のアップデートはChatGPTでサインインしているCodexデスクトップアプリユーザー向けに順次展開されるとのことです。