ブログ

OpenAIは最近、日常のオンラインタスクを代行するAIエージェント「Operator」を発表しました。お気に入りのレストランの予約、オンラインでの注文、複雑なウェブサイトのナビゲーションなど、シンプルな英語の指示で対応可能です。プログラミングや手間は一切不要です。

しかし、真の興奮は単なる利便性だけではありません。Operatorはテクノロジーをより包摂的なものにする可能性を秘めています。コンピュータの使用に慣れていない人が、AIに必要事項を伝えるだけでフォームの記入やオンラインサービスの利用ができるようになるのです。将来的に音声コマンド対応が追加されれば、視覚障害や画面操作が困難な人にとってのライフラインとなる可能性があります。

もちろん、Operatorは唯一のプレイヤーではありません。AnthropicのツールやGoogleのProject Marinerも同様の領域を模索しています。しかし、ここが違いです：これらのツールの一部はまだプログラミングの知識を必要としますが、Operatorは日常言語で動作するように設計されており、誰もが利用しやすいようにしています。

このブログでは、Operatorとは何か、そのコア技術がどのように機能するか、現実の例を交えたユースケース、機能などについて解説します。

Operatorとは？

Operatorは、ウェブブラウザ上でタスクを自律的に実行するChatGPTエージェントです。CUA技術を活用し、ユーザーからの指示を受け取り、推論し、人間の監視なしにアクションを実行します。

従来の自動化ツールが固定されたAPIやスクリプト化されたワークフローに依存するのに対し、Operatorはクリック、入力、スクロールなどの人間の動作をシミュレートしてウェブサイトと直接インタラクションします。これにより、通常は手動作業や専門知識を要するデジタルタスクを簡素化し、予約管理やフォーム入力のようなルーティン作業から、複雑なマルチステッププロセスまで対応可能です。

コンピュータ利用エージェント（CUA）とは何ですか？

Operatorの核心技術はコンピュータ利用エージェント（CUA）です。GPT-4oのビジョン機能と強化学習を活用したo3の高度な推論モデルを組み合わせたCUAは、グラフィカルユーザーインターフェース（GUI）と相互作用します。ユーザーが画面上で見るボタン、メニュー、テキストフィールドなどはすべてCUAによって駆動されています。以下はCUAの機能の段階です。

• 認識: CUAは画面のスクリーンショットから生のピクセルデータを処理します。ボタン、入力フィールド、メニューなどの重要なインターフェース要素を特定するために、視覚情報を活用します。
• 推論: 視覚データを分析した後、CUAは思考の連鎖推論を適用して行動計画を立てます。過去のスクリーンショットと現在のスクリーンショットを統合し、観察結果を評価し、タスクを小さなステップに分解します。
• 実行: CUAは仮想マウスとキーボード入力を使用して、クリック、入力、スクロール、フォーム送信などの動作を自律的に実行します。支払いまたはログインのような敏感なタスクでは、制御とセキュリティを確保するためにユーザー確認を求めます。

CUAベンチマーク

CUAの性能を評価するために使用された3つのベンチマークの breakdown です:

• OSWorld (38.1%): Ubuntu、Windows、macOSなどのフルオペレーティングシステムでのタスク完了能力をテストします。CUAは以前のモデルより改善されていますが、人間のベンチマークである72.4%には達していません。
• WebArena (58.1%): 電子商取引やソーシャルメディアプラットフォームなどのシミュレートされたウェブサイトでのパフォーマンスを測定します。CUAは進歩を示していますが、複雑な多段階タスクでは依然として課題が残っています。
• WebVoyager (87%): Amazon、GitHub、Google Mapsなどの実際のウェブサイトでのタスク完了を評価します。CUAはここでのパフォーマンスが良好で、タスクが一般的にシンプルで構造化されているためです。

Operatorへのアクセス方法

Operatorは現在、米国においてChatGPT Proユーザー向けの研究プレビューとして利用可能です。アクセスには有効なProサブスクリプションが必要で、operator.chatgpt.comから開始できます。

現時点ではChatGPT Proユーザーに限定されていますが、OpenAIは近日中にChatGPT Plusユーザーへの提供を拡大する予定です。この段階的な展開により、より広範なリリース前にフィードバックを収集しシステムを改善する時間が確保されます。

規制上の考慮事項により、ヨーロッパおよびその他の地域でのOperatorの可用性は遅れる予定です。OpenAIはこれらの課題に対応中で、米国以外のユーザーは今後のアップデートを待つ必要があります。

長期的に、OpenAIは基盤技術であるCUA（Computer-Using Agent）をAPIとして公開する計画です。これにより、開発者は多様なアプリケーション向けにカスタムAIエージェントを構築できるようになります。

Operatorの機能

Operatorは、ChatGPTエージェントで、ユーザーがウェブベースの多段階タスクをビジュアルインターフェースで自動化できます。このエージェントは、ルーティン作業の時間を節約するのに最適で、完全な制御と高い安全性を提供します。以下の機能が特徴です。

• クラウドベースのブラウザ上で動作し、クリック、入力、スクロールなどの人間のような動作を実行してウェブタスクを完了します。
• スクリーンショットとGPT-4oおよびo3推論モデルを基盤としたコンピュータ使用エージェント（CUA）モデルを使用し、ボタン、フィールド、メニューなどとの認識とインタラクションを実現します。
• 複雑なタスクをシーケンス化されたステップ（例：食料品の注文や旅行の予約）に分解し、必要に応じて自己修正を行います。
• ログイン、支払い、CAPTCHAなど敏感なポイントでユーザー入力を待機し、高リスクなアクションを実行する前に確認を求めます。
• 複数のウェブタスクを別々のブラウザセッションで処理し、動的な使用制限に準拠します。
• Instacart、Uber、DoorDash、OpenTable、StubHub、Pinterestなど、プラットフォームのサービス利用規約を遵守して最適化されています。

Operatorのユースケース

OpenAI Operatorは、従来手動入力が必要なウェブベースのタスクを処理するように設計されており、ユーザーが反復的で時間のかかる作業を自動化できます。ビジョン、推論、ブラウザ制御を組み合わせることで、Operatorはウェブサイトを視覚的に解釈し、指示を理解し、複雑なワークフローをステップバイステップで実行するデジタルアシスタントのように機能します。

マルチタスク、速度、一貫性が重要なシナリオにおいて特に有用であり、個人生産性からビジネスオペレーションまで幅広く活用できます。以下の例を含むユースケースです、

メディアのアップロードと管理

人間と同様に、Operatorはソーシャルメディアでのメディアのアップロードと管理を自律的に処理できます。Operatorは、ソーシャルメディアマネージャー、マーケター、コンテンツクリエイターなどのワークフローを簡素化し、AIを活用して投稿タスクを委任できるようにします。毎日のブランドビジュアルから製品アップロードまで、Operatorはすべてを実行できます。

• ウェブサイトをナビゲートし、クリック、画像や動画のアップロード、キャプションの入力、投稿のスケジュール設定を、手動介入なしで実行できます。
• ハッシュタグとスケジュール詳細を含むキャプションを生成し、コンテンツから投稿までの全体プロセスを効率化します。
• オペレーターは、同じメディアを異なるプラットフォームに投稿するのに最適です。
• マーケティングチームは、オペレーターの動作を監視し、編集内容を確認し、必要に応じて介入することで、スケジュール管理を効率化できます。

例として、Operatorを使用してChatGPTのサブレッドditに有名人の写真をアップロードしました。11秒で動作し、ネットワークセキュリティのためログイン資格情報の入力を求められました。手続きを継続したところ、再び「r/ChatGPT」への投稿には確立されたレピュテーションが必要であるため、写真がアップロードできないというメッセージが表示されました。

その後、ChatGPTのサブレッドditに正常にアクセスし、新しい投稿を作成しました。次に、OpenAIのサブレッドditに移動し、そこに画像をアップロードしました。

プレゼンテーション準備とスライドデッキのワークフロー

Operatorは、プレゼンテーションの準備とスライドデッキのワークフローを支援します。ウェブを閲覧し、記事やレポートを開き、重要な情報を抽出して、プレゼンテーション用の構造化されたアウトラインにすべての関連データをまとめます。ユーザーは、テキストをドラフト文書やスライドのアウトラインにコピーアンドペーストし、階層的なコンテンツ構造を構築できます。これにより、初期の「リサーチ」フェーズでの時間を節約できます。

オペレーターは自動スライド生成も支援します。箇条書きのアウトラインを作成し、研究資料から補足テキストを抽出し、これらを直接Google SlidesやPowerPointに挿入できます。

現時点では、オペレーターはフルビジュアルレイアウトの設計は行いませんが、画像やチャートの配置を提案し、スライドの内容に基づいてスピーカーノートを自動生成し、ワークフロー内の画像生成機能と統合してスライド用のグラフィックを取得できます。

OperatorはPDFやウェブサイトからデータを抽出し、内容を適切なスライドに貼り付け、プレゼンターノートやキャプションテキストを組み込み、ユーザーフィードバックに基づいて反復的な改善を行うことができます。

例えば、私たちはOperatorを使用して、ペット用品業界のサブスクリプション型ECプラットフォーム上位5社の競合分析を実施しました。価格、マーケティング戦略、顧客レビューを比較することを目的としていました。その後、Google Slidesで5枚のプレゼンテーションを作成し、分析結果を要約して、指定のメールアドレスに共有しました。

要求通り、すべての情報を収集し、Google Slidesで5枚のスライドからなるプレゼンテーションを作成しました。

ウェブベースのAutoCADによる3D形状作成

オペレーターは、ユーザーがテキストプロンプトを入力し「生成」をクリックしてポイントクラウドまたはメッシュ出力を作成できるウェブベースのAutoCADツールを開くことができます。ユーザーは手動クリックなしで出力をダウンロード（PLY、FBX）でき、ルーティンタスクを効率化できます。

OpenAIのPoint-Eはポイントクラウドを迅速に生成し、その後メッシュに変換します。オペレーターはこの一連の処理を管理できます。

Fusion 360やWeb CADインターフェースなどのCADツールの場合、オペレーターはAI生成のジオメトリをアップロードし、スクリプトの実行や変換をトリガーし、パラメトリック/メッシュモデルをエクスポートすることで、ユーザーの操作を再現できます。

例として、オペレーターを使用して人気のウェブベースCADプログラムにアクセスし、基本的な幾何形状のシンプルな3Dモデルを作成しました。このプロセスと機能のすべてを文書化したいと考えました。最初は36秒間動作し、Tinkercadで個人アカウントの作成を求められました。約4分間動作した後、制御を掌握し、SktechUpの無料版を使用して3Dモデルを作成しました。その後、ブラウザでハードウェアアクセラレーションを有効にするよう求められました。

当社が提示したすべてのAutoCADソフトウェアオプションにおいて、ブラウザのWebGLサポートに関するエラーが発生しました。ただし、Figuroのみがデザインオプションを表示し、「オブジェクト」を選択して3Dモデルを作成することができました。

旅程計画

オペレーターは、旅行調査、予約、旅程管理をすべてプロンプトを通じて支援することで、旅程計画を効率化できます。

エンドツーエンドの予約を支援します。航空会社を検索し、フィルターを適用し、フライトを選択し、予約手順を案内します。支払い時にユーザーの承認が必要な場合のみ一時停止します。

• ホテル、レストラン、アクティビティの予約を、ユーザーの基準に基づいて行うことができます。ユーザーはタスクに15～20分かかる場合があると報告していますが、バックグラウンドで実行されるため手動作業が省略されます。
• オペレーターは対話形式でフォローアップ質問（例：宿泊施設のタイプ、食事の好み）を行い、パーソナライズされた旅行プランを提案します。航空券、ホテル、レストラン、現地アクティビティを統合した一貫性のある旅程を作成します。
• 並列タスクを実行可能で、例えばホテル予約的同时進行でコンサートチケットや帰りのスーパー商品の手配が可能です。これにより、総合的な旅行準備に役立ちます。

例として、2025年8月にパリへの5日間の旅行を$2000の予算で計画しました。現地の料理を試したいと、主要な美術館を訪れたいと考えていました。旅程を編成するため、オペレーターにアグリゲーターサイトで必須の観光スポット、最高の食事オプション、日ごとのスケジュール提案を含むすべてのフライト、ホテル、Airbnbのリスティング、旅行パッケージの割引情報を確認するよう依頼しました。

Kayakを検索し、2025年8月1日から10日までの推奨日程を選択し、それに応じて航空券を予約しました。

制限事項と課題

OpenAIのオペレーターは、いくつかの主要な制限事項に直面しています。ドラッグアンドドロップツール、カスタムウィジェット、日付選択ツールなどの複雑なまたは動的なウェブインターフェースに対応できず、エラーやタスクの未完了が発生する傾向があります。多くの操作にはユーザー介入が必要で、特にログイン、CAPTCHA、またはセキュアなデータ入力の場合が該当します。

パフォーマンスは遅く、信頼性が低く、ユーザーから頻繁な停止、タブの重複、または誤った結果の報告があります。セキュリティ対策が組み込まれており、支払いまたはメール送信などの機密性の高い操作を実行する前にOperatorが一時停止するため、自律性が制限されています。この機能は米国在住のChatGPT Proユーザーのみ利用可能で、厳格な日次使用制限が設定されています。

互換性も課題で、一部のウェブサイトはOperatorのリモートブラウザを完全にブロックします。ブラウザベースのエージェントとして有望ですが、まだ概念実証段階に近く、複雑なタスクや監視不要のタスクに適するまでに大幅な改善が必要です。

結論

結論として、Operatorは自然言語を使用してルーティンなブラウザベースのタスクを自動化でき、視覚的理解、推論、仮想入力制御を組み合わせた機能を提供します。旅行の予約からフォームの入力まで、幅広いタスクを処理し、敏感な操作ではユーザー入力のために一時停止します。現在、ChatGPT Proユーザー向けに限定プレビューで利用可能で、高リスクなタスクを回避し、複雑なまたは高度にカスタマイズされたインターフェースでは苦労しています。進化に伴い、より広範なアクセスと機能の向上が期待され、Operatorは生産性と自動化のための貴重なツールとなるでしょう。

よくある質問

Operatorは誰が使用できますか？

Operatorは、18歳以上のChatGPT Proユーザー向けにoperator.chatgpt.comで利用可能です。現在はフィードバック収集のため限定リリース中で、今後ユーザー拡大を予定しています。

Operatorはどのように機能しますか？

OperatorはOpenAI o3を基盤としたコンピュータ使用エージェント（CUA）を使用します。スクリーンショットを解釈し、一般的なブラウザコントロールでウェブサイトを操作します。タスクを説明すると、Operatorが実行します。CAPTCHAやパスワードなどの問題が発生した場合、入力待ちの状態になります。

Operatorが実行できないタスクに遭遇した場合、どうなりますか？

Operatorが停止した場合、ユーザーに操作を引き継ぐか、追加情報を提供するよう促します。問題が解決したら、タスクを自分で完了するか、Operatorに継続させることができます。

Operatorが実行できないタスクはどのようなものですか？

Operatorは現在、金融取引、メール送信、カレンダー編集など、複雑または高リスクなタスクを避けています。非標準のウェブインターフェースや高度にカスタマイズされたツールにも対応できない場合があります。

Operatorは複数のタスクを同時に処理できますか？

はい、ただし制限があります。Operatorは複数の並列タスクをサポートしていますが、セキュリティのため動的な制限が設定されています。制限に達した場合、通知されます。