エージェント型 AI のユースケース: ライブの双方向マルチモーダル ストリーミングを有効にする

Last reviewed 2026-10-14 UTC

このドキュメントでは、 Google Cloud上のライブの双方向マルチエージェント型 AI システムのハイレベル アーキテクチャについて説明します。システムは、複雑なコンポーネントの組み立て、機器の故障の診断、複雑な修理手順のナビゲーションなどの技術的なタスクをユーザーが完了するのを支援します。エージェント型 AI システムは、マルチモーダル データの継続的な双方向ストリームを通じて、グラウンディングされた技術ガイダンスと自動化された安全監視を提供します。

このドキュメントは、クラウドで AI インフラストラクチャとアプリケーションを構築して管理するアーキテクト、デベロッパー、管理者を対象としています。このドキュメントは、AI エージェントとモデルの基本的な知識があることを前提としています。このドキュメントでは、AI エージェントの設計とコーディングに関する具体的なガイダンスは提供していません。

このドキュメントのデプロイ セクションには、マルチエージェント型 AI システムの構築方法とデプロイ方法を学習するために使用できるコードサンプルが記載されています。

アーキテクチャ

次の図は、マルチエージェント AI システムを使用して、ライブの双方向マルチモーダル データ ストリーミングを可能にするアーキテクチャの概要を示しています。

双方向のマルチモーダル データ ストリーミングを可能にするマルチエージェント型 AI システムのアーキテクチャの概要。

上の図のアーキテクチャには、技術ガイダンスと安全モニタリングの 2 つのワークフローがあります。

  • 技術ガイダンス ワークフローを使用すると、複雑な技術的な問い合わせに対するナレーション付きの解決策をリアルタイムで受け取ることができます。このワークフローでは、Gemini Live API を使用してマルチモーダル ストリームを処理し、サブエージェントと連携して、ナレッジ データベースからグラウンディングされた商品情報を取得します。
  • 安全モニタリング ワークフローは、技術的な手順の実行中にユーザーの安全を確保するために、危険を自動的に検出します。このワークフローでは、Gemini を使用してライブ動画セグメントを分析し、潜在的なリスクを特定して、クライアント ダッシュボードから即座に警告をトリガーします。

次のタブには、技術ガイダンスと安全監視のワークフローを示すアーキテクチャ図が用意されています。

技術ガイダンスのワークフロー

次の図は、技術ガイダンス ワークフローの詳細なアーキテクチャを示しています。

技術ガイダンスのワークフローを示すアーキテクチャ。

上の図は、次のデータフローを示しています。

  1. ユーザーは、クライアント ダッシュボードから音声で技術的な問い合わせを行うことで、セッションを開始します。たとえば、技術者がカメラをコントロール パネルに向け、「この点滅する赤いエラーライトはどういう意味ですか？」と質問することがあります。

  2. クライアント ダッシュボードは、フロントエンドとバックエンド サーバーの間に永続的な WebSocket 接続を確立します。

  3. WebSocket メッセージは、未加工のマルチメディア データを Blob オブジェクトにパッケージ化します。Agent Development Kit（ADK）LiveRequestQueue コンポーネントは、入力データをディスパッチャー エージェントに継続的にストリーミングします。

  4. ディスパッチャー エージェントは、技術的なガイダンスが必要な音声コマンドまたはビジュアル コマンドを検出し、入力ストリームを Gemini Live API に送信します。

  5. Gemini Live モデルは、元データを検索してイベントを特定します。イベントは、音声キーワード（「組み立て」や「助けて」など）や、視覚的な合図（ハンド ジェスチャーなど）です。

    Gemini は各イベントを評価し、ユーザーの問い合わせに関連するかどうかを判断します。たとえば、ハンド ジェスチャーやつなぎ言葉は関連性がない可能性があるため、Gemini はこれらのイベントを処理しません。

  6. 関連するイベントごとに、Gemini は関数呼び出しを有効にして、追加のコンテキストが必要かどうかを評価します。追加のコンテキストが必要かどうかに応じて、Gemini またはアーキテクト エージェントがディスパッチャー エージェントに応答を返します。

    1. さらにコンテキストが必要な場合、Gemini はアーキテクト エージェント カードを検索して、リクエストの構造化方法を理解します。

    2. Gemini は、ディスパッチャ エージェントに構造化されたリクエストを送信します。リクエストには、商品タイプ、モデル番号、イベントタイプ、属性などのイベントの詳細が含まれます。

    3. ディスパッチャ エージェントは、Agent2Agent（A2A）プロトコルを使用して、構造化されたリクエストをアーキテクト エージェントに送信します。

    4. アーキテクト エージェントは、サーバーレス VPC アクセス コネクタを介してクエリを送信します。このコネクタを使用すると、エージェントは、このアーキテクチャのストレージ リソースに使用される Virtual Private Cloud（VPC）ネットワーク内のリソースに安全にアクセスできます。

    5. サーバーレス VPC アクセス コネクタは、 Memorystore for Redis Cluster に保存されているキャッシュ データとやり取りします。データがキャッシュに保存されたレイヤで使用できない場合、アーキテクト エージェントは、ナレッジ データベースをホストする Compute Engine インスタンスとやり取りします。

    6. アーキテクト エージェントは、データ キャッシュまたはナレッジ データベースから商品情報を受け取ります。アーキテクト エージェントは、Gemini に商品情報を送信して、回答を生成します。たとえば、「エラーコード 3B: ファンの故障。推奨される対応: 障害物がないか確認してください。」

    7. アーキテクト エージェントは、商品情報をディスパッチャ エージェントに返します。

    コンテキストが不要な場合は、Gemini がユーザーのリクエストに対する回答を直接生成します。

  7. ディスパッチャ エージェントは、Gemini またはアーキテクト エージェントからレスポンスを受け取り、マルチモーダル レスポンスを生成します。

    1. Gemini Live モデルと ADK run_live ループを使用して、技術的なソリューションを含むマルチモーダル レスポンスを生成します。

    2. レスポンスを Blob オブジェクトとして保存します。

    3. ストリーミング バッファと永続的な WebSocket 接続を介して技術ソリューションを送信し、クライアント ダッシュボードに技術ソリューションを配信します。

  8. クライアント ダッシュボードは、技術ソリューションから Blob データを抽出して、即座に音声ガイダンスを提供し、関連する音声文字変換で UI を更新します。アクティブな双方向ストリームが維持されている間に、リクエスト ループが完了します。

安全性モニタリング ワークフロー

次の図は、安全性モニタリング ワークフローの詳細なアーキテクチャを示しています。

安全モニタリング ワークフローを示すアーキテクチャ。

上の図は、次のデータフローを示しています。

  1. クライアント ダッシュボードは、フロントエンドとバックエンド サーバーの間に永続的な WebSocket 接続を確立して、ライブ動画ストリームをモニタリングします。WebSocket メッセージは、この未加工のマルチメディア データを Blob オブジェクトにパッケージ化し、ADK の LiveRequestQueue コンポーネントを使用してストリーミング バッファに継続的に送信します。
  2. ストリーミング バッファは、入力ストリームを継続的なバックグラウンド ループで実行されるストリーミング ツールに転送し、動画フレーム内の危険を検出します。
  3. ストリーミング ツールは、ストリーミング バッファから最新の動画フレームを Gemini に送信します。
  4. Gemini は、動画フレームを観察して、明るい光や蒸気などの危険を検出します。
    • 危険が検出されない場合は、何も起こりません。
    • 危険が検出されると、Gemini は危険の種類、属性、場所を含むマルチモーダル レスポンスを生成し、Blob オブジェクトとして保存します。Gemini は、危険警告レスポンスをストリーミング ツールに返します。
  5. ストリーミング ツールは、ハザード警告レスポンスをストリーミング バッファに転送します。
  6. ストリーミング バッファは、永続的な WebSocket 接続を使用して、ハザード警告レスポンスをクライアント ダッシュボードに配信します。
  7. クライアント ダッシュボードは、ハザード警告レスポンスから Blob データを抽出し、ナレーションによるガイダンスを即座に提供し、関連する文字起こしで UI を更新します。これにより、アクティブな双方向ストリームを維持しながら、リクエスト ループが完了します。

使用するプロダクト

このリファレンス アーキテクチャでは、次の Google Cloud プロダクトとツールを使用します。

  • Cloud Run: Google のスケーラブルなインフラストラクチャ上でコンテナを直接実行できるサーバーレス コンピューティング プラットフォーム。
  • Gemini: Google が開発したマルチモーダル AI モデルのファミリー。
  • Gemini Enterprise Agent Platform: エンタープライズ グレードの AI エージェントを構築、スケーリング、管理、最適化できる包括的なプラットフォーム。
  • Agent Development Kit（ADK）: AI エージェントの開発、テスト、デプロイを行うためのツールとライブラリのセット。
  • Agent2Agent（A2A）プロトコル: プログラミング言語やランタイムに関係なく、エージェント間の通信と相互運用を可能にするオープン プロトコル。
  • サーバーレス VPC アクセス: サーバーレス環境を Virtual Private Cloud ネットワーク内のリソースに接続できるようにするサービス。
  • Virtual Private Cloud（VPC）: Google Cloud ワークロードにグローバルでスケーラブルなネットワーキング機能を提供する仮想システム。VPC には、VPC ネットワーク ピアリング、Private Service Connect、プライベート サービス アクセス、共有 VPC が含まれます。
  • Memorystore for Redis Cluster: Redis 用のフルマネージド インメモリ データストア サービス。
  • Compute Engine: Google のインフラストラクチャで VM を作成して実行できる、安全でカスタマイズ可能なコンピューティング サービス。

フレームワーク、Agent Runtime、ツール、メモリ、設計パターンなど、エージェント型 AI システムの代替コンポーネントの選択については、エージェント型 AI アーキテクチャ コンポーネントを選択するをご覧ください。

ユースケース

このリファレンス アーキテクチャは、継続的な双方向マルチモーダル データ ストリームのリアルタイム合成を必要とするユースケース向けに設計されています。このドキュメントで説明するアーキテクチャのユースケースの例を次に示します。

  • 産業製造と現場メンテナンス: スマートグラスからのライブ音声と動画を処理する AI アシスタントを技術者に提供することで、複雑な機械のハンズフリー修理を可能にします。技術者は AI アシスタントと会話して、機械の回路図を取得します。AI アシスタントは、製品ドキュメントにアクセスする内部データベース エージェントを使用して、グラウンディングされた修理と組み立ての手順を確実に提供します。同時にバックグラウンドで動作するビジョンツールが双方向ストリームをモニタリングし、機械的な危険や組み立て手順の誤りを事前に技術者に警告します。
  • リモート テクニカル サポート: ユーザーがスマートフォンのカメラフィードをマルチモーダル エージェント型 AI システムと共有できるようにすることで、お客様のトラブルシューティングの結果を改善します。双方向ストリーミング アーキテクチャは、システムがハードウェアをリアルタイムでモニタリングする動的な会話をサポートします。バックグラウンドのビジョン プロセスで、ケーブルが間違ったポートに接続されているなどの接続不良が特定されると、システムは低レイテンシ ストリームを使用して、修正ガイダンスをユーザーにすぐに表示します。

設計上の考慮事項

このセクションでは、このリファレンス アーキテクチャを使用して、セキュリティ、運用、費用、パフォーマンスに関する特定の要件を満たすトポロジを開発する際に考慮すべき設計要素、ベスト プラクティス、推奨事項について説明します。

このセクションのガイダンスはすべてを網羅しているわけではありません。設計要素とベスト プラクティスの詳細、およびマルチエージェント AI システムの構築とデプロイに関する推奨事項については、 Google Cloudのマルチエージェント AI システムをご覧ください。

セキュリティ、プライバシー、コンプライアンス

AI エージェントに特有のセキュリティ リスクに対処するために、Google は決定論的なセキュリティ制御と動的な推論ベースの防御を組み合わせたアプローチを推奨しています。

  • 人間による監視: ビジネス クリティカルなシステムに人間参加型のフローを組み込み、人間の監督者がアウトプットを確認して、エージェントのアクションを承認、オーバーライド、一時停止できるようにします。
  • エージェント ID: 各エージェントにワークロード バインド ID を割り当てて、最小権限のアクセス制御を適用し、外部ツールの認証情報を一元管理します。
  • Agent Gateway: Model Armor を使用して、上り（内向き）と下り（外向き）のトラフィック ガバナンス、デフォルト拒否アクセス ポリシー、インライン プロンプトとツールの検査を適用します。

  • Agent Registry: エージェントが承認済みのサブエージェントと MCP ツールにのみ接続することを確認します。

  • アプリケーションの上り（内向き）セキュリティ: アプリケーションへのアクセスを制御するには、フロントエンド Cloud Run サービスのデフォルトの run.app URL を無効にして、リージョン外部アプリケーション ロードバランサを設定します。ロードバランサは、アプリケーションへの受信トラフィックのロード バランシングとともに、SSL 証明書の管理も処理します。保護を強化するために、Google Cloud Armor セキュリティ ポリシーを使用して、サービスにリクエスト フィルタリング、DDoS 保護、レート制限を提供できます。

  • WebSocket のセキュリティ: すべての双方向 WebSocket 接続に TLS 暗号化を適用することで、音声プリントや動画などの機密性の高いマルチモーダル データを保護します。

  • 安全な A2A 通信:

運用効率

エージェント構成が運用効率の要件を満たすようにするには、次の推奨事項を考慮してください。

  • 制御ループ スクリプト: 双方向ライブ エージェントのシステム プロンプトを、単なる個性ガイドラインではなく、厳格なステート マシン動作ループとして記述します。システム プロンプトで、トリガーされるまでエージェントを無音状態にするよう明示的に指示する必要があります。音声インタラクションが簡潔で自然になるように、簡潔でアクションを優先したレスポンスを強制する必要があります。
  • 関心の分離: 専用のバックグラウンド ストリーミング ツールを使用して、プライマリ エージェントとは独立して動画フィードをモニタリングします。アーキテクチャのルート エージェントは双方向であり、自身の発話を即座に中断して、これらの重要な安全に関する警告をユーザーにブロードキャストできます。また、1 つのエージェントに動画フィードの継続的なモニタリングを依頼すると、認知過負荷やハルシネーションが発生する可能性があります。

費用の最適化

エージェント構成が費用の要件を満たすようにするには、次の推奨事項を考慮してください。

  • データの取り込み費用: トークン費用を削減し、コンテキスト ウィンドウの枯渇を防ぐには、1 秒あたり 2 フレームなどの低頻度のフレーム サンプリングを使用し、すべてのデータを Base64 JPEG ファイルに圧縮します。
  • 費用対効果の高いプロンプト: プロンプト（入力）の長さと生成されたレスポンス（出力）は、パフォーマンスと費用に直接影響します。短く、直接的で、十分なコンテキストを提供するプロンプトを作成します。モデルから簡潔な回答を得られるようにプロンプトを設計します。たとえば、「2 文で要約して」や「3 つの要点をリストアップして」などのフレーズを含めます。詳細については、プロンプト設計のベスト プラクティスをご覧ください。

パフォーマンスの最適化

エージェント構成がパフォーマンス要件を満たしていることを確認するには、次の推奨事項を検討してください。

  • 非同期バッファリング: 受信した音声パケットと動画パケットをモデルの推論エンジンから分離するには、スレッドセーフな非同期の先入れ先出し（FIFO）バッファを使用します。このバッファは、大量の計算中にユーザー インターフェースがフリーズすることなく、ユーザーの中断にシステムが応答し続けることを保証するマルチプレクサとして機能します。
  • インメモリ キャッシュ: ミリ秒未満の読み取り速度を実現するには、アーキテクト エージェントの回路図ボルトにインメモリ Memorystore for Redis Cluster データベースを使用します。この実装により、レイテンシが最小限に抑えられ、リアルタイムの音声インタラクション中の無音状態が防止され、スケーラブルな信頼できる唯一の情報源が提供されます。
  • リソース割り当て: パフォーマンス要件に応じて、Cloud Run サービスに割り当てるメモリ上限と CPU 上限を構成します。

デプロイ

このアーキテクチャのサンプル実装をデプロイするには、次の Codelab をお試しください。

次のステップ

寄稿者

著者:

  • Christina Lin | デベロッパー リレーションズ エンジニア マネージャー
  • Samantha He | テクニカル ライター

その他の寄稿者: