ユーザー イベントの取り込みスタートガイド

このページでは、ユーザー イベントの取り込みに関するガイダンスと一般的なベスト プラクティスについて説明します。チュートリアルをご覧になって、使ってみましょう。

始める前に

チュートリアル

これらのチュートリアルでは、さまざまなソースからユーザー イベントをインポートする方法について説明します。

Cloud Storage からイベントをインポートする

このチュートリアルでは、Cloud Storage からユーザー イベントをインポートする方法を説明します。

このタスクを Cloud Shell エディタで直接行う際の順を追ったガイダンスについては、[ガイドを表示] をクリックしてください。

ガイドを表示

BigQuery からイベントをインポートする

このチュートリアルでは、BigQuery からユーザー イベントをインポートする方法を説明します。

このタスクを Cloud Shell エディタで直接行う際の順を追ったガイダンスについては、[ガイドを表示] をクリックしてください。

ガイドを表示

イベントをインラインでインポートする

このチュートリアルでは、ユーザー イベント データをインラインでインポートする方法について説明します。

このタスクを Cloud Shell エディタで直接行う際の順を追ったガイダンスについては、[ガイドを表示] をクリックしてください。

ガイドを表示

Vertex AI Search for Commerce のデータ取り込みパイプラインには、商品カタログとユーザー イベントの両方のデータが含まれます。このデータ ストリームは、フィードバック メカニズムによるモデルのトレーニングと継続的な評価の基盤となります。正確で完全なデータ取り込みは、基盤となるモデルの適応性を維持するための継続的なプロセスであり、検索結果の品質と関連性に直接影響します。

ユーザー イベントの取り込みに関する一般的なベスト プラクティス

検索ソリューションを設計する際は、次のデータ取り込みのベスト プラクティスを検討して、効率と有効性を最大限に高めます。

Vertex AI Search for Commerce でユーザー イベントを取り込む

カタログの取り込みプロセスと同様に、Vertex AI Search for Commerce はユーザー イベントデータに 2 つのメカニズムを提供します。一括インポートとリアルタイム ストリーミングにより、さまざまなお客様のバックエンド アーキテクチャに柔軟に対応できます。ただし、カタログではハイブリッド アプローチが実現可能ですが、ユーザー イベントでは専用の取り込み戦略が適しています。2 つのオプションのうち、リアルタイム ストリーミングは実用的な実装で標準となっています。

どちらもモデルのトレーニング、KPI の測定、収益の最適化で同等の結果が得られますが、わずかなトレードオフがあります。たとえば、過去の大量のデータを処理する場合は一括インポートの方が効率的ですが、ストリーミングの方がユーザーに対する応答性が高くなります。

選択は、次のような小売環境の要件によって異なります。

  • モデルのトレーニングにユーザー イベントを組み込む際のレイテンシの目標。
  • 生成されるイベントの量。

Vertex AI Search for Commerce でユーザー イベントの取り込みをスケーリングする

スケーリング シナリオを事前に計画して、トラフィックの急増に備え、データの完全性を確保します。週末セールなどのトラフィックの多い特別なイベントでは、ユーザー アクティビティが 10 ～ 20 倍に急増することがあります。このような急増に対応するには、十分な割り当てと取り込みシステムの拡張性が重要です。

こうしたイベントは、多くの場合、トラフィックの急増として現れ、徐々に増加することはありません。ピーク時のイベントが欠落すると、モデルのトレーニングが妨げられ、検索パフォーマンスが低下し、KPI の測定値が歪む可能性があります。イベントは KPI のトラッキングと一般的なトラブルシューティングの基礎となるため、問題のデバッグは難しい場合があります。堅牢なアラートを実装すると、データ品質の低下を通知できます。これは、イベントデータの欠落や誤りが原因で発生することがよくあります。

このようなシナリオを想定して対策を講じることで、極端な負荷条件下でもユーザー イベント データの信頼性と精度を維持できます。正確なデータは、トラフィックのピーク時に Vertex AI Search for Commerce システムが最適化されたパフォーマンス、正確な分析、ユーザー中心のエクスペリエンスを提供するための基盤となります。

バッチイベント取り込みのリファレンス アーキテクチャ

バッチイベント取り込みのリファレンス アーキテクチャ

バッチ取り込みには、ユーザー イベントを Vertex AI Search for Commerce に効率的に取り込むように設計されたスケーラブルなアーキテクチャが必要です。このアーキテクチャは、Pub/Sub、Dataflow、BigQuery、Workflows、Cloud Storage などの Google Cloud サービスで構成されており、取り込みプロセスを段階的かつ制御された方法で管理します。

アーキテクチャの概要

バッチ イベント取り込みアーキテクチャでは、ユーザー イベント データを Vertex AI Search for Commerce に確実に正確に転送するために、マルチステージ アプローチを採用しています。

主なコンポーネントは次のとおりです。

  • Pub/Sub: ユーザー イベントの最初のエントリ ポイントとして機能し、スケーラブルで耐久性のあるメッセージング システムを提供します。
  • Dataflow（ストリーミング イベント）: Pub/Sub から未加工のユーザー イベントを継続的に読み取り、BigQuery の未加工イベント テーブルに書き込みます。また、デバッグ用に失敗したイベントもキャプチャします。
  • BigQuery: 主要なデータ ウェアハウジング ソリューションとして機能し、未加工のイベント、変換されたイベント、取り込みプロセスに関連するさまざまなメタデータを保存します。
  • ワークフロー: 生イベントの 1 時間ごとのバッチ処理をオーケストレートし、データの完全性を確保してエラー処理を容易にします。
  • Cloud Storage: 処理中の Dataflow と、失敗したイベントログのアーカイブ用に一時ストレージを提供します。
  • Vertex AI Search for Commerce: ユーザー イベント データの最終的な宛先。高度な検索機能とレコメンデーション機能を有効にします。

データフローの詳細

これは、一括イベントの取り込みのステップごとのデータフローです。

  1. イベント ストリーミングと元データの永続性:

    • ユーザー イベントは、顧客のソースシステムから Pub/Sub トピックにパブリッシュされます。
    • Dataflow ストリーミング パイプライン（ストリーミング イベント）は、Pub/Sub からイベントを継続的に読み取ります。
    • 成功した未加工のイベントは、BigQuery の未加工のイベント テーブルに書き込まれます。
    • この初期取り込み中に発生した障害は、分析とトラブルシューティングのために、個別の BigQuery の未加工の失敗テーブルにキャプチャされて保存されます。

  2. 1 時間ごとのバッチ処理と変換:

    • Workflows は、1 時間ごとにスケジュールされた Dataflow パイプライン（増分バッチ イベント）をトリガーします。
    • このパイプラインは、BigQuery テーブルから未加工のイベントを読み取ります。
    • イベントは、必要な Vertex AI Search for Commerce 形式に変換されます。
    • 変換されたイベントは、BigQuery のキュレートされたイベント テーブルに書き込まれます。
    • 変換の失敗は、BigQuery のキュレートされた失敗イベント テーブルにキャプチャされます。

  3. データの検証と準備:

    • ワークフローは BigQuery ストアド プロシージャを実行して、過去 1 時間の最新の変換済みイベント データを反映するビュー（Incr Update Event View）を作成または更新します。
    • ワークフローは、このビューに対して検証チェックを実行し、変換されたイベントの数が事前定義されたしきい値内に収まっていることを確認します。

  4. Vertex AI Search for Commerce のインポート:

    • 検証に成功すると、Workflows は Vertex AI Search for Commerce のインポート イベント API を呼び出し、変換されたイベントを含む BigQuery ビューを指定します。
    • Vertex AI Search for Commerce は、これらのイベントをインポートして、さらなる処理とインデックス登録を行います。

バッチイベントの取り込みに関するその他の考慮事項

バッチイベントを取り込む際に考慮すべき追加の側面は次のとおりです。

  • セキュリティ: 機密性の高いユーザー イベント データを保護するために、アクセス制御や暗号化などの適切なセキュリティ対策を実装する必要があります。
  • モニタリングとロギング: システムのパフォーマンスを追跡し、潜在的な問題を事前に特定するために、包括的なモニタリングとロギングを設定する必要があります。
  • 費用の最適化: 費用を最適化し、 Google Cloud サービスを効率的に使用するために、リソース使用率をモニタリングする必要があります。

このアーキテクチャは、ユーザー イベントを Vertex AI Search for Commerce に取り込むための基盤を提供します。さまざまな Google Cloud サービスを使用し、データ処理とエラー処理のベスト プラクティスを取り入れることで、組織は高度な検索とレコメンデーション エクスペリエンスを実現するスケーラブルで保守可能なソリューションを構築できます。

次のステップ