クラウド ストレージ データフィードを v2 コネクタ フレームワークにアップグレードする

以下でサポートされています。

データ取り込みパイプラインの信頼性、スケーラビリティ、パフォーマンスを向上させるため、クラウド ストレージ データフィードを新しい v2 コネクタ フレームワークにアップグレードしています。この新しいフレームワークでは、 Google Cloud Storage Transfer Service（STS）を使用します。

v2 コネクタ フレームワークのメリット

v2 コネクタ フレームワークにアップグレードすると、データフィードが大幅に改善されます。たとえば、次のような改善があります。

  • ポーリング効率の向上: AWS などのソースからポーリングする際の効率が大幅に向上しました。
  • 信頼性とセキュリティの向上: リアルタイムのソース認証情報の検証により、安全で信頼性の高い接続が確保されます。
  • ID サポートの拡張: AWS フェデレーション ID の組み込みサポート。

移行のスケジュール

Cloud Storage、Amazon S3、Amazon SQS、Azure Blob Storage の以前のコネクタの v1 コネクタ フレームワークのサポートを終了します。

次の重要なマイルストーンに注意してください。

  • 2026 年 11 月 1 日 - サポート終了: v1 フィードに対する更新は提供されなくなり、ベスト エフォートでのサポートのみが提供されます。この日までに Google がフィードを移行して中断を回避できるよう、移行と実践を行うことを強くおすすめします。
  • 2027 年 3 月 15 日 - 永久的な無効化: 以前のコネクタはサポート終了となります。この日付を過ぎると、v1 コネクタを使用しているデータフィードは機能しなくなり、エラー メッセージが返されます。

自動移行と必要な対応

移行をスムーズに進めていただけるよう、以前の v1 コネクタを使用しているすべてのアクティブなデータフィードについて、自動移行サービスを利用できます。

移行元タイプに応じて、自動移行を成功させるために次の操作を行う必要があります。

  • Cloud Storage: サービス アカウントにアクセス権を付与するのドキュメントの説明に沿って、新しいサービス アカウントに特定の権限を付与します。
  • Amazon S3: 環境で IP 許可リストを使用している場合は、STS IP 範囲をバケット ポリシーに追加する必要があります。Amazon S3 の STS アクセスを有効にする手順に沿って操作します。
  • Amazon SQS: 移行では、単一の Amazon S3 バケットのメッセージを含む SQS キューのみがサポートされます。キューが複数のバケットからメッセージを受信する場合は、バケットごとに個別のフィードを作成します。SQS キューが正しく構成されていること、および SQS キューと Amazon S3 バケットの両方のアクセス認証情報が同一であることを確認します。
  • Microsoft Azure: ファイアウォールまたは仮想ネットワークを使用する場合は、Azure STS のアクセス手順に沿って STS IP 範囲を許可します。
  • 失敗したフィード: 現在のフィードを確認し、認証情報の誤りが原因で失敗しているフィードを修正して、正常に移行できるようにします。

安全性と信頼性

自動移行プロセスは、データ損失を防ぐことを目的としています。移行機能には、厳格な組み込みガードレールが用意されています。移行期間中の短い時間、データの重複が最小限に抑えられることが予想されます。

さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。