BigQuery Data Transfer Service とは

BigQuery Data Transfer Service は、あらかじめ設定されたスケジュールに基づいて BigQuery へのデータの移行を自動化するマネージド サービスです。そのため、アナリティクス チームが BigQuery データ ウェアハウス基盤を構築する際にコードの作成はまったく必要ありません。

BigQuery Data Transfer Service には、以下を使用してアクセスできます。

データ転送を設定すると、BigQuery Data Transfer Service によりデータが定期的かつ自動的に BigQuery に読み込まれます。また、データのバックフィルを開始して、停止またはギャップから回復することもできます。BigQuery Data Transfer Service を使用して BigQuery からデータを転送することはできません。

BigQuery Data Transfer Service は、BigQuery へのデータの読み込みに加えて、データセットのコピーとスケジュールされたクエリの 2 つの BigQuery オペレーションでも使用されます。

サポートされるデータソース

BigQuery Data Transfer Service では、次のデータソースからのデータの読み込みがサポートされています。

データ配信の SLO に関する考慮事項

データ配信 SLO は、 Google Cloud内のソースから BigQuery Data Transfer Service を使用して自動的にスケジュールされたデータ転送に適用されます。

サードパーティまたはGoogle Cloud 以外のソースを含むデータ転送では、これらのソースのサービス停止が BigQuery Data Transfer Service のパフォーマンスに影響する可能性があります。そのため、データ配信 SLO は、Google Cloud 以外のソースからの BigQuery Data Transfer Service のデータ転送には適用されません。

サポートされるリージョン

BigQuery と同様に、BigQuery Data Transfer Service はマルチリージョン リソースで、多くのシングル リージョンを追加で使用できます。

BigQuery データセットのロケーションは、BigQuery Data Transfer Service によって転送されるデータを格納するための宛先データセットを作成する際に指定されます。転送を設定すると、転送構成自体は宛先データセットと同じロケーションに設定されます。BigQuery Data Transfer Service では、宛先のデータセットと同じロケーションにあるデータが処理され、ステージングされます。

BigQuery に転送したいデータにリージョンを設定することもできます。ほとんどの場合、データが格納されるリージョンと BigQuery の宛先データセットのロケーションとの間には関係がありません。他の種類の転送では、データセットとソースデータは同じリージョン、あるいは互換リージョンの中に置く必要があります。

BigQuery Data Transfer Service の転送とリージョンの互換性については、データセットのロケーションと転送をご覧ください。BigQuery でサポートされるリージョンについては、データセットのロケーションをご覧ください。

データ転送で予約スロットを使用する

BigQuery Data Transfer Service によってトリガーされたジョブは、プロジェクト、フォルダ、または組織が次のいずれかのジョブタイプで予約に割り当てられている場合にのみ、予約スロットを使用します。

  • QUERY を使ったクエリジョブの実行
  • PIPELINE を使ったジョブの読み込み

データセットをコピーするジョブは、予約スロットを使用しません。

料金

BigQuery Data Transfer Service の料金については、料金ページをご覧ください。

データが BigQuery に転送されると、BigQuery のストレージとクエリの標準料金が適用されます。

割り当て

BigQuery Data Transfer Service の割り当てについては、割り当てと上限のページをご覧ください。

次のステップ

転送を作成する方法については、データソースのドキュメントをご覧ください。