サードパーティ転送を使用する
BigQuery Data Transfer Service のサードパーティ転送を使用すると、Salesforce CRM、Adobe Analytics、Facebook Ads などの、繰り返し実施する必要がある外部データソースの読み込みジョブのスケジュールと管理を自動化できます。
始める前に
サードパーティ データ転送を作成する前に、以下の作業が必要です。
- BigQuery Data Transfer Service を有効にするために必要なすべての操作が完了していることを確認します。
- データを格納する BigQuery データセットを作成します。
- 転送を有効にするために必要な権限が構成されたことを確認するには、サードパーティ データソースのドキュメントをご覧ください。
- Pub/Sub の転送実行通知を設定する場合は、
pubsub.topics.setIamPolicy権限が必要です。メール通知を設定するだけの場合、Pub/Sub の権限は必要ありません。詳細については、BigQuery Data Transfer Service の実行通知をご覧ください。
必要な BigQuery のロール
BigQuery Data Transfer Service データ転送の作成に必要な権限を取得するには、プロジェクトに対する BigQuery 管理者 （roles/bigquery.admin）IAM ロールを付与するよう管理者に依頼します。ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。
この事前定義ロールには、BigQuery Data Transfer Service のデータ転送の作成に必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。
必要な権限
BigQuery Data Transfer Service データ転送を作成するには、次の権限が必要です。
-
BigQuery Data Transfer Service の権限:
-
bigquery.transfers.update -
bigquery.transfers.get
-
-
BigQuery の権限:
-
bigquery.datasets.get -
bigquery.datasets.getIamPolicy -
bigquery.datasets.update -
bigquery.datasets.setIamPolicy -
bigquery.jobs.create
-
カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。
詳細については、bigquery.admin へのアクセス権を付与するをご覧ください。
制限事項
サードパーティ転送には、次の制限があります。
- サードパーティ転送は、Google Cloud コンソールを使用して作成または更新する必要があります。
- bq コマンドライン ツールを使用してサードパーティ転送を構成または更新することはできません。
サードパーティ データ転送の設定
Google Cloud コンソールを使用してサードパーティ データ転送を作成するには:
Google Cloud Marketplace に移動します。
該当のサードパーティ プロバイダをクリックします。
サードパーティ プロバイダのドキュメント ページで、[登録] をクリックします。登録プロセスにはしばらく時間がかかることがあります。
登録が完了したら、[転送を構成] をクリックします。
[転送の作成] ページで、次の操作を行います。
[ソース] で、該当するサードパーティ データソースを選択します。[データソースを探索] をクリックすると、Google Cloud Marketplace のサードパーティ プロバイダのリストを表示できます。
[表示名] に、転送名（例:
My Transfer）を入力します。転送名には、後で修正が必要になった場合に簡単に識別できる任意の名前を使用できます。
[スケジュール] で、デフォルト値（[すぐに開始可能]）のままにするか、[設定した時間に開始] をクリックします。
[繰り返しの頻度] で、転送を実行する頻度のオプションを選択します。次のオプションがあります。
- 毎日（デフォルト）
- 毎週
- 毎月
- カスタム
- オンデマンド
[毎日] 以外のオプションを選択した場合は、追加のオプションが利用可能です。たとえば、[毎週] を選択した場合、曜日を選択するためのオプションが表示されます。
[開始日と実行時間] に、転送を開始する日付と時刻を入力します。[すぐに開始可能] を選択した場合、このオプションは無効になります。
[宛先データセット] で、データを保存するために作成したデータセットを選択します。
（省略可）[通知オプション] セクションで、次の操作を行います。
[ソースを接続] をクリックします。
プロンプトが表示されたら、[同意する] をクリックして、BigQuery Data Transfer Service にデータソースへの接続権限と BigQuery 内のデータ管理権限を付与します。
後続のページの指示に従って、外部データソースへの接続を構成します。
構成手順が完了したら、[保存] をクリックします。
サードパーティ転送の設定のトラブルシューティング
転送の設定に問題がある場合は、該当するサードパーティ ベンダーにお問い合わせください。連絡先情報は、Google Cloud Marketplace の転送のドキュメント ページで確認できます。
データに対するクエリを実行する
データが BigQuery に転送されると、取り込み時間パーティション分割テーブルにそのデータが書き込まれます。詳細については、パーティション分割テーブルの概要をご覧ください。
自動生成されたビューを使用せずに、テーブルでクエリを直接実行する場合は、そのクエリで _PARTITIONTIME 疑似列を使用する必要があります。詳細については、パーティション分割テーブルのクエリをご覧ください。
次のステップ
- BigQuery Data Transfer Service の概要については、BigQuery Data Transfer Service の概要をご覧ください。
- 転送構成に関する情報の取得、転送構成の一覧表示、転送の実行履歴の表示など、転送の使用方法については、転送の操作をご覧ください。