Managed Service for Apache Airflow の設定の収集
このページでは、Cortex Framework 内のデータを自動化するために、Managed Service for Apache Airflow の設定を収集する方法について説明します。
Managed Service for Apache Airflow が使用可能な場合は、ワークロードからデプロイメントまでの次の名前を使用して、データが存在するソース プロジェクトを指す接続を Managed Service for Apache Airflow 内に 作成する必要があります。ワークロードの詳細については、データソースとワークロードをご覧ください。 レポート レイヤでテーブルを作成する場合は、 レポート DAG 用に個別の接続を作成してください。
| ワークロードのデプロイ | Raw 用に作成 | CDC 用に作成 | レポート用に作成 |
| SAP | なし | sap_cdc_bq
|
sap_reporting_bq
|
| SFDC | sfdc_cdc_bq
|
sfdc_cdc_bq
|
sfdc_reporting_bq
|
| Google 広告 | googleads_raw_dataflow
|
googleads_cdc_bq
|
googleads_reporting_bq
|
| CM360 | cm360_raw_dataflow
|
cm360_cdc_bq
|
cm360_reporting_bq
|
| Meta | meta_raw_dataflow
|
meta_cdc_bq
|
meta_reporting_bq
|
| TikTok | tiktok_raw_dataflow
|
tiktok_cdc_bq
|
tiktok_reporting_bq
|
| LiveRamp | なし | liveramp_cdc_bq
|
なし |
| SFMC | sfmc_raw_dataflow
|
sfmc_cdc_bq
|
sfmc_reporting_bq
|
| DV360 | なし | dv360_cdc_bq
|
dv360_reporting_bq
|
| GA4 | なし | なし | ga4_reporting_bq
|
| Oracle EBS | なし | なし | oracleebs_reporting_bq
|
| サステナビリティ | なし | なし | k9_reporting_bq
|
| 共通ディメンション | なし | なし | k9_reporting
|
接続の命名規則
接続の命名規則については、次の仕様を考慮してください。
- 接続の接尾辞: 接続名には、その目的を示す接尾辞が含まれます:
_bq: BigQuery データへのアクセスに使用されます。_dataflow: Dataflow ジョブの実行に使用されます。
- Raw データ接続: Cortex が提供するデータの取り込みモジュールを使用している場合は、Raw データ用の接続を作成するだけで済みます。
- 複数のデータソース: 複数のデータソース（たとえば、 SAP と Salesforce の両方など）をデプロイする場合は、個々のサービス アカウントにセキュリティ制限が適用されていることを前提として、それぞれに個別の接続を 作成することをおすすめします。または、デプロイ前にテンプレートの接続名を変更して、BigQuery への書き込みに同じ接続を使用することもできます。
おすすめのセキュリティ対策
- デフォルトの接続を避ける: Airflow が提供するデフォルトの 接続とサービス アカウントは、特に 本番環境では使用しないことをおすすめします。これは、必要な 最小限のアクセス権のみを付与することを重視する最小権限の原則に沿ったものです。
- Secret Manager の統合: Airflow で Secret Manager が有効になっている場合は、同じ名前を使用して Secret Manager 内にこれらの接続を作成できます。Secret Manager に保存されている接続は、Airflow で直接定義されている接続よりも優先されます。