Managed Service for Apache Airflow の設定を収集する
このページでは、Cortex Framework 内のデータを自動化するために Managed Service for Apache Airflow の設定を収集する方法について説明します。
Managed Service for Apache Airflow が使用可能な場合は、ワークロードからデプロイまでの次の名前を使用して、データが存在するソース プロジェクトを指す 接続を作成する必要があります。ワークロードの詳細については、データソースとワークロードをご覧ください。レポート レイヤでテーブルを作成する場合は、レポート DAG 用に個別の接続を作成してください。
| ワークロードのデプロイ | Create for Raw | CDC 用に作成 | レポート用に作成 |
| SAP | なし | sap_cdc_bq
|
sap_reporting_bq
|
| SFDC | sfdc_cdc_bq
|
sfdc_cdc_bq
|
sfdc_reporting_bq
|
| Google 広告 | googleads_raw_dataflow
|
googleads_cdc_bq
|
googleads_reporting_bq
|
| CM360 | cm360_raw_dataflow
|
cm360_cdc_bq
|
cm360_reporting_bq
|
| Meta | meta_raw_dataflow
|
meta_cdc_bq
|
meta_reporting_bq
|
| TikTok | tiktok_raw_dataflow
|
tiktok_cdc_bq
|
tiktok_reporting_bq
|
| LiveRamp | なし | liveramp_cdc_bq
|
なし |
| SFMC | sfmc_raw_dataflow
|
sfmc_cdc_bq
|
sfmc_reporting_bq
|
| DV360 | なし | dv360_cdc_bq
|
dv360_reporting_bq
|
| GA4 | なし | なし | ga4_reporting_bq
|
| Oracle EBS | なし | なし | oracleebs_reporting_bq
|
| サステナビリティ | なし | なし | k9_reporting_bq
|
| 共通のディメンション | なし | なし | k9_reporting
|
接続の命名規則
接続の命名規則については、次の仕様を考慮してください。
- 接続の接尾辞: 接続名には、目的を示す接尾辞が含まれています。
_bq: BigQuery データへのアクセスに使用されます。_dataflow: Dataflow ジョブの実行に使用されます。
- 元データ接続: Cortex が提供するデータの取り込みモジュールを使用している場合にのみ、元データのデータ接続を作成する必要があります。
- 複数のデータソース: 複数のデータソース（SAP と Salesforce など）をデプロイする場合は、個々のサービス アカウントにセキュリティ制限が適用されていると仮定して、それぞれに個別の接続を作成することをおすすめします。または、デプロイ前にテンプレートで接続名を変更して、BigQuery への書き込みに同じ接続を使用することもできます。
おすすめのセキュリティ対策
- デフォルトの接続を避ける: Airflow が提供するデフォルトの接続とサービス アカウントは、特に本番環境では使用しないことをおすすめします。これは、必要な最小限のアクセス権のみを付与することを重視する最小権限の原則に沿ったものです。
- Secret Manager の統合: Airflow で Secret Manager が有効になっている場合は、同じ名前を使用して Secret Manager 内でこれらの接続を作成できます。Secret Manager に保存されている接続は、Airflow で直接定義されている接続よりも優先されます。