外部データセットを構成する
このページでは、Cortex Framework Data Foundation デプロイの外部データセットを構成する省略可能な手順について説明します。高度なユースケースでは、エンタープライズ システム オブ レコードを補完するために外部データセットが必要になる場合があります。BigQuery Sharing(旧 Analytics Hub)から使用される外部交換に加えて、データを取り込んでレポートモデルと結合するために、カスタムまたは調整された方法が必要なデータセットもあります。
次の外部データセットを有効にするには、データセットをデプロイする場合は k9.deployDataset を True に設定します。
次の手順に沿って、サポートされている外部データセットの有向非巡回グラフ(DAG)を構成します。
祝日カレンダー: この DAG は、 PyPi Holidays から特別な日付を取得します。
- `
holiday_calendar.ini` で祝日を取得するように、国リスト、年リスト、その他の DAG パラメータ を調整します。
- `
トレンド: この DAG は、Google 検索トレンドから特定の用語セット のインタレストの推移を取得します。 用語は
trends.iniで構成できます。- 最初の実行後、
start_dateを'today 7-d'にtrends.iniで調整します。 - さまざまな用語から得られた結果を把握して、パラメータを調整します。
- 大きなリストは、異なる時間に実行されるこの DAG の複数のコピーに分割することをおすすめします。
- 使用されている基盤となるライブラリの詳細については、Pytrends をご覧ください。
- 最初の実行後、
天気: デフォルトでは、この DAG は一般公開されている テストデータセット
BigQuery-public-data.geo_openstreetmap.planet_layersを使用します。このクエリは、共有でのみ使用可能な NOAA データセット にも依存しています:noaa_global_forecast_system.このデータセットは、デプロイを実行する前に、他のデータセットと同じリージョンに作成する必要があります 。データセットがリージョンで使用できない場合は、次の手順に沿って、選択したリージョンにデータを転送します。
- [**共有(Analytics Hub)**] ページに移動します。
- [リスティングを検索] をクリックします。
- NOAA Global Forecast System を検索します。
- [登録] をクリックします。
- プロンプトが表示されたら、データセットの名前として
noaa_global_forecast_systemを保持します。必要に応じて、weather_daily.sqlの FROM 句でデータセットとテーブルの名前を調整します。 - データセット
OpenStreetMap Public Datasetのリスティング検索を繰り返します。 postcode.sqlのBigQuery-public-data.geo_openstreetmap.planet_layersを含むFROM句を調整します。
サステナビリティと ESG の分析情報: Cortex Framework は、 SAP のサプライヤー パフォーマンス データと高度な ESG の分析情報を組み合わせて、 グローバル オペレーション全体でデリバリー パフォーマンス、サステナビリティ、リスクをより包括的に比較します。詳細については、 Dun & Bradstreet データソースをご覧ください。
一般的な考慮事項
共有 は EU と米国のロケーションでのみサポートされています。 NOAA Global Forecast などの一部のデータセットは、 単一のマルチロケーションでのみ提供されます。
必要なデータセットで使用可能なロケーションとは異なるロケーションをターゲットにしている場合は、 スケジュールされたクエリ を作成して、共有 リンクされたデータセットから新しいレコードをコピーし、転送サービス を使用して、デプロイの他の部分と同じロケーションまたはリージョンにあるデータセットに新しいレコードをコピーすることをおすすめします。 次に、SQL ファイルを調整する必要があります。
これらの DAG を Managed Airflow にコピーする前に、必要な Python モジュールを 依存関係として追加します。
Required modules: pytrends~=4.9.2 holidays