SAP ERP データソース
SAP ERP 用の Google Cloud Cortex Framework データ基盤レイヤでは、ソース システムの元データへの接続が必要です。SAP ECC と SAP S/4HANA の両方がサポートされています。
Cortex Framework コンテンツをデプロイする前に、関連する SAP ERP テーブルを BigQuery に複製する必要があります。これを行うには、変更データ キャプチャ(CDC)処理専用の未加工レイヤ データセットにデータを格納するか、確立された CDC パイプラインを使用してデータ基盤レイヤに直接データをフィードします。詳細については、SAP ERP データの複製に関する技術要件をご覧ください。
任意のレプリケーション ツールを使用できます。ただし、未加工のテーブル形式で BigQuery にデータを複製できる必要があります。たとえば、Google Cloud ソリューションには、BigQuery Connector for SAP(SAP SLT が必要)と BigQuery Toolkit for SAP があります。
SAP ERP からレプリケートされた元データセットと Cortex Framework データ基盤レイヤの互換性を確保するには、次の要件を満たしていることを確認します。
SAP ERP データのレプリケーションに関する技術要件
SAP データを BigQuery の Cortex Framework に複製するための次の技術要件を確認して完了してください。
元データの構造: ECC または S/4HANA からのデータは、SAP のベーステーブルと同じ構造で、ビジネス変換なしで BigQuery に取り込まれる必要があります。テーブルは、SAP に存在する必要なフィールド名、型、粒度で複製する必要があります。
テーブル構成: 変換するテーブルのリストは、
table_settings.yamlファイル(config/cortex/data_foundation/sapの下)で定義されます。デプロイ中に必要なテーブルが見つからない場合、そのテーブルに依存する特定のデータ プロダクトは失敗します。メタデータの要件: SAP ソースからテーブル
DD03Lを複製する必要があります。このテーブルにはフィールド メタデータとキーが含まれているため、依存関係解決ツールにとって重要です。大文字と小文字の区別: Cortex Framework データモデルとの互換性を確保するため、BigQuery 内の複製された SAP テーブルの名前は小文字にする必要があります(たとえば、SAP テーブル
MARAは BigQuery でmaraになります)。オブジェクト名(列)と特殊文字: 特殊文字(
/、-、先頭のアンダースコア_など)を含むオブジェクト名(列)の場合、Cortex は一般的なサニタイズ パターンを想定しています。- 英数字以外の文字はすべてアンダースコア
_に置き換えられます。 - 先頭にアンダースコアや数字を使用することはできません。たとえば、
/GOOG/TESTはgoog_testに、_DATAAGINGはdataagingになります。レプリケーション ツールで先頭のアンダースコアが保持されたデータが生成される場合は、Data Foundation レイヤで正規化ステップ(エイリアス)が必要です。
- 英数字以外の文字はすべてアンダースコア
データ伝播フィールド: CDC(変更データ キャプチャ)とデータ伝播をサポートするには、複製された SAP テーブルに次のものが必要です。
operation_flagという名前のオペレーション フラグ(L= 初期読み込み、I= 挿入、U= 更新、D= 削除)。recordstampという名前のタイムスタンプ(読み込み時の現在のタイムスタンプが入力されます)。- 省略可: 複製された
_DS_RAWテーブルで追加フィールドis_deleted(BOOLEAN)が選択されている(初期読み込みでデフォルトで false になる)。この列は、Cortex によって生成される実行時ビューで参照されるが、レプリケーション ツールで作成されない場合は、実行前に CDC とビューのテンプレートから削除できる。
データ型: 互換性のために SAP データ型と BigQuery データ型をマッピングする必要があります。
標準オペレーションに必要なもの:
データ型 SAP データ型 BigQuery 説明 DATS DATE日付データ型 時刻 TIME時間データ型 精度と互換性のために強く推奨:
CURR(通貨)とQUAN(数量)をNUMERICまたはBIGNUMERICにマッピングします(財務計算での丸め誤差を防ぐため、FLOAT64は避けてください)。NUMC(数値文字)がSTRINGにマッピングされます(ドキュメント番号と項目番号の先頭のゼロを保持し、結合を成功させるため)。
ペイロード圧縮: BigQuery で空の SAP 列(スペースやゼロなどの初期値)が
NULLで埋められないようにするには、コネクタ構成でペイロード圧縮が無効になっている(または [圧縮なしで送信] が有効になっている)ことを確認します。これにより、空の文字列やゼロがデフォルトのNULLではなく、移行先でそのまま保持されます。