Présentation des données comme fondement

La couche de base de données de Cortex Framework sert de représentation standardisée et propre des derniers enregistrements de vos systèmes sources. Il comble le fossé entre les systèmes d'enregistrement d'entreprise répliqués bruts et les données de consommation analytiques à forte valeur ajoutée en fournissant des tables et des vues réutilisables et de haute fidélité dans BigQuery.

Bien que le calque de base de données alimente le calque de produit de données, il peut être utilisé entièrement seul et inclut les fonctionnalités suivantes :

  • Déploiement indépendant : les organisations qui souhaitent établir un datastore opérationnel (ODS) propre, conforme et standardisé dans BigQuery peuvent déployer uniquement le ou les modules de base de données. Vous n'avez pas besoin de déployer la couche de produit de données pour utiliser la base de données.
  • Consommation directe : les tables de base de données autonomes servent de source unique de vérité centralisée et hautement optimisée. Elles peuvent alimenter directement les architectures de maillage de données d'entreprise existantes, les pipelines ETL en aval personnalisés, les outils de BI tiers, les modèles de ML personnalisés et les agents d'IA indépendants, sans dépendance vis-à-vis des produits de données fournis par Cortex Framework.
  • Extensibilité élevée : le framework reconnaît et ajoute automatiquement les colonnes de tableau personnalisées (par exemple, les colonnes préfixées par "Z" ou "Y") lors de la création et de la compilation du module de base. Il est possible d'étendre la base de données avec des tables supplémentaires (tables personnalisées ou tables standards non incluses dans la base) avec un minimum d'effort.

Sources de données prises en charge

La couche de base de données est compatible avec les données brutes répliquées à partir des systèmes SAP ERP, y compris :

Pour en savoir plus, consultez la documentation sur l'intégration du système source.

Fonctionnalités de base

L'objectif principal de cette couche est de standardiser, nettoyer et conformer les données sources brutes en tables de haute fidélité à l'aide des méthodes suivantes :

  • Protection du schéma : les schémas transactionnels bruts tels que ceux de SAP changent fréquemment et sont difficiles à parcourir. La couche de base protège les consommateurs en aval des complexités des tables brutes et des modifications de schéma sous-jacentes en fournissant des structures cibles stables et standardisées.
  • Métadonnées et annotations prêtes à l'emploi : pour aider les utilisateurs professionnels à comprendre les modèles de données techniques, la couche de base de données utilise une vaste bibliothèque d'annotations (src/data_modules/{namespace}/{system}/data_foundation/{foundation_name}/annotations/). Lors du processus de compilation, le framework enrichit les colonnes techniques du système source avec des descriptions métier lisibles par l'homme dans les métadonnées des tables BigQuery (par exemple, en traduisant une colonne SAP telle que bukrs en Company Code). Ces métadonnées riches rendent les tables immédiatement utilisables par les analystes métier, les tableaux de bord BI et les agents d'IA d'entreprise.
  • Adaptation dynamique du schéma : compatible avec les schémas de tables dynamiques. Il ingère et propage automatiquement les champs personnalisés (tels que les champs Z* ou Y* dans SAP, ou les attributs personnalisés dans d'autres sources) à partir de la couche brute sans nécessiter de modifications manuelles du code des modèles SQL sous-jacents.
  • Conformité et déduplication automatiques des données : que les données brutes arrivent sous forme de journaux de modifications ou d'instantanés complets, la couche de base gère automatiquement la déduplication, le casting du type de données et la reconstruction de l'état. Cela vous permet de toujours interroger l'état actuel et précis de chaque enregistrement.

Sources CDC et non CDC

Pour les pipelines gérés de manière native par Cortex Framework, la configuration est appliquée au niveau de chaque table. Vous pouvez configurer le traitement de chaque table en fonction de la façon dont les données sources brutes arrivent (journaux de modifications incrémentielles ou instantanés complets des tables). Par exemple, les tables individuelles d'une source CDC peuvent être déclarées comme isCdc: false pour être traitées comme des tables d'instantanés :

  • Sources compatibles avec la CDC : pour les données brutes répliquées sous forme de journaux de capture des données modifiées (contenant des indicateurs d'opération et des codes temporels, tels que les insertions, les mises à jour et les suppressions à partir d'outils comme BigQuery Connector pour SAP ou BigQuery Toolkit pour SAP), Cortex Framework génère des pipelines Dataform dédiés qui traitent de manière incrémentielle les journaux bruts dans une table conforme "dernier état" persistante et mise à jour en continu.
  • Sources non CDC (instantané complet/par lot) : pour les sources qui ne fournissent pas de journaux des modifications CDC ou dont les tables sont répliquées périodiquement sous forme d'extraits complets, Cortex Framework demande au pipeline de traiter les données sous forme d'instantanés de table complets sans logique de reconstruction de l'état CDC (voir l'attribut de configuration isCdc dans la base de données, configuration des paramètres de table).

Bases de données externes

En plus de gérer le traitement CDC de manière native au niveau de chaque table, Cortex Framework offre la flexibilité architecturale nécessaire pour s'intégrer aux infrastructures de données externes existantes au niveau de l'ensemble de l'infrastructure. L'ensemble de la base peut être déclaré comme externe, auquel cas Cortex Framework suppose que l'ensemble du traitement CDC a déjà été effectué :

  • Fondation de données gérée par Cortex : Cortex Framework crée et orchestre les pipelines de transformation Dataform, en lisant les données brutes de votre zone de réception et en matérialisant les tables conformes dans votre ensemble de données de base cible.
  • Fondation de données externe : si votre entreprise utilise déjà un outil de réplication externe, un pipeline tiers ou une couche sémantique préétablie qui effectue la reconstruction CDC et le nettoyage des données en dehors de Cortex Framework, vous pouvez l'enregistrer en tant que fondation de données externe (voir l'indicateur external dans le paramètre de fondation du module de données). Lorsqu'il est configuré comme externe, Cortex Framework évite de générer des pipelines de transformation de base intégrés et pointe plutôt les produits de données en aval directement vers votre ensemble de données cible existant.

Options de configurabilité de la base de données

Alors que les configurations globales et au niveau du module sont gérées dans le fichier config.yaml, les options au niveau du tableau sont configurées via un fichier table_settings.yaml spécifique à la source (pour les systèmes SAP, il est composé des sections common, ecc et s4. Pour en savoir plus, consultez Style de configuration du déploiement et des paramètres de tableau pour SAP ERP). Ce fichier vous permet de contrôler les options de matérialisation, l'optimisation du déploiement et les fonctionnalités de performances BigQuery pour les tables individuelles, le tout sans écrire ni modifier de code SQL.

  • Résolution dynamique des dépendances : par défaut (deployAlways: false), Cortex Framework optimise l'empreinte de déploiement et le coût d'exécution en ne déployant et en ne compilant que les tables de la couche de fondation de données qui sont activement requises en tant que dépendances par les produits de données en aval activés. Pour remplacer cette optimisation et forcer le déploiement d'une table de fondation (ce qui est particulièrement utile lorsque vous exécutez la fondation de données de manière autonome ou pour des charges de travail en aval personnalisées), définissez deployAlways: true.
  • Mode d'ingestion : indique si la table est traitée à l'aide de la reconstruction incrémentielle de l'état CDC ou du traitement complet des instantanés.
  • Nommage et tags des cibles : personnalisez le nom de la table conforme cible et associez des tags de métadonnées arbitraires (par exemple, [sap, finance, hourly]) directement aux actions Dataform pour permettre des exécutions de pipeline sélectives (dataform run --tags ...).
  • Détails sur le clustering : colocalisez les données associées en triant les blocs de stockage sur un maximum de quatre colonnes alphanumériques (par exemple, bukrs, gjahr). Le clustering améliore considérablement les performances des requêtes et réduit les coûts d'analyse des données pour les requêtes qui filtrent ou joignent ces colonnes.
  • Détails sur le partitionnement : segmentez les grandes tables historiques par période (time ou DATE avec timeGrain: day | month | year) ou par plages d'entiers (integer). Le partitionnement empêche les analyses complètes des tables lorsque les requêtes demandent des plages de dates ou des intervalles d'ID spécifiques.

Étendre l'infrastructure de données

Pour étendre la couche de base de données avec des tables supplémentaires, plusieurs options s'offrent à vous :

Tables de base de données disponibles

Le tableau suivant liste les tables incluses dans la couche de base de données de Cortex Framework et les détails associés.

Secteur d'activité Module SAP Nom de la table Description Sources acceptées Tags Dataform Détails de la partition Détails du cluster
SAP ECC SAP S/4HANA
Finance CO bpge Valeurs du budget (globales) finance, sap_co, daily
bpja Valeurs budgétaires (annuelles) finance, sap_co, daily
bpvg Éléments de campagne du document finance, sap_co, daily
cepc Tableau des données de base du centre de profit finance, sap_co, daily
cepct Textes pour les données de base du centre de profit finance, sap_co, daily
ckmlcr Grand livre matières : enregistrement des valeurs des totaux de période finance, sap_co, daily
ckmlhd Grand livre matières : enregistrement d'en-tête finance, sap_co, daily
cobk Objet de contrôle : en-tête du document finance, contrôle, quotidien
coep Objet de contrôle : éléments de campagne (par période) finance, contrôle, quotidien
cooi Gestion des engagements : éléments de campagne finance, contrôle, quotidien
cosp Objet de contrôle : totaux des coûts pour les écritures externes finance, contrôle, quotidien
coss Objet de contrôle : totaux des coûts pour les comptabilisations internes finance, contrôle, quotidien
cskb Éléments de coûts (données dépendantes du périmètre analytique) finance, sap_co, daily
csks Fiche principale du centre de coûts finance, sap_co, daily
cskt Textes du centre de coûts finance, sap_co, daily
csku Textes des éléments de coût finance, sap_co, daily
jest État d'un objet spécifique finance, sap_co, daily
sethanahier0101 Tableau hiérarchique pour les groupes de centres de coûts finance, sap_co, monthly
sethanahier0106 Tableau hiérarchique pour les groupes de centres de profit finance, sap_co, monthly
setheader Définir l'en-tête et le répertoire finance, sap_co, monthly
setheadert Brève description des ensembles finance, sap_co, monthly
setleaf Valeurs dans les ensembles finance, sap_co, monthly
setnode Ensembles de niveau inférieur dans les ensembles finance, sap_co, monthly
tj02t Textes sur l'état du système finance, sap_co, yearly
tka01 Contrôler les zones finance, sap_co, yearly
tka02 Affectation de la zone de contrôle finance, sap_co, yearly
VEN acdoca Lignes de poste du journal universel finance, sap_fi, hourly rclnt, rbukrs
acdocu Entrées de journal de groupe finance, sap_fi, hourly
adr6 Adresses e-mail (services d'adresse professionnelle) finance, sap_fi, daily
adrc Adresses (services d'adresse professionnelle) finance, sap_fi, daily
adrct Textes d'adresse (services d'adresse professionnelle) finance, sap_fi, daily
anek En-tête du document de comptabilisation des composants finance, sap_fi, daily
anep Éléments de campagne de composants finance, sap_fi, daily
ankt Classes d'actifs : description finance, sap_fi, hourly
anla Segment d'enregistrement principal de l'élément finance, sap_fi, hourly
anlb Conditions de dépréciation finance, sap_fi, hourly
anlc Enregistrement de la valeur de l'actif : année finance, sap_fi, yearly
anlh Numéro de l'élément principal finance, sap_fi, hourly
anlz Répartitions d'actifs dépendantes du temps finance, sap_fi, hourly
atras Tableau des taux du Trésor finance, sap_fi, daily
bkpf En-tête de document comptable finance, sap_fi, hourly budat (heure/jour) bukrs, gjahr
bsad Table générée pour la vue finance, sap_fi, hourly
bsak Table générée pour la vue finance, sap_fi, hourly
bseg Segment de document comptable finance, sap_fi, hourly mandt, bukrs, gjahr
bsid Table générée pour la vue finance, sap_fi, hourly
bsik Table générée pour la vue finance, sap_fi, hourly
but000 Bp : Données générales I finance, sap_fi, daily
but020 Bp: Addresses finance, sap_fi, daily
but0bk Bp : Coordonnées bancaires finance, sap_fi, daily
faat_doc_it Comptabilité des immobilisations : postes statistiques finance, sap_fi, daily
faat_plan_values Valeurs des composants : valeurs prévues et réévaluations finance, sap_fi, daily
faat_ydda Valeurs des composants : données dépendant de l'année finance, sap_fi, yearly
fagl_011pc Version de l'état financier : éléments de la version de l'état financier finance, sap_fi, monthly
fagl_011qt Structure des états financiers : texte pour les éléments des états financiers finance, sap_fi, monthly
fagl_011zc Version des états financiers : affectation des postes d'états financiers aux comptes généraux finance, sap_fi, monthly
faglflexa Grand livre : postes réels finance, sap_fi, hourly
fincs_ref_vers_r Relation de version de référence finance, sap_fi, yearly
finsc_ld_cmp Paramètres dépendants du code d'entreprise pour le grand livre des écritures de journal universelles finance, sap_fi, daily
finsc_ledger Grand livre des écritures universelles finance, sap_fi, yearly
finsc_ledger_rep Grand livre des écritures de journal unifiées (table auxiliaire pour les rapports) finance, sap_fi, daily
finsc_ledger_t Texte du grand livre des écritures de journal universelles finance, sap_fi, yearly
ska1 Compte général (plan comptable) finance, sap_fi, daily
skat Fiche principale du compte général (plan comptable : description) finance, sap_fi, daily
t001 Codes d'entreprise finance, sap_fi, once
t002 Clés linguistiques (composant Bc-I18) finance, sap_fi, once
t002t Textes clés sur la langue finance, sap_fi, once
t005 Pays finance, sap_fi, yearly
t005k Communication : indicatif téléphonique du pays configuration, annuel
t005s Taxes : clé de région (province) configuration, annuel
t005t Noms de pays configuration, annuel
t005u Taxes : clé de région : textes configuration, annuel
t009 Variantes d'exercice configuration, une seule fois.
t009b Périodes de la variante d'exercice configuration, une seule fois.
t090nat Textes de clé de dépréciation finance, sap_fi, hourly
t093b Paramètres du code de société pour le domaine de dépréciation finance, sap_fi, hourly
t093c Paramètres du code de société pour la comptabilité des immobilisations finance, sap_fi, hourly
t093t Textes de la section "Dépréciation" finance, sap_fi, hourly
t095t Nom de la détermination du compte finance, sap_fi, hourly
t098t Description du motif de l'évaluation manuelle finance, sap_fi, hourly
t881 Ledger Master finance, sap_fi, once
t881t Fi-Sl Ledger Text finance, sap_fi, once
tabw Types de transactions de composants finance, sap_fi, daily
tabwh Textes de groupe de type de transaction de composant finance, sap_fi, daily
tabwt Textes de type de transaction d'actif finance, sap_fi, daily
tcurc Codes de devise finance, sap_fi, once
tcurf Facteurs de conversion finance, sap_fi, once
tcurr Taux de change finance, sap_fi, daily
tcurt Noms des codes de devise finance, sap_fi, daily
tcurx Nombre de décimales dans les devises finance, sap_fi, daily
tf200 Versions de consolidation finance, sap_fi, yearly
tf201 Versions : nom finance, sap_fi, yearly
tvarvc Tableau des variables de variantes (spécifiques au client) finance, sap_fi, daily
vwpanla Ressource principale pour les titres finance, sap_fi, daily
FSCM fdsb Enregistrements récapitulatifs de la gestion de trésorerie et des prévisions finance, sap_fscm, hourly
fqm_flow Une exposition provenant des opérations finance, sap_fscm, hourly
PS prhi Structure de répartition du travail, arêtes (pointeur de hiérarchie) finance, sap_ps, hourly
proj Définition du projet finance, sap_ps, hourly
prps Données de référence des éléments WBS finance, sap_ps, hourly
prte Planifier des données pour un élément de projet finance, sap_ps, hourly
rpsco Base de données d'informations sur les projets : coûts, revenus, finances finance, sap_ps, daily
TRM vtbfha Transaction financière (Vtbfha) finance, sap_trm, hourly
vtbfhapo Flux de transaction (Vtbfhapo) finance, sap_trm, hourly
vtbfhazu Activité des transactions (Vtbfhazu) finance, sap_trm, hourly
vtvbar Valeurs actuelles nettes des transactions OTC (Vtvbar) finance, sap_trm, hourly
RH HCM hrrp_directory Répertoire de hiérarchie hr, sap_hcm, monthly
hrrp_node Nœud de hiérarchie hr, sap_hcm, monthly
hrrp_nodet Textes des nœuds de la hiérarchie hr, sap_hcm, monthly
IT BASIS dd01l Domaines it, sap_basis, once
dd03l Champs de tableau it, sap_basis, once
dd04t R/3 Dd : textes des éléments de données it, sap_basis, once
dd07l Valeurs de domaine it, sap_basis, once
dd07t Dd : textes pour les valeurs fixes de domaine (dépendent de la langue) it, sap_basis, once
dd08l Définitions des relations it, sap_basis, once
Industrie PP afko Données d'en-tête des commandes PP manufacturing, sap_pp, hourly
afpo Article de la commande manufacturing, sap_pp, hourly
aufk Données de référence des commandes manufacturing, sap_pp, hourly
bras mécanique Lien entre le matériau et la nomenclature manufacturing, sap_pp, monthly
stas Boms - Item Selection manufacturing, sap_pp, monthly
stko En-tête Bom manufacturing, sap_pp, monthly
stpo Élément BOM manufacturing, sap_pp, monthly
Ventes SD kna1 Données générales dans la fiche client ventes, sap_sd, daily
konv Conditions (données de transaction) ventes, sap_sd, daily kdatu (heure/jour) stunr
prcd_elements Éléments de tarification sales, sap_sd, hourly
t179 Supports de formation : hiérarchies de produits sales, sap_sd, once
t179t Supports : hiérarchies de produits : textes sales, sap_sd, once
tspa Unité organisationnelle : divisions commerciales sales, sap_sd, yearly
tspat Unité organisationnelle : Divisions commerciales : Textes sales, sap_sd, yearly
tvfst Facturation : textes des motifs de blocage sales, sap_sd, yearly
tvko Unité organisationnelle : organisations commerciales sales, sap_sd, yearly
tvkot Unité organisationnelle : Organisations commerciales : Textes sales, sap_sd, yearly
tvlst Livraisons : motifs/champ de blocage : textes sales, sap_sd, yearly
tvtw Unité organisationnelle : canaux de distribution sales, sap_sd, yearly
tvtwt Unité organisationnelle : canaux de distribution : textes sales, sap_sd, yearly
vbak Document de vente : données d'en-tête sales, sap_sd, hourly audat (heure/jour) vkorg
vbap Document commercial : données sur les articles sales, sap_sd, hourly werks, lgort
vbep Document commercial : données de la ligne de planification sales, sap_sd, hourly
vbfa Flux de documents commerciaux sales, sap_sd, hourly
vbpa Document commercial : partenaire sales, sap_sd, hourly
vbrk Document de facturation : données d'en-tête sales, sap_sd, hourly
vbrp Document de facturation : données sur les articles sales, sap_sd, hourly
vbuk Document de vente : état de l'en-tête et données administratives sales, sap_sd, hourly
vbup Document commercial : état de l'article sales, sap_sd, hourly
wb2_d_bvdetail Ccs: Detailed Statement for Settlement ventes, sap_sd, daily
wb2_d_settl_cal Remises : calendrier de règlement ventes, sap_sd, daily
wbrk Document de règlement de l'agence : en-tête sales, sap_sd, hourly
wbrp Document de règlement de l'agence : élément sales, sap_sd, hourly
wcocoh Contrat de condition : en-tête ventes, sap_sd, daily
wcocoi Contrat de condition : article ventes, sap_sd, daily
Chaîne d'approvisionnement LE likp Document SD : données d'en-tête de livraison supply_chain, sap_le, hourly erdat (time/month) vkorg
lèvres Document SD : livraison : données de l'article supply_chain, sap_le, hourly erdat (time/month)
ETI ekbe Historique des documents d'achat (Ekbe) supply_chain, sap_mm, hourly budat (heure/jour) mandt, vgabe, ebeln, bwart
ekes Confirmations du fournisseur (Ekes) supply_chain, sap_mm, hourly
eket Lignes du programme de l'accord-cadre supply_chain, sap_mm, hourly eindt (heure/jour) mandt, ebeln
ekkn Affectation de compte dans le document d'achat (Ekkn) supply_chain, sap_mm, hourly
ekko En-tête du document d'achat supply_chain, sap_mm, hourly bedat (heure/jour) mandt, ebeln
ekpo Élément de document d'achat supply_chain, sap_mm, hourly aedat (time/day) mandt, ebeln
lfa1 Fiche fournisseur (section générale) supply_chain, sap_mm, daily
makt Descriptions des matériaux supply_chain, sap_mm, daily spras
mara Données générales sur les matériaux supply_chain, sap_mm, daily
marc Données d'usine pour le matériau supply_chain, sap_mm, hourly
mard Données d'emplacement de stockage pour le matériel supply_chain, sap_mm, hourly
matdoc Documents de matériel supply_chain, sap_mm, hourly
mbew Évaluation des matières supply_chain, sap_mm, daily
mbewh Valorisation des articles : historique supply_chain, sap_mm, daily
mch1 Lots (si la gestion des lots est inter-usines) supply_chain, sap_mm, daily
mcha Lots supply_chain, sap_mm, daily
mchb Stocks par lot supply_chain, sap_mm, daily
mkol Stocks spéciaux du fournisseur supply_chain, sap_mm, weekly
mseg Segment de document : matériel supply_chain, sap_mm, hourly
msfd Stock de bon de commande avec fournisseur supply_chain, sap_mm, weekly
mska Stock de commandes client supply_chain, sap_mm, weekly
msku Stocks spéciaux avec le client supply_chain, sap_mm, weekly
mslb Stocks spéciaux avec le fournisseur supply_chain, sap_mm, weekly
rbco Élément de document, facture entrante, imputation supply_chain, sap_mm, hourly
rbkp En-tête du document : reçu de facture supply_chain, sap_mm, hourly
rseg Élément de document : facture entrante supply_chain, sap_mm, hourly
t001k Zone de valorisation supply_chain, sap_mm, once
t001l Emplacements de stockage supply_chain, sap_mm, once
t001w Plantes/Branches supply_chain, sap_mm, once
t006 Unités de mesure supply_chain, sap_mm, yearly
t006a Attribuer "Interne" à l'unité dépendante de la langue configuration, une seule fois.
t006t Textes de dimension configuration, une seule fois.
t023 Groupes de composants supply_chain, sap_mm, once
t023t Descriptions des groupes de matériaux supply_chain, sap_mm, once
t024 Groupes d'achat supply_chain, sap_mm, once
t024e Organisations à l'origine de l'achat supply_chain, sap_mm, once
t134 Types de matériaux supply_chain, sap_mm, once
t134t Descriptions des types de supports supply_chain, sap_mm, once
t148t Descriptions spéciales du stock supply_chain, sap_mm, once
t156 Type de mouvement supply_chain, sap_mm, once
t156t Texte du type de mouvement configuration, une seule fois.
t157e Tableau de texte : motif du mouvement configuration, une seule fois.
t161 Types de documents d'achat (T161) supply_chain, sap_mm, once
t161t Textes pour les types de documents d'achat supply_chain, sap_mm, once