Panoramica delle nozioni fondamentali sui dati

Il livello di base dei dati di Cortex Framework funge da rappresentazione standardizzata e pulita dei record più recenti dei sistemi di origine. Colma il divario tra i sistemi aziendali di registrazione replicati non elaborati e i dati di consumo analitici di alto valore fornendo tabelle e viste riutilizzabili e ad alta fedeltà all'interno di BigQuery.

Sebbene il livello di base dei dati alimenti il livello dei prodotti di dati, può essere utilizzato in modo completamente autonomo e include le seguenti funzionalità:

  • Deployment indipendente: le organizzazioni che vogliono creare un datastore operativo (ODS) pulito, conforme e standardizzato all'interno di BigQuery possono eseguire il deployment solo dei moduli della base di dati. Non è necessario eseguire il deployment del livello del prodotto di dati per utilizzare la base di dati.
  • Utilizzo diretto: le tabelle di base dei dati autonome fungono da fonte attendibile centralizzata e altamente ottimizzata che può alimentare direttamente le architetture di data mesh aziendali esistenti, le pipeline ETL downstream personalizzate, gli strumenti di BI di terze parti, i modelli di ML personalizzati e gli agenti AI indipendenti senza dipendenze dai prodotti di dati forniti da Cortex Framework.
  • Elevata estensibilità: il framework riconosce e aggiunge automaticamente colonne di tabelle personalizzate (ad esempio colonne con prefisso "Z" o "Y") durante la creazione e la compilazione del modulo di base. L'estensione con tabelle aggiuntive (tabelle personalizzate o tabelle standard non incluse nella base) è possibile con il minimo sforzo.

Origini dati supportate

Il livello di base dei dati supporta i dati non elaborati replicati dai sistemi SAP ERP, tra cui:

Per saperne di più, consulta la documentazione relativa all'integrazione del sistema di origine.

Funzionalità principali

Lo scopo principale di questo livello è standardizzare, pulire e conformare i dati di origine non elaborati in tabelle ad alta fedeltà utilizzando i seguenti metodi:

  • Protezione dello schema: gli schemi transazionali non elaborati, come quelli di SAP, cambiano spesso e sono difficili da navigare. Il livello di base protegge i consumatori downstream dalle complessità delle tabelle non elaborate e dalle alterazioni dello schema sottostante fornendo strutture di destinazione stabili e standardizzate.
  • Metadati e annotazioni pronti per l'uso aziendale: per aiutare gli utenti aziendali a comprendere i modelli di dati tecnici, il livello di base dei dati utilizza una vasta libreria di annotazioni (src/data_modules/{namespace}/{system}/data_foundation/{foundation_name}/annotations/). Durante il processo di compilazione, il framework arricchisce le colonne del sistema di origine tecnica con descrizioni aziendali leggibili nei metadati della tabella BigQuery (ad esempio, traducendo una colonna SAP come bukrs in Company Code). Questi metadati avanzati rendono le tabelle immediatamente utilizzabili per gli analisti aziendali, le dashboard BI e gli agenti di AI aziendale.
  • Adattamento dinamico dello schema: supporta gli schemi di tabelle dinamici. Inserisce e propaga automaticamente i campi personalizzati (ad esempio i campi Z* o Y* in SAP o gli attributi personalizzati in altre origini) dal livello non elaborato senza richiedere modifiche manuali al codice dei modelli SQL sottostanti.
  • Conformità e deduplicazione automatica dei dati: indipendentemente dal fatto che i dati non elaborati arrivino come log delle modifiche o snapshot completi, il livello di base gestisce automaticamente la deduplicazione, il casting del tipo di dati e la ricostruzione dello stato. In questo modo, esegui sempre query sullo stato attuale e accurato di ogni record.

Fonti CDC e non CDC

Per le pipeline gestite in modo nativo da Cortex Framework, la configurazione viene applicata a livello di singola tabella. Puoi configurare l'elaborazione di ogni tabella in base al fatto che i dati di origine non elaborati arrivino come log delle modifiche incrementali o snapshot completi della tabella. Ad esempio, le singole tabelle in un'origine CDC possono essere dichiarate come isCdc: false per considerarle come tabelle snapshot:

  • Origini abilitate per CDC: per i dati non elaborati replicati come log di acquisizione dei dati di modifica (contenenti flag e timestamp delle operazioni, ad esempio inserimenti, aggiornamenti ed eliminazioni da strumenti come BigQuery Connector per SAP o BigQuery Toolkit per SAP), Cortex Framework genera pipeline Dataform dedicate che elaborano in modo incrementale i log non elaborati in una tabella "stato più recente" persistente e aggiornata continuamente.
  • Origini non CDC (snapshot/batch completo): per le origini che non forniscono log delle modifiche CDC o in cui le tabelle vengono replicate periodicamente come estrazioni complete, Cortex Framework indica alla pipeline di elaborare i dati come snapshot completi delle tabelle senza logica di ricostruzione dello stato CDC (vedi l'attributo di configurazione isCdc in Data Foundation, configurazione table-settings).

Basi di dati esterni

Oltre a gestire l'elaborazione CDC in modo nativo a livello di singola tabella, Cortex Framework offre la flessibilità architetturale per integrarsi con le basi di dati esterne esistenti a livello di intera base. L'intera base può essere dichiarata esterna, nel qual caso Cortex Framework presuppone che l'intera elaborazione CDC sia già stata eseguita:

  • Data Foundation gestita da Cortex: Cortex Framework crea e orchestra le pipeline di trasformazione Dataform, leggendo dalla zona di destinazione non elaborata e materializzando le tabelle conformi nel set di dati di base di destinazione.
  • Data Foundation esterno: se la tua azienda utilizza già uno strumento di replica esterno, una pipeline di terze parti o un livello semantico prestabilito che esegue la ricostruzione CDC e la pulizia dei dati al di fuori di Cortex Framework, puoi registrarlo come Data Foundation esterno (vedi il flag external nell'impostazione di base del modulo di dati. Se configurato come esterno, Cortex Framework ignora la generazione di pipeline di trasformazione di base integrate e indirizza invece i prodotti di dati downstream direttamente al set di dati di destinazione esistente.

Opzioni di configurabilità delle nozioni fondamentali sui dati

Mentre le configurazioni a livello globale e di modulo vengono gestite nel file config.yaml, le opzioni granulari a livello di tabella vengono configurate tramite un file table_settings.yaml specifico per l'origine (per i sistemi SAP è costituito dalle sezioni common, ecc e s4. Per informazioni dettagliate, vedi Deployment, Table-settings configuration style for SAP ERP). Questo file ti consente di controllare le opzioni di materializzazione, l'ottimizzazione del deployment e le funzionalità di rendimento di BigQuery per le singole tabelle, il tutto senza scrivere o modificare il codice SQL.

  • Risoluzione dinamica delle dipendenze: per impostazione predefinita (deployAlways: false), Cortex Framework ottimizza l'impronta di deployment e il costo di esecuzione eseguendo il deployment e la compilazione solo delle tabelle del livello di base dei dati richieste attivamente come dipendenze dai prodotti di dati downstream abilitati. Per ignorare questa ottimizzazione e forzare sempre il deployment di una tabella di base (il che è particolarmente utile quando esegui la base dati in modalità standalone o per carichi di lavoro downstream personalizzati), imposta deployAlways: true.
  • Modalità di importazione: controlla se la tabella viene elaborata utilizzando la ricostruzione incrementale dello stato CDC o l'elaborazione completa dello snapshot.
  • Nomi e tag dei target: personalizza il nome della tabella con target conformi e associa tag di metadati arbitrari (ad es. [sap, finance, hourly]) direttamente alle azioni Dataform per consentire esecuzioni selettive della pipeline (dataform run --tags ...).
  • Dettagli del clustering: raggruppa i dati correlati ordinando i blocchi di archiviazione in un massimo di quattro colonne alfanumeriche (ad es. bukrs, gjahr). Il clustering migliora notevolmente le prestazioni delle query e riduce i costi di scansione dei dati per le query che filtrano o uniscono queste colonne.
  • Dettagli del partizionamento: segmenta le tabelle storiche di grandi dimensioni in base al tempo (time o DATE con timeGrain: day | month | year) o a intervalli di numeri interi (integer). Il partizionamento impedisce le scansioni complete delle tabelle quando le query richiedono intervalli di date o ID specifici.

Estensione della base di dati

Per estendere il livello di base dei dati con tabelle aggiuntive, hai diverse opzioni:

Tabelle di base dei dati disponibili

La tabella seguente elenca le tabelle incluse nel livello di base dei dati di Cortex Framework e i relativi dettagli.

Settore di attività Modulo SAP Nome tabella Descrizione Origini supportate Tag Dataform Dettagli partizione Dettagli cluster
SAP ECC SAP S/4HANA
Finanza CO bpge Valori del budget (complessivi) finanza, sap_co, giornaliero
bpja Valori del budget (annuali) finanza, sap_co, giornaliero
bpvg Elementi pubblicitari del documento finanza, sap_co, giornaliero
cepc Tabella dei dati master del centro di profitto finanza, sap_co, giornaliero
cepct Testi per i dati master del centro di profitto finanza, sap_co, giornaliero
ckmlcr Material Ledger: Period Totals Records Values finanza, sap_co, giornaliero
ckmlhd Material Ledger: Header Record finanza, sap_co, giornaliero
cobk Oggetto di controllo: intestazione del documento finanza, controllo, giornaliero
coep Oggetto di controllo: elementi pubblicitari (per periodo) finanza, controllo, giornaliero
cooi Gestione degli impegni: elementi pubblicitari finanza, controllo, giornaliero
cosp Oggetto di controllo: totali costi per le registrazioni esterne finanza, controllo, giornaliero
coss Oggetto di controllo: totali dei costi per le registrazioni interne finanza, controllo, giornaliero
cskb Elementi di costo (dati dipendenti dall'area di controllo) finanza, sap_co, giornaliero
csks Record principale del centro di costo finanza, sap_co, giornaliero
cskt Messaggi del centro di costo finanza, sap_co, giornaliero
csku Testi degli elementi di costo finanza, sap_co, giornaliero
jest Stato del singolo oggetto finanza, sap_co, giornaliero
sethanahier0101 Tabella della gerarchia per i gruppi di centri di costo finanza, sap_co, mensile
sethanahier0106 Tabella della gerarchia per i gruppi di centri di profitto finanza, sap_co, mensile
setheader Impostare l'intestazione e la directory finanza, sap_co, mensile
setheadert Descrizione breve dei set finanza, sap_co, mensile
setleaf Valori nei set finanza, sap_co, mensile
setnode Set di livello inferiore nei set finanza, sap_co, mensile
tj02t Testi di stato del sistema finanza, sap_co, yearly
tka01 Controlling Areas finanza, sap_co, yearly
tka02 Assegnazione dell'area di controllo finanza, sap_co, yearly
FI acdoca Elementi pubblicitari di voci di giornale universali finanza, sap_fi, orario rclnt, rbukrs
acdocu Annotazioni del diario di gruppo finanza, sap_fi, orario
adr6 Indirizzi email (servizi di indirizzi aziendali) finanza, sap_fi, giornaliero
adrc Indirizzi (servizi di indirizzo dell'attività) finanza, sap_fi, giornaliero
adrct Messaggi di testo con indirizzo (servizi di indirizzo dell'attività) finanza, sap_fi, giornaliero
anek Intestazione del documento di registrazione dell'asset finanza, sap_fi, giornaliero
anep Elementi pubblicitari asset finanza, sap_fi, giornaliero
ankt Classi di asset: descrizione finanza, sap_fi, orario
anla Segmento del record principale dell'asset finanza, sap_fi, orario
anlb Termini di ammortamento finanza, sap_fi, orario
anlc Asset Value Record: Year finance, sap_fi, yearly
anlh Numero asset principale finanza, sap_fi, orario
anlz Allocazioni degli asset in base al tempo finanza, sap_fi, orario
atras Tabella dei tassi del Tesoro finanza, sap_fi, giornaliero
bkpf Intestazione documento contabile finanza, sap_fi, orario budat (ora/giorno) bukrs, gjahr
bsad Tabella generata per la vista finanza, sap_fi, orario
bsak Tabella generata per la vista finanza, sap_fi, orario
bseg Segmento documento contabile finanza, sap_fi, orario mandt, bukrs, gjahr
bsid Tabella generata per la vista finanza, sap_fi, orario
bsik Tabella generata per la vista finanza, sap_fi, orario
but000 Bp: General Data I finanza, sap_fi, giornaliero
but020 Bp: Addresses finanza, sap_fi, giornaliero
but0bk Bp: Bank Details finanza, sap_fi, giornaliero
faat_doc_it Contabilità degli asset: elementi pubblicitari statistici finanza, sap_fi, giornaliero
faat_plan_values Valori degli asset: valori pianificati e rivalutazioni finanza, sap_fi, giornaliero
faat_ydda Valori degli asset: dati dipendenti dall'anno finance, sap_fi, yearly
fagl_011pc Versione del rendiconto finanziario: elementi nella versione del rendiconto finanziario finanza, sap_fi, mensile
fagl_011qt Struttura del prospetto finanziario: testo per le voci del prospetto finanziario finance, sap_fi, monthly
fagl_011zc Versione del prospetto finanziario: assegnazione di elementi del prospetto finanziario a conti di contabilità generale finance, sap_fi, monthly
faglflexa Contabilità generale: elementi pubblicitari effettivi finanza, sap_fi, orario
fincs_ref_vers_r Relazione tra versioni di riferimento finance, sap_fi, yearly
finsc_ld_cmp Impostazioni dipendenti dal codice società per il libro giornale universale finanza, sap_fi, giornaliero
finsc_ledger Universal Journal Entry Ledger finance, sap_fi, yearly
finsc_ledger_rep Unified Journal Entry Ledger (tabella ausiliaria per i report) finanza, sap_fi, giornaliero
finsc_ledger_t Universal Journal Entry Ledger Text finance, sap_fi, yearly
ska1 Master account contabilità generale (piano dei conti) finanza, sap_fi, giornaliero
skat Record principale del conto contabile (piano dei conti: descrizione) finanza, sap_fi, giornaliero
t001 Codici azienda finanza, sap_fi, una volta
t002 Chiavi di lingua (componente Bc-I18) finanza, sap_fi, una volta
t002t Language Key Texts finanza, sap_fi, una volta
t005 Paesi finance, sap_fi, yearly
t005k Comunicazione: prefisso internazionale configurazione, annuale
t005s Tasse: chiave regione (provincia) configurazione, annuale
t005t Nomi dei paesi configurazione, annuale
t005u Imposte: chiave regione: testi configurazione, annuale
t009 Varianti dell'anno fiscale configurazione, una volta
t009b Periodi della variante dell'anno fiscale configurazione, una volta
t090nat Testi delle chiavi di ammortamento finanza, sap_fi, orario
t093b Impostazioni del codice società per l'area di ammortamento finanza, sap_fi, orario
t093c Impostazioni del codice società per la contabilità degli asset finanza, sap_fi, orario
t093t Testi area ammortamento finanza, sap_fi, orario
t095t Nome della determinazione account finanza, sap_fi, orario
t098t Descrizione del motivo della valutazione manuale finanza, sap_fi, orario
t881 Ledger Master finanza, sap_fi, una volta
t881t Fi-Sl Ledger Text finanza, sap_fi, una volta
tabw Tipi di transazioni sugli asset finanza, sap_fi, giornaliero
tabwh Asset Transaction Type Group Texts finanza, sap_fi, giornaliero
tabwt Asset Transaction Type Texts finanza, sap_fi, giornaliero
tcurc Codici valuta finanza, sap_fi, una volta
tcurf Fattori di conversione finanza, sap_fi, una volta
tcurr Tassi di cambio finanza, sap_fi, giornaliero
tcurt Nomi dei codici valuta finanza, sap_fi, giornaliero
tcurx Cifre decimali nelle valute finanza, sap_fi, giornaliero
tf200 Versioni di consolidamento finance, sap_fi, yearly
tf201 Versioni: nome finance, sap_fi, yearly
tvarvc Tabella delle variabili delle varianti (specifiche del cliente) finanza, sap_fi, giornaliero
vwpanla Asset master per i titoli finanza, sap_fi, giornaliero
FSCM fdsb Record di riepilogo della gestione della liquidità e delle previsioni finanza, sap_fscm, hourly
fqm_flow Un'esposizione dalle operazioni finanza, sap_fscm, hourly
PS prhi Struttura di suddivisione del lavoro, bordi (puntatore gerarchico) finanza, sap_ps, hourly
proj Definizione del progetto finanza, sap_ps, all'ora
prps Dati master elemento WBS finanza, sap_ps, hourly
prte Pianificazione dei dati per l'elemento di progetto finanza, sap_ps, hourly
rpsco Database delle informazioni di progetto: costi, entrate, finanze finanza, sap_ps, giornaliero
TRM vtbfha Financial Transaction (Vtbfha) finanza, sap_trm, hourly
vtbfhapo Flusso di transazione (Vtbfhapo) finanza, sap_trm, hourly
vtbfhazu Attività della transazione (Vtbfhazu) finanza, sap_trm, hourly
vtvbar NPV delle transazioni OTC (Vtvbar) finanza, sap_trm, hourly
HR HCM hrrp_directory Directory della gerarchia hr, sap_hcm, monthly
hrrp_node Nodo della gerarchia hr, sap_hcm, monthly
hrrp_nodet Testi dei nodi della gerarchia hr, sap_hcm, monthly
IT BASIS dd01l Domini it, sap_basis, once
dd03l Campi della tabella it, sap_basis, once
dd04t R/3 Dd: Data Element Texts it, sap_basis, once
dd07l Valori dominio it, sap_basis, once
dd07t Dd: Texts for Domain Fixed Values (Language-Dependent) it, sap_basis, once
dd08l Definizioni delle relazioni it, sap_basis, once
Produzione PP afko Order Header Data PP Orders produzione, sap_pp, orario
afpo Articolo dell'ordine produzione, sap_pp, orario
aufk Dati master degli ordini produzione, sap_pp, orario
mast Materiale per il link alla distinta materiali produzione, sap_pp, mensile
stas Distinta materiali - Selezione articoli produzione, sap_pp, mensile
stko Bom Header produzione, sap_pp, mensile
stpo Bom Item produzione, sap_pp, mensile
Vendite SD kna1 Dati generali nel master clienti vendite, sap_sd, giornaliero
konv Condizioni (dati sulle transazioni) vendite, sap_sd, giornaliero kdatu (ora/giorno) stunr
prcd_elements Elementi di prezzo vendite, sap_sd, hourly
t179 Materiali: gerarchie di prodotti vendite, sap_sd, una volta
t179t Materiali: gerarchie di prodotto: testi vendite, sap_sd, una volta
tspa Unità organizzativa: Divisioni vendite vendite, sap_sd, yearly
tspat Unità organizzativa: Divisioni vendite: Messaggi vendite, sap_sd, yearly
tvfst Fatturazione : testi dei motivi del blocco vendite, sap_sd, yearly
tvko Unità organizzativa: Organizzazioni di vendita vendite, sap_sd, yearly
tvkot Unità organizzativa: Organizzazioni di vendita: Testi vendite, sap_sd, yearly
tvlst Pubblicazioni: motivi/ambito del blocco: messaggi vendite, sap_sd, yearly
tvtw Unità organizzativa: canali di distribuzione vendite, sap_sd, yearly
tvtwt Unità organizzativa: canali di distribuzione: testi vendite, sap_sd, yearly
vbak Documento di vendita: dati di intestazione vendite, sap_sd, hourly audat (ora/giorno) vkorg
vbap Documento di vendita: dati articolo vendite, sap_sd, hourly werks, lgort
vbep Documento di vendita: dati delle righe di pianificazione vendite, sap_sd, hourly
vbfa Flusso di documenti di vendita vendite, sap_sd, hourly
vbpa Documento di vendita: partner vendite, sap_sd, hourly
vbrk Documento di fatturazione: dati dell'intestazione vendite, sap_sd, hourly
vbrp Documento di fatturazione: dati articolo vendite, sap_sd, hourly
vbuk Documento di vendita: stato dell'intestazione e dati amministrativi vendite, sap_sd, hourly
vbup Documento di vendita: stato articolo vendite, sap_sd, hourly
wb2_d_bvdetail Ccs: Detailed Statement for Settlement vendite, sap_sd, giornaliero
wb2_d_settl_cal Sconti: calendario dei pagamenti vendite, sap_sd, giornaliero
wbrk Documento di liquidazione dell'agenzia: intestazione vendite, sap_sd, hourly
wbrp Documento di liquidazione dell'agenzia: elemento vendite, sap_sd, hourly
wcocoh Contratto di condizione: intestazione vendite, sap_sd, giornaliero
wcocoi Contratto di condizione: articolo vendite, sap_sd, giornaliero
Catena di fornitura LE likp SD Document: Delivery Header Data supply_chain, sap_le, hourly erdat (time/month) vkorg
labbra Documento SD: Pubblicazione: dati articolo supply_chain, sap_le, hourly erdat (time/month)
Fascia media ekbe Cronologia documenti di acquisto (Ekbe) supply_chain, sap_mm, hourly budat (ora/giorno) mandt, vgabe, ebeln, bwart
ekes Conferme del fornitore (Ekes) supply_chain, sap_mm, hourly
eket Righe del programma del contratto di pianificazione supply_chain, sap_mm, hourly fine (ora/giorno) mandt, ebeln
ekkn Assegnazione conto nel documento di acquisto (Ekkn) supply_chain, sap_mm, hourly
ekko Intestazione del documento di acquisto supply_chain, sap_mm, hourly bedat (ora/giorno) mandt, ebeln
ekpo Elemento del documento di acquisto supply_chain, sap_mm, hourly aedat (ora/giorno) mandt, ebeln
lfa1 Anagrafica fornitore (sezione Generale) supply_chain, sap_mm, daily
makt Descrizioni dei materiali supply_chain, sap_mm, daily spras
mara General Material Data supply_chain, sap_mm, daily
marc Dati dell'impianto per il materiale supply_chain, sap_mm, hourly
mard Dati sulla posizione di archiviazione per il materiale supply_chain, sap_mm, hourly
matdoc Documenti materiali supply_chain, sap_mm, hourly
mbew Valutazione dei materiali supply_chain, sap_mm, daily
mbewh Valutazione materiali: cronologia supply_chain, sap_mm, daily
mch1 Batch (se gestione batch cross-plant) supply_chain, sap_mm, daily
mcha Batch supply_chain, sap_mm, daily
mchb Batch di azioni supply_chain, sap_mm, daily
mkol Scorte speciali del fornitore supply_chain, sap_mm, weekly
mseg Segmento del documento: materiale supply_chain, sap_mm, hourly
msfd Stock ordine di vendita con fornitore supply_chain, sap_mm, weekly
mska Stock ordine di vendita supply_chain, sap_mm, weekly
msku Special Stocks with Customer supply_chain, sap_mm, weekly
mslb Special Stocks with Vendor supply_chain, sap_mm, weekly
rbco Voce documento, Fattura in entrata, Imputazione contabile supply_chain, sap_mm, hourly
rbkp Intestazione documento: ricevuta della fattura supply_chain, sap_mm, hourly
rseg Elemento documento: fattura in entrata supply_chain, sap_mm, hourly
t001k Area di valutazione supply_chain, sap_mm, once
t001l Località Cloud Storage supply_chain, sap_mm, once
t001w Piante/rami supply_chain, sap_mm, once
t006 Unità di misura supply_chain, sap_mm, yearly
t006a Assegna interno a unità dipendente dalla lingua configurazione, una volta
t006t Testi delle dimensioni configurazione, una volta
t023 Gruppi di materiali supply_chain, sap_mm, once
t023t Descrizioni dei gruppi di materiali supply_chain, sap_mm, once
t024 Gruppi di acquisto supply_chain, sap_mm, once
t024e Organizzazioni acquirenti supply_chain, sap_mm, once
t134 Tipi di materiali supply_chain, sap_mm, once
t134t Descrizioni dei tipi di materiali supply_chain, sap_mm, once
t148t Descrizioni di stock speciali supply_chain, sap_mm, once
t156 Tipo di movimento supply_chain, sap_mm, once
t156t Testo del tipo di movimento configurazione, una volta
t157e Tabella di testo: motivo dello spostamento configurazione, una volta
t161 Tipi di documenti di acquisto (T161) supply_chain, sap_mm, once
t161t Testi per i tipi di documenti di acquisto supply_chain, sap_mm, once