Panoramica
Google Cloud Cortex Framework fornisce acceleratori di prodotti per dati progettati per trasformare i dati non elaborati dei sistemi aziendali strategici in asset di dati attendibili e di alta qualità pronti per l'analisi avanzata e l'AI.
Fornito come codice open source personalizzabile di cui è possibile eseguire il deployment in modo sicuro nel tuo Google Cloud ambiente, Google Cloud Cortex Framework offre un modello di esecuzione serverless e nativo di BigQuerybasato su Google Cloud Dataform.
Semplificando il modo in cui i team creano, orchestrano ed eseguono il deployment delle pipeline di dati, Cortex Framework accelera il time-to-value e fornisce una base ad alta fedeltà per la prossima generazione di agenti AI aziendali.
Architettura dei dati
Cortex Framework standardizza l'elaborazione dei dati in BigQuery in tre livelli architetturali distinti utilizzando una metodologia di estrazione, caricamento e trasformazione (ELT). Questa strategia di stratificazione dei dati standardizzata è in linea con i concetti di data mesh aziendale.
Sistema di origine
I sistemi di origine sono le origini dei dati importati. I sistemi di origine possono includere varie applicazioni, database o piattaforme aziendali da cui vengono estratti i dati. Per tutti i sistemi di origine supportati, vedi sistemi di origine supportati.
Livello non elaborato
Il livello non elaborato rappresenta il set di dati della zona di destinazione immutabile in BigQuery per i dati di origine, ovvero i log di Change Data Capture (CDC) o le estrazioni batch. Sebbene spesso memorizzi i log CDC (ad esempio da SAP ECC o S/4HANA utilizzando strumenti di replica come BigQuery Connector per SAP o BigQuery Toolkit per SAP), è progettato per rappresentare qualsiasi formato non elaborato. Per le origini che non forniscono log CDC, come Salesforce o feed API esterni, questo livello rappresenta le estrazioni batch complete o i payload di eventi non elaborati esattamente come arrivano, con modifiche strutturali minime o nulle. Questo livello alimenta il livello di base dei dati.
Strato di base dei dati
Il livello di base dei dati è una rappresentazione standardizzata e pulita degli ultimi record dei dati di origine e alimenta il livello del prodotto dati. Questo livello viene aggiornato in modo incrementale per le origini abilitate per CDC e utilizza le visualizzazioni per le origini CDC non abilitate e per le origini CDC implementate esternamente. L'implementazione si adatta alle funzionalità del sistema di origine. Per saperne di più, vedi Base dei dati.
Livello del prodotto dati
Il livello del prodotto dati fornisce aggregazioni, calcoli dei KPI, logica di business e logica di connessione tra le applicazioni. Le visualizzazioni e le tabelle esposte dal livello del prodotto dati sono progettate per essere utilizzate direttamente da BigQuery Analisi conversazionale Agents, Gemini Enterprise, modelli di machine learning, dashboard e report di BI, nonché integrazioni di applicazioni. Per saperne di più, vedi Prodotti dati.
Gestione dati
Cortex Framework uses Dataform per gestire il ciclo di vita dei dati. Dataform consente di gestire la trasformazione dei dati per l'integrazione dei dati. Fornisce un servizio che consente agli analisti di dati di sviluppare, testare, controllare le versioni e pianificare flussi di lavoro complessi per la trasformazione dei dati in BigQuery. Per adattarsi dinamicamente a personalizzazioni ed estensioni, Cortex Framework crea il codice Dataform durante la fase di build e lo prepara per il repository Dataform in Google Cloud.
Attivando l'esecuzione delle pipeline nell'interfaccia utente di Dataform, le tabelle e le visualizzazioni BigQuery dei livelli di base dei dati e del prodotto dati vengono create e riempite con i dati.
Passaggi successivi
È tutto pronto per la creazione e il deployment? Esplora le seguenti guide per configurare il tuo ambiente:
- Demo deployment: esegui il deployment dei contenuti della soluzione di esempio in pochi minuti per vedere Cortex Framework in azione.
- Deployment: segui le istruzioni passo passo per configurare ed eseguire il deployment di Cortex Framework per i dati aziendali.