Passaggi successivi al deployment

Questa pagina ti guida attraverso i passaggi successivi al deployment di Cortex Framework per eseguire le pipeline di dati e verificare i risultati.

Dopo aver eseguito il deployment, tutti i modelli e le configurazioni di trasformazione vengono compilati ed eseguiti nel repository Dataform di destinazione. Tuttavia, per materializzare le tabelle e le viste in BigQuery, devi prima eseguire le azioni della pipeline Dataform.

Eseguire le trasformazioni in Dataform

L'esecuzione della pipeline avvia la trasformazione logica dei dati non elaborati in livelli di base di dati standardizzati e pronti per l'AI e in prodotti di dati, pronti per l'uso aziendale immediato.

Puoi eseguire le azioni manualmente nella Google Cloud console per la verifica o configurare pianificazioni ricorrenti per la produzione.

Esecuzione manuale per la verifica

Per eseguire una verifica manuale dell'intera pipeline all'interno dell'area di lavoro Dataform:

  1. Nella Google Cloud console, vai alla pagina Dataform.
  2. Assicurati di aver selezionato il progetto corretto dal menu a discesa del progetto. Google Cloud
  3. Fai clic sul nome del repository creato durante il deployment (ad es. cortex).
  4. Fai clic sul nome dell'area di lavoro (ad es. cortex).
  5. Fai clic su Avvia esecuzione.
  6. Fai clic su Esegui azioni.
  7. Seleziona Tutte le azioni. Puoi anche scegliere sottoinsiemi chiave di trasformazioni selezionando tag o azioni specifici.
  8. Fai clic su Avvia esecuzione.

Verificare la riuscita dell'esecuzione

Per monitorare l'avanzamento e verificare se la pipeline è stata completata correttamente:

  1. Fai clic sulla scheda Esecuzioni per visualizzare la cronologia delle esecuzioni.
  2. Verifica che lo stato sia Completato correttamente.
  3. Fai clic sul link di esecuzione per esaminare i dettagli di azioni specifiche, gli errori di compilazione o i tempi di esecuzione.

Esaminare gli asset di dati in BigQuery

Dopo che la pipeline Dataform è stata eseguita correttamente, verifica i set di dati generati e le tabelle materializzate in BigQuery.

  1. Vai a BigQuery nella Google Cloud console.
  2. Individua i set di dati di destinazione configurati nel file config.yaml (ad es. il set di dati identificato da datasetId nella voce data.targets a cui fa riferimento dataTargetId del modulo). Ad esempio, nelle configurazioni dei modelli, questi potrebbero essere:
    • Livello di base dei dati: cerca il set di dati che corrisponde all'ID di destinazione di base (configurato come cortex7_sap_data_foundation per impostazione predefinita).
    • Livello dei prodotti di dati: cerca il set di dati che corrisponde all'ID di destinazione del prodotto (configurato come cortex7_data_products per impostazione predefinita).
  3. Visualizza l'anteprima delle tabelle ed esegui query di esempio per verificare che siano popolate con i record previsti.

Passaggi successivi

Ora che i tuoi sistemi di dati sono operativi, puoi esplorare: