Deployment della demo

Il deployment demo offre un'esperienza semplificata utilizzando un set di dati di esempio predefinito. Fornisce un workflow end-to-end per il deployment delle pipeline Dataform di Cortex Framework per l'orchestrazione e per inizializzare i set di dati BigQuery corrispondenti con dati di esempio.

Attenzione: il deployment della demo non è adatto agli ambienti di produzione. Per i deployment di produzione, vedi Deployment di Cortex Framework.

Prima di iniziare

Prima di procedere con il deployment della demo, assicurati di aver completato i prerequisiti descritti nella pagina Prerequisiti.

Ottieni i ruoli e le autorizzazioni IAM richiesti

Ottieni le autorizzazioni Identity and Access Management (IAM) richieste per il deployment dei contenuti di Cortex Framework all'interno del progetto Google Cloud di destinazione.

Ruoli per il progetto di destinazione

Per ottenere le autorizzazioni necessarie per eseguire il deployment di Cortex Framework, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto di destinazione:

• Utente job BigQuery (roles/bigquery.jobUser)
• Editor dati BigQuery (roles/bigquery.dataEditor)
• Editor Dataform (roles/dataform.editor)
• Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Nota: il ruolo Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin) viene utilizzato durante l'esecuzione dello script di deployment di Cortex Framework per l'attivazione automatica delle seguenti API: dataform.googleapis.com, bigquery.googleapis.com, cloudresourcemanager.googleapis.com. Google Cloud Se le policy dell'organizzazione non consentono di concedere questo privilegio agli utenti, puoi attivare manualmente le API menzionate prima dell'esecuzione dello script di deployment di Cortex Framework.

(Facoltativo) Ottieni i ruoli IAM richiesti per un deployment demo utilizzando un account di servizio

I seguenti ruoli sono necessari solo in caso di deployment demo con il parametro facoltativo --service_account abilitato. Fornire unaccount di serviziot durante il deployment della demo semplifica l'esecuzione post-deployment delle pipeline di dati, mediante la creazione della configurazione di pianificazione dell'esecuzione dei workflow. Questi ruoli non sono necessari per i deployment senza la configurazione --service_account.

Per ottenere le autorizzazioni necessarie per eseguire il deployment della demo di Cortex Framework, chiedi all'amministratore di concederti il ruolo IAM Service Account Token Creator (roles/iam.serviceAccountTokenCreator) sul progetto di origine e di destinazione. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Deployment

Segui questi passaggi per creare un ambiente Python virtuale, sincronizzare le dipendenze e attivare le pipeline di dati. Ricorda di utilizzare gli script del Cortex Framework uv per creare e trasferire gli asset di dati al tuo progetto Google Cloud , trasformando le configurazioni locali in un'architettura dei dati live e scalabile. Per saperne di più, consulta la sezione Installazione di uv nella sezione Prerequisiti.

Esegui il deployment della demo

Esegui il comando seguente per attivare il deployment. Questa procedura eseguirà le seguenti azioni:

• Verifica che tutti i prerequisiti siano stati completati.
• Carica i dati di esempio in un set di dati BigQuery da utilizzare come livello non elaborato a scopo dimostrativo.
• Crea pipeline Dataform per l'elaborazione dei dati di esempio tramite i livelli di dati di Cortex Framework.
• Crea il repository e lo spazio di lavoro Dataform, quindi sincronizza gli artefatti compilati con il repository.
• Crea la pianificazione del workflow e attiva l'esecuzione iniziale del workflow Dataform.

Per il deployment demo senza un account di servizio, esegui questo comando:

uv run cortex-demo --project_id=PROJECT_ID

Per il deployment demo con un account di servizio, esegui questo comando:

Nota: --service_account è un parametro facoltativo.

uv run cortex-demo --project_id=PROJECT_ID \
    --service_account="SA_DF_RUN@PROJECT_ID.iam.gserviceaccount.com"

Per ulteriori informazioni, consulta Località BigQuery supportate e Regioni Dataform supportate.

Deployment della demo della CLI: puoi visualizzare facoltativamente un elenco di possibili parametri eseguendo il comando uv run cortex-demo -h. Per saperne di più, consulta Deployment della demo di Cortex Framework CLI.

Verifica

Al termine del deployment:

1. Apri Dataform per esaminare il nuovo codice creato nel repository:

   1. Repository Dataform creato.
   2. È stata creata l'area di lavoro di sviluppo Dataform.
   3. Codice compilato e sincronizzato.

2. Esegui azioni Dataform:

   Nota: questo passaggio è facoltativo se il parametro --service_account è stato utilizzato durante il deployment.
   1. Apri il workspace Dataform.
   2. Fai clic su Avvia esecuzione.
   3. Fai clic su Esegui azioni.
   4. Fai clic su Tutte le azioni.

   5. Fai clic su Avvia esecuzione.

   6. Monitora l'esecuzione corretta di tutte le azioni nel repository Dataform.

3. Vai alla console BigQuery per visualizzare i set di dati creati e verificare lo schema e i dati. Set di dati creati:

   • cortex_demo_sap_ecc_raw: questo set di dati contiene i dati non elaborati del sistema di origine (in questo esempio, SAP S/4HANA).
   • cortex_demo_sap_ecc_data_foundation: questo set di dati rappresenta il livello di base dei dati, in cui i dati non elaborati del livello non elaborato vengono elaborati con CDC.
   • cortex_demo_data_product: Questo set di dati contiene i prodotti di dati demo, visualizzazioni o tabelle ad alte prestazioni progettate per il consumo da parte degli utenti finali.