Guida al deployment
Questa pagina ti guida attraverso i passaggi di deployment di Cortex Framework per i deployment del percorso di produzione.
Prima di iniziare
Prima di continuare con il deployment, assicurati di aver completato i prerequisiti descritti nella pagina Prerequisiti.
Prima di eseguire il deployment di Cortex Framework, scegli e prepara l'integrazione del sistema di origine.
Configura i ruoli IAM
Configura le autorizzazioni IAM (Identity and Access Management) richieste per eseguire il deployment dei contenuti di Cortex Framework all'interno dei progetti richiesti Google Cloud .
Ruoli per il progetto di build
Per ottenere le autorizzazioni necessarie per creare Cortex Framework, chiedi all'amministratore di concederti il ruolo IAM Utente job BigQuery (roles/bigquery.jobUser) nel progetto di build.
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Per concedere i ruoli richiesti a un utente, puoi utilizzare lo script:
gcloud projects add-iam-policy-binding BUILD_PROJECT_ID \
--member="user:USER_EMAIL" \
--role="roles/bigquery.jobUser"
Ruoli per il progetto di origine
Per ottenere le autorizzazioni necessarie per eseguire il deployment di Cortex Framework,
chiedi all'amministratore di concederti il
ruolo IAM Visualizzatore dati BigQuery (roles/bigquery.dataViewer) nel progetto di origine.
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
gcloud projects add-iam-policy-binding SOURCE_PROJECT_ID \
--member="user:USER_EMAIL" \
--role="roles/bigquery.dataViewer"
Ruoli per i progetti di destinazione
Per ottenere le autorizzazioni necessarie per eseguire il deployment di Cortex Framework, chiedi all'amministratore di concederti i seguenti ruoli IAM nei progetti di destinazione:
- Editor dati BigQuery (
roles/bigquery.dataEditor) - Amministratore Dataform (
roles/dataform.admin) - Consumer utilizzo servizi (
roles/serviceusage.serviceUsageConsumer)
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Per concedere i ruoli richiesti a un utente, puoi utilizzare lo script:
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
--role="roles/bigquery.dataEditor"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
--role="roles/dataform.admin"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
--role="roles/serviceusage.serviceUsageConsumer"
Configurazione deployment
Prima del deployment, i livelli di base dati e prodotto dati vengono configurati tramite un approccio centralizzato di configurazione come codice.
Cortex Framework utilizza un file config/config.yaml per configurare il deployment di Cortex Framework. Ti consigliamo di creare
una copia di config/config.yaml.example come punto di partenza. Questo file contiene
il mapping essenziale tra i dati di origine e l'ambiente di destinazione Google Cloud. Una configurazione corretta garantisce che Cortex Framework sappia esattamente dove trovare i dati non elaborati e dove materializzare i livelli risultanti.
Per un deployment di Cortex Framework riuscito, è necessario aggiungere questi valori obbligatori:
YOUR_BUILD_PROJECT_ID: il progetto in cui vengono eseguiti l'orchestrazione del deployment e gli scriptuv.YOUR_SOURCE_PROJECT_ID: il progetto contenente i dati di origine non elaborati.YOUR_TARGET_PROJECT_ID: il progetto di destinazione in cui risiederanno i prodotti dati elaborati e i set di dati BigQuery.YOUR_REPO_PROJECT_ID: il progetto che ospita il repository Dataform e gli artefatti di deployment.
Per informazioni dettagliate sul file di configurazione, consulta Configurazione del deployment.
Fai il deployment
Esegui il comando seguente per attivare il deployment di Cortex Framework. Questo processo eseguirà le seguenti azioni:
- Verifica che tutti i prerequisiti siano stati completati.
- Connettiti al set di dati non elaborato e, in base alle informazioni sullo schema, crea e compila gli script
.sqlx. - Crea il repository e l'area di lavoro Dataform, quindi sincronizza gli artefatti compilati con il repository.
uv run cortex-build-and-deploy --config config/config.yaml
Parametri dell'interfaccia a riga di comando `uv run cortex-build-and-deploy`: se vuoi, puoi visualizzare un elenco dei possibili parametri supportati dallo script cortex-demo eseguendo il uv run cortex-build-and-deploy -h comando. Per ulteriori informazioni, consulta
Interfaccia a riga di comando di Cortex Framework `uv run cortex-build-and-deploy`.
Opzioni della riga di comando
L'interfaccia a riga di comando (CLI) uv run supporta queste azioni:
uv run cortex-build: esegue la compilazione dell'area di lavoro Dataform, traducendo le configurazioni YAML e i modelli SQLX/JS in asset Dataform di cui è possibile eseguire il deployment. Per ulteriori informazioni, consulta Interfaccia a riga di comando di Cortex build.uv run cortex-deploy: esegue il push degli asset compilati nell'area di lavoro Dataform di destinazione. Per ulteriori informazioni, consulta Interfaccia a riga di comando di Cortex deploy.uv run cortex-build-and-deploy: combina la compilazione e il push degli asset di build nell'area di lavoro Dataform. Per ulteriori informazioni, consulta Interfaccia a riga di comando di Cortex build and deploy.
Passaggi successivi
Segui i passaggi post-deployment per eseguire le azioni Dataform e verificare i risultati in BigQuery
Scopri l'integrazione del catalogo di dati per registrare, gestire e sincronizzare i prodotti dati aziendali in tutta l'organizzazione.
Crea prodotti dati personalizzati: consulta la Guida all'estensibilità: prodotto dati per creare nuovi prodotti dati o estendere gli schemi.