Gestisci pipeline

Le pipeline BigQuery ti consentono di ispezionare la cronologia delle esecuzioni, configurare gli avvisi di errore e controllare gli asset di codice basati su Dataform. Puoi anche arricchire i metadati del workflow in Knowledge Catalog per monitorare la qualità dei dati ed eliminare i workflow obsoleti per mantenere organizzato il progetto. A seconda di dove il tuo team archivia il codice, puoi accedere alle pipeline in File e cartelle, incluse le cartelle utente e le cartelle del team, o nei repository Git di BigQuery Studio (cartelle Git) (anteprima).

Prima di iniziare

1. Crea una pipeline BigQuery.
2. Per gestire i metadati della pipeline in Knowledge Catalog, assicurati che l'API Dataplex sia abilitata nel tuo progetto Google Cloud .

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire le pipeline, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Per visualizzare ed eseguire le pipeline:
  • Dataform Viewer (roles/dataform.Viewer) sul progetto
  • Utente job BigQuery (roles/bigquery.jobUser) sul progetto
• Per eseguire pipeline con credenziali utente per un Account Google: BigQuery Data Editor (roles/bigquery.dataEditor) sul progetto o su set di dati BigQuery specifici
• Per eliminare le pipeline: Dataform Admin (roles/dataform.Admin) sulla pipeline
• Per gestire le pipeline nelle cartelle utente:
  • Code Owner (roles/dataform.codeOwner) sulla cartella
  • Editor di codice (roles/dataform.codeEditor) sulla cartella
  • Code Viewer (roles/dataform.codeViewer) nella cartella
• Per gestire le pipeline nelle cartelle del team:
  • Team Folder Owner (roles/dataform.teamFolderOwner) sulla cartella del team
  • Team Folder Contributor (roles/dataform.teamFolderContributor) sulla cartella del team
  • Team Folder Viewer (roles/dataform.teamFolderViewer) sulla cartella del team
• Per gestire le pipeline nei repository Git: Developer Connect OAuth User (roles/developerconnect.oauthUser) sul progetto
• Per visualizzare e gestire i metadati in Knowledge Catalog: Dataplex Catalog Editor (roles/dataplex.catalogEditor) nel progetto o nel gruppo di voci @bigquery

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per saperne di più su Dataform IAM, consulta Controlla l'accesso con IAM. Per saperne di più sui ruoli per le cartelle, consulta Crea e gestisci le cartelle. Per ulteriori informazioni sui ruoli per i repository Git, consulta Gestisci il codice con i repository Git di BigQuery Studio.

Nota: quando crei una pipeline, BigQuery ti concede il ruolo Amministratore Dataform (roles/dataform.admin) su quella pipeline. Tutti gli utenti con il ruolo Amministratore Dataform concesso nel progetto Google Cloud hanno accesso come proprietario a tutte le pipeline create nel progetto.

Se utilizzi un account di servizio personalizzato per eseguire le pipeline, devi concedere i seguenti ruoli a quel account di servizio:

• BigQuery Job User (roles/bigquery.jobUser) sul progetto
• BigQuery Data Editor (roles/bigquery.dataEditor) sul progetto o su set di dati BigQuery specifici
• Dataplex Catalog Editor (roles/dataplex.catalogEditor) sul progetto o sul gruppo di voci @bigquery

Visualizza le pipeline

Puoi visualizzare e ispezionare le pipeline archiviate in cartelle o cartelle Git nel riquadro File. Puoi visualizzare le pipeline autonome e quelle archiviate nelle cartelle nel riquadro Explorer. Le pipeline archiviate nelle cartelle Git non vengono visualizzate nel riquadro Explorer.

Visualizza le pipeline nel riquadro File

Le pipeline archiviate in cartelle o in cartelle Git vengono visualizzate direttamente nel riquadro File.

Per visualizzare una pipeline archiviata in una cartella o in una cartella Git, segui questi passaggi:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su File per aprire il browser di file.

   Se non vedi il riquadro a sinistra, fai clic su Espandi riquadro sinistro per aprirlo.

3. Espandi la cartella Utente, una cartella del team o una cartella del repository Git connesso.

   Le pipeline vengono visualizzate con un'icona Pipeline anziché con un'icona di cartella standard.

4. Fai clic su una cartella della pipeline per aprire il visualizzatore della pipeline.

   Il visualizzatore di pipeline mostra il grafo diretto aciclico (DAG) compilato delle attività della pipeline, lo stato di esecuzione e le schede di configurazione.

5. Espandi la directory della pipeline nel browser dei file per sfogliare le directory nidificate (come definitions/) e i singoli file delle attività.

Nota: se un repository Git connesso contiene workflow_settings.yaml nella directory root, BigQuery Studio lo riconosce come pipeline a livello di root. La cartella del repository Git stessa mostra l'icona Pipeline. Quando fai clic sulla cartella del repository Git, si apre il visualizzatore di pipeline, che mostra il DAG compilato per l'intero repository.

Visualizza le pipeline nel riquadro Spazio di esplorazione

Per visualizzare un elenco di pipeline autonome e pipeline archiviate in cartelle, segui questi passaggi:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

   

   Se non vedi il riquadro a sinistra, fai clic su Espandi riquadro sinistro per aprirlo.

3. Nel riquadro Explorer, espandi il progetto e fai clic su Pipeline.

4. Seleziona una pipeline per aprirla nel visualizzatore di pipeline.

Visualizza le esecuzioni manuali precedenti

Per visualizzare le esecuzioni manuali precedenti di una pipeline selezionata, segui questi passaggi:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

   

3. Nel riquadro Explorer, espandi il progetto, fai clic su Pipeline e poi seleziona una pipeline.

4. Fai clic su Esecuzioni.

5. (Facoltativo) Per aggiornare l'elenco delle esecuzioni precedenti, fai clic su Aggiorna.

Configura gli avvisi per le esecuzioni delle pipeline non riuscite

Ogni pipeline ha un ID repository Dataform corrispondente. Ogni esecuzione della pipeline BigQuery viene registrata in Cloud Logging utilizzando l'ID repository Dataform corrispondente. Puoi utilizzare Cloud Monitoring per osservare le tendenze nei log di Cloud Logging per le esecuzioni della pipeline BigQuery e per ricevere notifiche quando si verificano le condizioni descritte.

Per ricevere avvisi quando l'esecuzione di una pipeline BigQuery non va a buon fine, puoi creare una criterio di avviso basata su log per l'ID repository Dataform corrispondente. Per istruzioni, consulta Configura gli avvisi per le esecuzioni dei workflow non riusciti.

Per trovare l'ID repository Dataform della pipeline, segui questi passaggi:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

   

3. Nel riquadro Explorer, espandi il progetto, fai clic su Pipeline e poi seleziona una pipeline.

4. Fai clic su Impostazioni.

   L'ID repository Dataform della pipeline viene visualizzato nella parte inferiore della scheda Impostazioni.

Elimina una pipeline

Per eliminare definitivamente una pipeline:

1. Nella console Google Cloud , vai alla pagina BigQuery. Vai a BigQuery

• Per eliminare una pipeline archiviata in una cartella o in una cartella Git, segui questi passaggi:

  1. Nel riquadro a sinistra, fai clic su File.

  2. Nell'albero dei file, trova la cartella della pipeline che vuoi eliminare.

  3. Fai clic su Visualizza azioni accanto alla cartella della pipeline, quindi fai clic su Elimina.

  4. Nella finestra di dialogo di conferma, fai clic su Elimina.

     La cartella della pipeline e tutte le attività e i file contenuti al suo interno vengono eliminati dal tuo workspace.

• Per eliminare una pipeline elencata nel riquadro Explorer, segui questi passaggi:

  1. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

     

  2. Nel riquadro Explorer, espandi il progetto e fai clic su Pipeline.

  3. Trova la pipeline che vuoi eliminare.

  4. Fai clic su Visualizza azioni accanto alla pipeline, quindi fai clic su Elimina.

  5. Fai clic su Elimina.

Gestisci i metadati in Knowledge Catalog

Knowledge Catalog consente di archiviare e gestire i metadati per le pipeline. Le pipeline sono disponibili in Knowledge Catalog per impostazione predefinita, senza ulteriori configurazioni.

Puoi utilizzare Knowledge Catalog per gestire le pipeline in tutte le località delle pipeline. La gestione delle pipeline in Knowledge Catalog è soggetta a quote e limiti di Knowledge Catalog e ai prezzi di Knowledge Catalog.

Knowledge Catalog recupera automaticamente i seguenti metadati dalle pipeline:

• Nome dell'asset di dati
• Asset di dati padre
• Posizione dell'asset di dati
• Tipo di asset di dati
• Progetto Google Cloud corrispondente

Knowledge Catalog registra le pipeline come voci con i seguenti valori:

Gruppo di voci di sistema

Il gruppo di voci di sistema per le pipeline è @dataform. Per visualizzare i dettagli delle voci della pipeline in Knowledge Catalog, devi visualizzare il gruppo di voci di sistema dataform. Per istruzioni su come visualizzare un elenco di tutte le voci di un gruppo di voci, consulta Visualizza i dettagli di un gruppo di voci nella documentazione di Knowledge Catalog.

Tipo di voce di sistema

Il tipo di voce di sistema per le pipeline è dataform-code-asset. Per visualizzare i dettagli delle pipeline, devi visualizzare il tipo di voce di sistema dataform-code-asset, filtrare i risultati con un filtro basato sugli aspetti e impostare il campo type all'interno dell'aspetto dataform-code-asset su WORKFLOW. Quindi, seleziona una voce della pipeline selezionata. Per istruzioni su come visualizzare i dettagli di un tipo di voce selezionato, consulta Visualizza i dettagli di un tipo di voce nella documentazione di Knowledge Catalog. Per istruzioni su come visualizzare i dettagli di una voce selezionata, consulta Visualizza i dettagli di una voce nella documentazione di Knowledge Catalog.

Tipo di aspetto del sistema

Il tipo di aspetto di sistema per le pipeline è dataform-code-asset. Per fornire un contesto aggiuntivo alle pipeline in Knowledge Catalog annotando le voci della pipeline di dati con gli aspetti, visualizza il tipo di aspetto dataform-code-asset, filtra i risultati con un filtro basato sugli aspetti e imposta il campo type all'interno dell'aspetto dataform-code-asset su WORKFLOW. Per istruzioni su come annotare le voci con gli aspetti, consulta Gestisci gli aspetti e arricchisci i metadati nella documentazione di Knowledge Catalog.

Tipo

Il tipo per i canvas di dati è WORKFLOW. Questo tipo consente di filtrare le pipeline nel tipo di voce di sistema dataform-code-asset e nel tipo di aspetto dataform-code-asset utilizzando la query aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW in un filtro basato sugli aspetti.

Per istruzioni su come cercare asset in Knowledge Catalog, consulta Cerca asset di dati in Knowledge Catalog nella documentazione di Knowledge Catalog.

Integrazione dell'arricchimento dei metadati e della scheda di valutazione della qualità dei dati

Dataform può pubblicare i seguenti metadati in Knowledge Catalog:

• Tipo di aspetto della panoramica
• Tipo di aspetto generico
• Tipo di aspetto della scheda di valutazione della qualità dei dati

Le asserzioni di Dataform vengono integrate automaticamente con il prospetto di valutazione della qualità dei dati di Knowledge Catalog. Durante l'esecuzione della pipeline, i risultati di tutte le asserzioni di Dataform vengono pubblicati automaticamente in Knowledge Catalog. Questi risultati compilano il prospetto della qualità dei dati di Knowledge Catalog con lo stato di superamento o mancato superamento.

Nota: ogni esecuzione sovrascrive i prospetti di valutazione della qualità dei dati esistenti pubblicati dalle esecuzioni precedenti di Dataform, ma non influisce sui prospetti di valutazione creati dalle scansioni dei dati di Knowledge Catalog.

Per controllare lo stato di un aggiornamento dei metadati, segui le istruzioni riportate in Visualizza le esecuzioni manuali precedenti.

Dopo la sincronizzazione dei metadati, puoi cercare e visualizzare la voce in Knowledge Catalog. Per saperne di più, consulta Cerca risorse.

Passaggi successivi

• Scopri di più sulle pipeline BigQuery.
• Scopri come creare pipeline.
• Scopri come pianificare le pipeline.
• Scopri come gestire il codice con i repository Git di BigQuery Studio.
• Scopri come organizzare gli asset di codice con le cartelle.
• Scopri di più sui deployment di Dataform.