Creare flussi di lavoro di integrazione dei dati utilizzando la pagina Pipeline e connessioni

Anteprima

Questa funzionalità è soggetta ai "Termini delle Offerte pre-GA" nella sezione Termini di servizio generali dei Termini di servizio specifici. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni delle fasi di lancio.

Nota: per fornire un feedback, porre domande o richiedere la disattivazione di questa funzionalità di anteprima, contatta [e-mail].

La pagina Pipeline e connessioni di BigQuery nella console semplifica le attività di integrazione dei dati fornendo flussi di lavoro di configurazione guidati e specifici di BigQuery per servizi come BigQuery Data Transfer Service, Datastream e Pub/Sub.

Puoi utilizzare la pagina Pipeline e connessioni per eseguire le seguenti attività:

• Caricamento dei dati in corso. Trova e carica i dati dalle origini dati supportate utilizzando un'esperienza guidata.
• Pianificazione delle attività di dati. Pianifica l'esecuzione automatica dei processi di dati, tra cui query, notebook, preparazioni dei dati e pipeline pianificati.
• Trasformazione dei dati. Crea pipeline e preparazioni dei dati che eseguono operazioni come la pulizia, la strutturazione e la preparazione dei dati per l'analisi e il reporting.
• Creazione di connessioni alle origini dati. Connettiti a origini dati esterne, runtime di calcolo e servizi AI per l'accesso ai dati e l'esecuzione remota.

Dopo aver creato le attività, la pagina Pipeline e connessioni fornisce una posizione unica per gestire e monitorare gli asset. Puoi visualizzare lo stato dei tuoi asset nella visualizzazione elenco e utilizzare le pagine di monitoraggio dettagliato per visualizzare le metriche operative per ogni asset configurato, come query pianificate, pipeline, trasferimenti, connessioni, stream e abbonamenti.

Le metriche operative includono le cronologie delle esecuzioni di BigQuery Data Transfer Service, il throughput e la latenza per gli abbonamenti Pub/Sub, nonché la freschezza dei dati e i conteggi degli eventi per le pipeline Datastream.

Le pagine di monitoraggio includono anche informazioni per la risoluzione dei problemi, come i log per le esecuzioni di BigQuery Data Transfer Service e lo stato degli oggetti Datastream.

Attivare o disattivare

Durante l'anteprima, puoi attivare o disattivare l'utilizzo della pagina Pipeline e connessioni.

Attiva

Per attivare l'utilizzo della pagina Pipeline e connessioni, segui questi passaggi:

1. Vai alla console Google Cloud .

   Vai alla console

2. Nella barra degli strumenti della console Google Cloud , fai clic su Menu di navigazione.

3. Fai clic su Soluzioni > Tutti i prodotti.

4. Nella sezione Analytics, fai clic su BigQuery.

   Si apre la pagina BigQuery Studio.

5. Per espandere il menu di navigazione, fai clic su Attiva/disattiva il menu di navigazione di BigQuery.

   

6. Nel menu di navigazione, fai clic su una delle seguenti opzioni:

   • Trasferimenti dati
   • Query programmate
   • Pianificazione

7. Vai al banner delle pipeline e delle connessioni unificate.

   

8. Fai clic su Attiva.

   Dopo l'attivazione, le pagine esistenti Trasferimenti di dati, Pianificazione e Query pianificate vengono sostituite dalla pagina Pipeline e connessioni.

   Nota: non sono state apportate modifiche alla pagina Dataform.

Disattiva

Per disattivare l'utilizzo della pagina unificata Pipeline e connessioni, segui questi passaggi:

1. Nella pagina Pipeline e connessioni, fai clic su Disattiva nel banner unificato di pipeline e connessioni.

2. Si apre una finestra di dialogo per il feedback. Fornisci un feedback sul motivo per cui stai disattivando l'opzione, ad esempio funzionalità mancanti o bug.

3. Fai clic su Invia e poi su Chiudi.

   Dopo aver inviato il modulo, il menu di navigazione torna a utilizzare pagine separate per Trasferimenti di dati, Pianificazione e Query pianificate.

Crea un asset di integrazione dei dati

Per creare asset come query pianificate, trasferimenti di dati e connessioni esterne:

1. Vai alla pagina Pipeline e connessioni.

   Vai a Pipeline e connessioni

2. Fai clic su Crea.

3. Per l'asset che vuoi creare, fai clic sull'opzione nella scheda:

   1. Per aggiungere dati da una delle origini dati supportate utilizzando un flusso di lavoro guidato, fai clic su Aggiungi dati nella scheda Carica dati.

   2. Per pianificare una query, un blocco note, la preparazione dei dati o una pipeline, nella scheda Pianifica attività di dati, fai clic su Pianifica e scegli l'opzione appropriata.

   3. Per creare una pipeline di trasformazione o una preparazione dei dati, nella scheda Trasforma i dati, fai clic su Crea e poi scegli l'opzione appropriata.

   4. Per creare una connessione a un'origine dati esterna, fai clic su Crea connessione nella scheda Connessioni esterne.

Monitorare le risorse

Dopo aver creato gli asset, puoi visualizzarli e monitorarli.

1. Vai alla pagina Pipeline e connessioni.

   Vai a Pipeline e connessioni

2. Per visualizzare i dettagli delle connessioni, fai clic sulla scheda Connessioni.

3. Per monitorare le pipeline, fai clic sulla scheda Pipeline. Puoi utilizzare questa pagina per visualizzare dettagli come lo stato, il tipo e la cronologia di esecuzione della pipeline.

4. Per visualizzare i dettagli di una pipeline, fai clic sul link nella colonna Nome visualizzato.

Passaggi successivi

• Scopri come creare una pipeline Dataform in BigQuery.
• Scopri come pianificare una pipeline.
• Scopri come pianificare una query.
• Scopri di più sui trasferimenti di BigQuery Data Transfer Service.