Creare flussi di lavoro di integrazione dei dati utilizzando la pagina Pipeline e connessioni

Anteprima

Questa funzionalità è soggetta ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Nota: per fornire un feedback, porre domande o richiedere la disattivazione di questa funzionalità di anteprima, contatta [e-mail].

Puoi gestire e semplificare le attività di integrazione dei dati direttamente nella consoleGoogle Cloud utilizzando la pagina Pipeline e connessioni di BigQuery. Questa pagina fornisce flussi di lavoro di configurazione guidati e specifici per BigQuery per servizi come BigQuery Data Transfer Service, Datastream e Pub/Sub.

Puoi utilizzare la pagina Pipeline e connessioni per eseguire le seguenti attività:

• Carica dati. Trova e carica i dati dalle origini dati supportate utilizzando un'esperienza guidata.
• Pianifica attività di dati. Pianifica l'esecuzione automatica dei processi di dati, tra cui query, notebook, preparazioni dei dati e pipeline pianificati.
• Trasforma i dati. Crea pipeline e preparazioni dei dati che eseguono operazioni come la pulizia, la strutturazione e la preparazione dei dati per l'analisi e la generazione di report.
• Crea connessioni alle origini dati. Connettiti a origini dati esterne, runtime di calcolo e servizi AI per l'accesso ai dati e l'esecuzione remota.

Dopo aver configurato la pagina Pipeline e connessioni, questa offre una posizione centralizzata per gestire e monitorare le risorse di integrazione dei dati mostrando il loro stato e fornendo metriche operative.

Attivare o disattivare

Durante l'anteprima, puoi attivare o disattivare l'utilizzo della pagina Pipeline e connessioni.

Attiva

Per attivare l'utilizzo della pagina Pipeline e connessioni, segui questi passaggi:

1. Vai alla console Google Cloud .

   Vai alla console

2. Nella barra degli strumenti della console Google Cloud , fai clic su Menu di navigazione.

3. Fai clic su Soluzioni > Tutti i prodotti.

4. Nella sezione Analytics, fai clic su BigQuery.

   Si apre la pagina BigQuery Studio.

5. Per controllare il menu di navigazione di BigQuery, esegui una delle seguenti operazioni:

   • Per espandere il menu di navigazione, tieni il puntatore sopra l'icona e poi fai clic su left_panel_open Attiva/disattiva il menu di navigazione di BigQuery.

   • Per comprimere il menu di navigazione, fai clic su left_panel_close Attiva/disattiva il menu di navigazione di BigQuery.

6. Nel menu di navigazione, fai clic su una delle seguenti opzioni:

   • Trasferimenti di dati
   • Query programmate
   • Pianificazione

7. Vai al banner delle pipeline e delle connessioni unificate.

   

8. Fai clic su Attiva.

   Dopo l'attivazione, le pagine esistenti Trasferimenti di dati, Pianificazione e Query pianificate vengono sostituite dalla pagina Pipeline e connessioni.

   Nota: non sono state apportate modifiche alla pagina Dataform.

Disattiva

Per disattivare l'utilizzo della pagina unificata Pipeline e connessioni, segui questi passaggi:

1. Nella pagina Pipeline e connessioni, fai clic su Disattiva nel banner unificato di pipeline e connessioni.

2. Si apre una finestra di dialogo di feedback. Fornisci un feedback sul motivo per cui ti ritiri, ad esempio funzionalità mancanti o bug.

3. Fai clic su Invia, quindi su Chiudi.

   Dopo aver inviato il modulo, il menu di navigazione torna a utilizzare le pagine separate Trasferimenti di dati, Pianificazione e Query pianificate.

Crea un asset di integrazione dei dati

Per creare asset come query pianificate, trasferimenti di dati e connessioni esterne:

1. Vai alla pagina Pipeline e connessioni.

   Vai a Pipeline e connessioni

2. Fai clic su Crea.

3. Per l'asset che vuoi creare, fai clic sull'opzione nella scheda:

   1. Per aggiungere dati da una delle origini dati supportate utilizzando un flusso di lavoro guidato, fai clic su Aggiungi dati nella scheda Carica dati.

   2. Per pianificare una query, un blocco note, la preparazione dei dati o una pipeline, fai clic su Pianifica nella scheda Pianifica attività di dati e scegli l'opzione appropriata.

   3. Per creare una pipeline di trasformazione o una preparazione dei dati, nella scheda Trasforma i dati, fai clic su Crea e poi scegli l'opzione appropriata.

   4. Per creare una connessione a un'origine dati esterna, fai clic su Crea connessione nella scheda Connessioni esterne.

Monitorare le risorse

Dopo aver creato gli asset, puoi visualizzarli e monitorarli. Le metriche operative disponibili nella pagina Pipeline e connessioni includono le cronologie di esecuzione del servizio BigQuery Data Transfer Service, il throughput e la latenza per gli abbonamenti Pub/Sub, nonché l'aggiornamento dei dati e i conteggi degli eventi per le pipeline Datastream. Puoi anche trovare informazioni per la risoluzione dei problemi, come i log per le esecuzioni di BigQuery Data Transfer Service e lo stato degli oggetti Datastream.

1. Vai alla pagina Pipeline e connessioni.

   Vai a Pipeline e connessioni

2. Per visualizzare i dettagli delle tue connessioni, fai clic sulla scheda Connessioni.

3. Per monitorare le pipeline, fai clic sulla scheda Pipeline. Puoi utilizzare questa pagina per visualizzare dettagli come lo stato, il tipo e la cronologia di esecuzione della pipeline.

4. Per visualizzare i dettagli di una pipeline, fai clic sul link nella colonna Nome visualizzato.

Passaggi successivi

• Scopri come creare una pipeline Dataform in BigQuery.
• Scopri come pianificare una pipeline.
• Scopri come pianificare una query.
• Scopri di più sui trasferimenti BigQuery Data Transfer Service.