Crea una pipeline di dati

Crea una pipeline di dati

In questa guida rapida imparerai a:

1. Creare un'istanza Cloud Data Fusion.
2. Eseguire il deployment di una pipeline di esempio fornita con l'istanza Cloud Data Fusion. La pipeline esegue le seguenti operazioni:
   1. Legge un file JSON contenente i dati dei bestseller del New York Times da Cloud Storage.
   2. Esegue trasformazioni sul file per analizzare e pulire i dati.
   3. Carica in BigQuery i libri con le valutazioni più alte aggiunti nell'ultima settimana che costano meno di 25 $.

Prima di iniziare

Completa i seguenti passaggi prima di creare una pipeline di dati.

Configura il progetto

Accedi al tuo Google Cloud account. Se non hai mai utilizzato Google Cloud, crea un account per valutare il rendimento dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Cloud Data Fusion API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Cloud Data Fusion API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un'istanza Cloud Data Fusion e gestire le pipeline, chiedi all'amministratore di concederti il ruolo IAM Cloud Data Fusion Admin (roles/datafusion.admin) nel progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per assicurarti che il account di servizio predefinito di Compute Engine disponga delle autorizzazioni necessarie per eseguire il job Dataproc, chiedi all'amministratore di concedere i seguenti ruoli IAM al account di servizio predefinito di Compute Engine nel tuo progetto:

Importante: devi concedere questi ruoli al account di servizio predefinito di Compute Engine, non al tuo account utente. La mancata concessione dei ruoli all'entità corretta potrebbe comportare errori di autorizzazione.

• Dataproc Worker (roles/dataproc.worker)
• Cloud Data Fusion Runner (roles/datafusion.runner)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

L'amministratore potrebbe anche essere in grado di concedere al account di servizio predefinito di Compute Engine le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.

Creare un'istanza Cloud Data Fusion

1. Fai clic su Crea un'istanza.

   Vai a Istanze

2. Inserisci un nome istanza.
3. Inserisci una descrizione per l'istanza.
4. Inserisci la regione in cui creare l'istanza.
5. Scegli la versione di Cloud Data Fusion da utilizzare.
6. Scegli l'edizione di Cloud Data Fusion.
7. Per le versioni di Cloud Data Fusion 6.2.3 e successive, nel campo Autorizzazione, scegli il service account Dataproc da utilizzare per l'esecuzione della pipeline Cloud Data Fusion in Dataproc. Il valore predefinito, Account Compute Engine, è preselezionato.
8. Fai clic su Crea. Il completamento del processo di creazione dell'istanza richiede fino a 30 minuti. Mentre Cloud Data Fusion crea l'istanza, viene visualizzata una rotellina di avanzamento accanto al nome dell'istanza nella pagina Istanze. Al termine, si trasforma in un segno di spunta verde e indica che puoi iniziare a utilizzare l'istanza.

Navigare nell'interfaccia web di Cloud Data Fusion

Quando utilizzi Cloud Data Fusion, usi sia la Google Cloud console che l'interfaccia web separata di Cloud Data Fusion.

• Nella Google Cloud console puoi:

  • Creare un progetto della Google Cloud console
  • Creare ed eliminare istanze Cloud Data Fusion
  • Visualizzare i dettagli dell'istanza Cloud Data Fusion

• Nell'interfaccia web di Cloud Data Fusion, puoi utilizzare varie pagine, come Studio o Wrangler, per utilizzare le funzionalità di Cloud Data Fusion.

Per navigare nell'interfaccia di Cloud Data Fusion:

1. Nella Google Cloud console, apri la pagina Istanze.

   Vai a Istanze

2. Nella colonna Azioni dell'istanza, fai clic sul link Visualizza istanza.
3. Nell'interfaccia web di Cloud Data Fusion, utilizza il pannello di navigazione a sinistra per accedere alla pagina di cui hai bisogno.

Eseguire il deployment di una pipeline di esempio

Le pipeline di esempio sono disponibili tramite l'Hub di Cloud Data Fusion, che ti consente di condividere pipeline, plug-in, e soluzioni Cloud Data Fusion riutilizzabili.

1. Nell'interfaccia web di Cloud Data Fusion, fai clic su Hub.
2. Nel riquadro a sinistra, fai clic su Pipeline.
3. Fai clic sulla pipeline Cloud Data Fusion Quickstart.
4. Fai clic su Crea.
5. Nel riquadro di configurazione di Cloud Data Fusion Quickstart, fai clic su Fine.

6. Fai clic su Personalizza pipeline.

   Nella pagina Studio viene visualizzata una rappresentazione visiva della pipeline, che è un'interfaccia grafica per lo sviluppo di pipeline di integrazione dei dati. I plug-in della pipeline disponibili sono elencati a sinistra e la pipeline viene visualizzata nell'area principale della tela. Puoi esplorare la pipeline tenendo il puntatore su ogni nodo della pipeline e facendo clic su Proprietà. Il menu delle proprietà di ogni nodo consente di visualizzare gli oggetti e le operazioni associati al nodo.

7. Nel menu in alto a destra, fai clic su Esegui il deployment. Questo passaggio invia la pipeline a Cloud Data Fusion. Eseguirai la pipeline nella sezione successiva di questa guida rapida.

Visualizzare la pipeline

La pipeline di cui è stato eseguito il deployment viene visualizzata nella visualizzazione dei dettagli della pipeline, dove puoi:

• Visualizzare la struttura e la configurazione della pipeline.
• Eseguire la pipeline manualmente o configurare una pianificazione o un attivatore.
• Visualizzare un riepilogo delle esecuzioni storiche della pipeline, inclusi tempi di esecuzione, log e metriche.

Eseguire la pipeline

Nella visualizzazione dei dettagli della pipeline, fai clic su Esegui per eseguire la pipeline.

Quando esegue una pipeline, Cloud Data Fusion:

1. Esegue il provisioning di un cluster Dataproc temporaneo
2. Esegue la pipeline sul cluster utilizzando Apache Spark
3. Elimina il cluster

Nota: quando la pipeline passa allo stato In esecuzione, puoi monitorare la creazione e l'eliminazione del cluster Dataproc. Questo cluster esiste solo per la durata della pipeline.

Visualizza i risultati

Dopo alcuni minuti, la pipeline termina. Lo stato della pipeline cambia in Riuscito e viene visualizzato il numero di record elaborati da ogni nodo.

1. Vai all'interfaccia web di BigQuery.

2. Per visualizzare un campione dei risultati, vai al set di dati DataFusionQuickstart nel tuo progetto, fai clic sulla tabella top_rated_inexpensive e poi esegui una query semplice. Ad esempio:

   SELECT * FROM PROJECT_ID.GCPQuickStart.top_rated_inexpensive LIMIT 10
   

   Sostituisci PROJECT_ID con l'ID progetto.

Libera spazio

Per evitare che al tuo Google Cloud account vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

1. Elimina il set di dati BigQuery in cui la pipeline ha scritto in questa guida rapida.

2. Elimina l'istanza Cloud Data Fusion.

   Nota: l'eliminazione dell'istanza non comporta l'eliminazione dei dati in nel progetto.

3. (Facoltativo) Elimina il progetto.

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:
• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per, le attività descritte in questo documento, eliminerai anche tutto il lavoro che hai svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un appspot.com URL, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.
1. Nella Google Cloud console, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID progetto e fai clic su Chiudi per eliminare il progetto.

Passaggi successivi

• Segui un tutorial di Cloud Data Fusion
• Scopri di più sui concetti di Cloud Data Fusion concetti