Prerequisiti e configurazione

Per completare i tutorial sullo scenario d'uso della derivazione, esegui i seguenti passaggi di configurazione:

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

1. Enable the BigQuery, Data lineage , Dataform, BigQuery Data Transfer, and Secret Manager APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

   For new projects, the BigQuery API is automatically enabled.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per eseguire i tutorial sui casi d'uso della derivazione, chiedi all'amministratore di concederti i seguenti ruoli IAM nei tuoi progetti:

• Visualizzatore data lineage (roles/datalineage.viewer): nel progetto in cui viene registrata e visualizzata la lineage.
• Visualizzatore dati BigQuery (roles/bigquery.dataViewer): nel progetto di archiviazione della tabella.
• BigQuery Resource Viewer (roles/bigquery.resourceViewer): nel progetto di computing del job.
• Visualizzatore Dataplex Catalog (roles/dataplex.catalogViewer): sul progetto in cui sono archiviate le voci di catalogo.
• Editor Dataform (roles/dataform.editor): sul progetto in cui si trovano i tuoi spazi di lavoro e repository.

L'elenco seguente descrive i tipi di progetto e i servizi associati ai ruoli richiesti:

• Il progetto di archiviazione memorizza i set di dati e le tabelle BigQuery.
• Il progetto Compute elabora i tuoi dati e archivia i metadati di lineage. Viene utilizzato per eseguire job BigQuery e trasformazioni dei dati.
• Le voci del catalogo contengono metadati che descrivono le tabelle, consentendoti di trovarle e organizzarle senza accedere ai dati sottostanti.
• Il progetto di lineage registra e visualizza la cronologia dei dati e delle relative trasformazioni.
• Dataform è un servizio utilizzato per creare, controllare la versione ed eseguire pipeline di dati basate su SQL. Trasforma i dati non elaborati in set di dati puliti e documentati.

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni. Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Inizia

Per completare i tutorial, utilizza il repository dei casi d'uso della derivazione dei dati. Questo repository contiene codice predefinito per configurare i set di dati ed eseguire le trasformazioni dei dati.

Panoramica dei set di dati

Ogni tutorial utilizza un set di dati reale diverso, ad esempio dati di fornitori di servizi sanitari, sull'impiego o aziendali, per dimostrare la derivazione dei dati in scenari realistici.

Configurare i set di dati

Per monitorare le modifiche ai dati con la relativa derivazione, esegui questa configurazione una tantum:

1. Crea un token di accesso personale e archivialo in Secret Manager.
2. Collega il repository a Dataform.

Dopo la configurazione, esegui le trasformazioni dei dati per elaborarli e generare la derivazione.