Prerequisiti e configurazione

Per completare i tutorial sui casi d'uso della tracciabilità, esegui i seguenti passaggi di configurazione:

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

    4.

  4. Enable the BigQuery, Data lineage, Dataform, BigQuery Data Transfer, and Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

    For new projects, the BigQuery API is automatically enabled.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per eseguire i tutorial sui casi d'uso della tracciabilità, chiedi all'amministratore di concederti i seguenti ruoli IAM nei tuoi progetti:

  • Visualizzatore tracciabilità dei dati (roles/datalineage.viewer): nel progetto in cui la tracciabilità viene registrata e visualizzata.
  • Visualizzatore dati BigQuery (roles/bigquery.dataViewer): nel progetto di archiviazione della tabella.
  • Visualizzatore risorse BigQuery (roles/bigquery.resourceViewer): nel progetto di computing del job.
  • Visualizzatore catalogo Dataplex (roles/dataplex.catalogViewer): nel progetto in cui sono archiviate le voci di catalogo.
  • Editor Dataform (roles/dataform.editor): nel progetto in cui si trovano le aree di lavoro e i repository.

Il seguente elenco descrive i tipi di progetto e i servizi associati ai ruoli richiesti:

  • Il progetto di archiviazione memorizza i set di dati e le tabelle BigQuery.
  • Il progetto di computing elabora i dati e archivia i metadati di tracciabilità. Viene utilizzato per eseguire job BigQuery e trasformazioni dei dati.
  • Le voci di catalogo contengono metadati che descrivono le tabelle, consentendoti di trovarle e organizzarle senza accedere ai dati sottostanti.
  • Il progetto di tracciabilità registra e visualizza la cronologia dei dati e delle relative trasformazioni.
  • Dataform è un servizio utilizzato per creare, controllare la versione ed eseguire pipeline di dati basate su SQL. Trasforma i dati non elaborati in set di dati puliti e documentati.

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni. Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Inizia

Per completare i tutorial, utilizza il repository dei casi d'uso della tracciabilità dei dati. Questo repository contiene codice predefinito per configurare i set di dati ed eseguire le trasformazioni dei dati.

Panoramica dei set di dati

Ogni tutorial utilizza un set di dati reali diverso, ad esempio dati di fornitori di servizi sanitari, occupazione o dati aziendali, per dimostrare la tracciabilità dei dati in scenari realistici.

Configurare i set di dati

Per monitorare le modifiche ai dati con la tracciabilità dei dati, esegui questa configurazione una tantum:

  1. Crea un token di accesso personale e archivialo in Secret Manager.
  2. Collega il repository a Dataform.

Dopo la configurazione, esegui le trasformazioni dei dati per elaborare i dati e generare la tracciabilità.