Voraussetzungen und Einrichtung

Führen Sie die folgenden Einrichtungsschritte aus, um die Anwendungsfälle für die Datenherkunft zu bearbeiten:

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

    4.

  4. Enable the BigQuery, Data lineage , Dataform, BigQuery Data Transfer, and Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    For new projects, the BigQuery API is automatically enabled.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihre Projekte zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen der Anwendungsfälle für die Datenherkunft benötigen:

  • Data Lineage-Betrachter (roles/datalineage.viewer) für das Projekt, in dem die Datenherkunft aufgezeichnet und angezeigt wird.
  • BigQuery-Datenbetrachter (roles/bigquery.dataViewer) für das Speicherprojekt der Tabelle.
  • BigQuery-Ressourcenbetrachter (roles/bigquery.resourceViewer) für das Compute-Projekt des Jobs.
  • Dataplex Catalog Viewer (roles/dataplex.catalogViewer) für das Projekt, in dem Katalogeinträge gespeichert sind.
  • Dataform-Bearbeiter (roles/dataform.editor) für das Projekt, in dem sich Ihre Arbeitsbereiche und Repositories befinden.

In der folgenden Liste werden die Projekttypen und Dienste beschrieben, die mit den erforderlichen Rollen verknüpft sind:

  • Im Speicherprojekt werden die BigQuery-Datasets und -Tabellen gespeichert.
  • Im Compute-Projekt werden Ihre Daten verarbeitet und die Metadaten zur Datenherkunft gespeichert. Es wird verwendet, um BigQuery-Jobs und Datentransformationen auszuführen.
  • Katalogeinträge enthalten Metadaten, die Ihre Tabellen beschreiben. So können Sie sie finden und organisieren, ohne auf die zugrunde liegenden Daten zuzugreifen.
  • Im Projekt zur Datenherkunft werden der Verlauf Ihrer Daten und die zugehörigen Transformationen aufgezeichnet und visualisiert.
  • Dataform ist ein Dienst zum Erstellen, Verwalten von Versionen und Ausführen von SQL-basierten Datenpipelines. Er wandelt Rohdaten in bereinigte, dokumentierte Datasets um.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten. Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Jetzt starten

Verwenden Sie das Repository Anwendungsfälle für die Datenherkunft, um die Anleitungen zu bearbeiten. Dieses Repository enthält vordefinierten Code zum Einrichten von Datasets und Ausführen von Datentransformationen.

Datasets – Übersicht

In jeder Anleitung wird ein anderes Dataset aus der Praxis verwendet, z. B. Daten zu Gesundheitsdienstleistern, Beschäftigung oder Unternehmen, um die Datenherkunft in realistischen Szenarien zu veranschaulichen.

Datasets einrichten

Führen Sie diese einmalige Einrichtung aus, um Datenänderungen mit der Datenherkunft nachzuverfolgen:

  1. Erstellen Sie ein persönliches Zugriffstoken und speichern Sie es in Secret Manager.
  2. Verknüpfen Sie das Repository mit Dataform.

Führen Sie nach der Einrichtung die Datentransformationen aus, um die Daten zu verarbeiten und die Datenherkunft zu generieren.