Voraussetzungen und Einrichtung

Führen Sie die folgenden Einrichtungsschritte aus, um die Tutorials für den Lineage-Anwendungsfall durchzuarbeiten:

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

    4.

  4. Enable the BigQuery, Data lineage , Dataform, BigQuery Data Transfer, and Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

    For new projects, the BigQuery API is automatically enabled.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihre Projekte zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen der Anleitungen für den Lineage-Anwendungsfall benötigen:

  • Data Lineage-Betrachter (roles/datalineage.viewer): für das Projekt, in dem die Datenherkunft aufgezeichnet und angezeigt wird.
  • BigQuery-Datenbetrachter (roles/bigquery.dataViewer): für das Speicherprojekt der Tabelle.
  • BigQuery Resource Viewer (roles/bigquery.resourceViewer): für das Compute-Projekt des Jobs.
  • Dataplex Catalog Viewer (roles/dataplex.catalogViewer): für das Projekt, in dem Katalogeinträge gespeichert sind.
  • Dataform-Bearbeiter (roles/dataform.editor): für das Projekt, in dem sich Ihre Arbeitsbereiche und Repositories befinden.

In der folgenden Liste werden die Projekttypen und Dienste beschrieben, die mit den erforderlichen Rollen verknüpft sind:

  • Im Speicherprojekt werden die BigQuery-Datasets und ‑Tabellen gespeichert.
  • Im Compute-Projekt werden Ihre Daten verarbeitet und die Lineage-Metadaten gespeichert. Damit werden BigQuery-Jobs und Datentransformationen ausgeführt.
  • Katalogeinträge enthalten Metadaten, die Ihre Tabellen beschreiben. So können Sie sie finden und organisieren, ohne auf die zugrunde liegenden Daten zuzugreifen.
  • Lineage-Projekte zeichnen den Verlauf Ihrer Daten und ihrer Transformationen auf und visualisieren ihn.
  • Dataform ist ein Dienst zum Erstellen, Verwalten von Versionen und Ausführen von SQL-basierten Datenpipelines. Sie wandelt Rohdaten in bereinigte, dokumentierte Datasets um.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten. Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Jetzt starten

Für die Tutorials benötigen Sie das Repository für Anwendungsfälle für Data-Lineage. Dieses Repository enthält vordefinierten Code zum Einrichten von Datasets und Ausführen von Datentransformationen.

Datasets – Übersicht

In jedem Tutorial wird ein anderer realer Datensatz verwendet, z. B. Daten zu Gesundheitsdienstleistern, Beschäftigungs- oder Geschäftsdaten, um die Datenherkunft in realistischen Szenarien zu veranschaulichen.

Datasets einrichten

Wenn Sie Datenänderungen mit der Datenherkunft nachverfolgen möchten, müssen Sie diese einmalige Einrichtung vornehmen:

  1. Erstellen Sie ein persönliches Zugriffstoken und speichern Sie es in Secret Manager.
  2. Repository mit Dataform verknüpfen

Führen Sie nach der Einrichtung die Datentransformationen aus, um die Daten zu verarbeiten und den Datenursprung zu generieren.