Seit dem 10. April 2026 heißt Dataplex Universal Catalog jetzt Knowledge Catalog. Die Namen der API, der Clientbibliothek, der CLI und von IAM bleiben unverändert. Weitere Informationen finden Sie unter Google Cloud Knowledge Catalog.

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Erfassung von Datenherkunft für einen Dienst konfigurieren

Sie können die Aufnahme von Lineage-Informationen für bestimmte Integrationen auf Projekt-, Ordner- oder Organisationsebene selektiv aktivieren oder deaktivieren.

Weitere Informationen zu unterstützten Integrationen und Konfigurationsszenarien finden Sie unter Aufnahme von Datenherkunft steuern.

Vorbereitung

Wenn Sie die Aufnahme von Lineage-Daten steuern möchten, müssen Sie die Data Lineage API verwenden. Achten Sie darauf, dass Sie ein Clientprojekt für Abrechnung und Kontingent konfiguriert haben, da die Data Lineage API eine clientbasierte API ist.

Rollen und Berechtigungen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen (Identity and Access Management) zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Konfigurieren und Steuern der Aufnahme von Datenherkunft benötigen:

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Konfigurieren und Steuern der Data Lineage-Erfassung benötigen:

Data Lineage konfigurieren und verwalten: Data Lineage-Administrator (roles/datalineage.admin)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Konfigurieren und Steuern der Data Lineage-Erfassung erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um die Aufnahme von Datenherkunft zu konfigurieren und zu steuern:

Abrufen und Aktualisieren von Lineage-Konfigurationen:
- datalineage.configs.get
- datalineage.configs.update

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Aktivieren Sie die datalineage.googleapis.com API in Ihrem Clientprojekt. Weitere Informationen finden Sie unter Datenherkunft aktivieren.
Legen Sie das Kundenprojekt fest. Verwenden Sie für die folgenden Beispiele den Header X-Goog-User-Project. Weitere Informationen finden Sie unter Systemparameter.

Aktuelle Konfiguration abrufen

Wenn Sie prüfen möchten, ob die Aufnahme von Herkunftsinformationen für eine Ressource aktiviert ist, oder den Wert etag abrufen möchten, bevor Sie die Konfiguration ändern, rufen Sie die aktuelle Konfiguration ab.

C#

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für C# in der Knowledge Catalog-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Knowledge Catalog C# API.

Richten Sie zur Authentifizierung bei Knowledge Catalog die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.

using Google.Cloud.DataCatalog.Lineage.ConfigManagement.V1;

public sealed partial class GeneratedConfigManagementServiceClientSnippets
{
    /// <summary>Snippet for GetConfig</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void GetConfigRequestObject()
    {
        // Create client
        ConfigManagementServiceClient configManagementServiceClient = ConfigManagementServiceClient.Create();
        // Initialize request argument(s)
        GetConfigRequest request = new GetConfigRequest
        {
            ConfigName = ConfigName.FromProjectLocation("[PROJECT]", "[LOCATION]"),
        };
        // Make the request
        Config response = configManagementServiceClient.GetConfig(request);
    }
}

Go

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Go in der Knowledge Catalog-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Knowledge Catalog Go API.


//go:build examples

package main

import (
	"context"

	configmanagement "cloud.google.com/go/datacatalog/lineage/configmanagement/apiv1"
	configmanagementpb "cloud.google.com/go/datacatalog/lineage/configmanagement/apiv1/configmanagementpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := configmanagement.NewClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &configmanagementpb.GetConfigRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/datacatalog/lineage/configmanagement/apiv1/configmanagementpb#GetConfigRequest.
	}
	resp, err := c.GetConfig(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Java in der Knowledge Catalog-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Knowledge Catalog Java API.

import com.google.cloud.datacatalog.lineage.configmanagement.v1.Config;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementServiceClient;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.ConfigName;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.GetConfigRequest;

public class SyncGetConfig {

  public static void main(String[] args) throws Exception {
    syncGetConfig();
  }

  public static void syncGetConfig() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (ConfigManagementServiceClient configManagementServiceClient =
        ConfigManagementServiceClient.create()) {
      GetConfigRequest request =
          GetConfigRequest.newBuilder()
              .setName(ConfigName.ofProjectLocationName("[PROJECT]", "[LOCATION]").toString())
              .build();
      Config response = configManagementServiceClient.getConfig(request);
    }
  }
}

Python

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Python in der Knowledge Catalog-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Knowledge Catalog Python API.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import datacatalog_lineage_configmanagement_v1


def sample_get_config():
    # Create a client
    client = datacatalog_lineage_configmanagement_v1.ConfigManagementServiceClient()

    # Initialize request argument(s)
    request = datacatalog_lineage_configmanagement_v1.GetConfigRequest(
        name="name_value",
    )

    # Make the request
    response = client.get_config(request=request)

    # Handle the response
    print(response)

gcloud

Verwenden Sie den Befehl gcloud datalineage config describe, um die aktuelle Konfiguration der Herkunft anzuzeigen. Sie können die Konfiguration für ein Projekt, einen Ordner oder eine Organisation abrufen.

Das folgende Beispiel zeigt, wie die Konfiguration für das aktuelle Projekt abgerufen wird:

gcloud datalineage config describe

Wenn Sie beispielsweise die Konfiguration für ein bestimmtes Projekt abrufen möchten, verwenden Sie das Flag --project:

gcloud datalineage config describe --project=PROJECT_ID

Ersetzen Sie Folgendes:

PROJECT_ID: Die ID des Projekts, dessen Konfiguration Sie aufrufen möchten.

Wenn Sie die aktuelle Konfiguration für die Aufnahme von Lineage-Informationen für einen Dienst für einen Ordner oder eine Organisation aufrufen möchten, ersetzen Sie --project=PROJECT_ID durch einen der folgenden Werte:

--folder=FOLDER_ID, wenn Sie die Einstellungen für die Datenaufnahme für einen Ordner ansehen möchten.
--organization=ORGANIZATION_ID, wenn Sie die Einstellungen für die Datenaufnahme für eine Organisation ansehen möchten.

REST

Verwenden Sie die Methode projects.locations.config.get, um die aktuelle Konfiguration der Datenherkunft aufzurufen. Sie können die Konfiguration für ein Projekt, einen Ordner oder eine Organisation abrufen.

Das folgende Beispiel zeigt, wie die Konfiguration für ein Projekt abgerufen wird:

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

CLIENT_PROJECT_ID: Die ID Ihres Clientprojekts, das für die Abrechnung oder Kontingente verwendet wird.
PROJECT_ID: Die ID des Projekts, dessen Konfiguration Sie aufrufen möchten.

HTTP-Methode und URL:

GET https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

curl (Linux, macOS oder Cloud Shell)

Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto in der gcloud-Befehlszeile angemeldet haben, indem Sie gcloud init oder gcloud auth login ausgeführt oder die Cloud Shell genutzt haben, die Sie automatisch in der gcloud-Befehlszeile anmeldet. Um herauszufinden, welches Konto gerade aktiv ist, führen Sie gcloud auth list aus.

Führen Sie folgenden Befehl aus:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "x-goog-user-project: CLIENT_PROJECT_ID" \
     "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config"

PowerShell (Windows)

Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto in der gcloud-Befehlszeile angemeldet haben, indem Sie gcloud init oder gcloud auth login ausgeführt haben. Um herauszufinden, welches Konto gerade aktiv ist, führen Sie gcloud auth list aus.

Führen Sie diesen Befehl aus:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "CLIENT_PROJECT_ID" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config" | Select-Object -Expand Content

Der Befehl gibt eine der folgenden Ausgaben zurück:

Wenn Sie keine Einstellungen für die Aufnahme von Lineage-Informationen angeben, erhalten Sie eine Ausgabe mit einem leeren ingestion-Objekt:
```
{
  "name": "projects/123456789012/locations/global/config",
  "ingestion": {}
}
  
```
Das bedeutet, dass für den Dienst die Standardeinstellung für die Aufnahme von Lineage-Informationen verwendet wird. In diesem Beispiel ist die Einstellung für die Lineage-Erfassung für Managed Service for Apache Spark enabled.

Wenn Sie die Lineage-Erfassung explizit aktivieren, erhalten Sie die folgende Ausgabe:

{
  "name": "projects/123456789012/locations/global/config",
  "ingestion": {
    "rules": [
      {
        "integrationSelector": {
          "integration": "DATAPROC"
        },
        "lineageEnablement": {
          "enabled": true
        }
      }
    ]
  },
  "etag": "1a2b3c4d5e"
}

Wenn die Aufnahme von Lineage deaktiviert ist, wird die folgende Ausgabe angezeigt:

{
  "name": "projects/123456789012/locations/global/config",
  "ingestion": {
    "rules": [
      {
        "integrationSelector": {
          "integration": "DATAPROC"
        },
        "lineageEnablement": {
          "enabled": false
        }
      }
    ]
  },
  "etag": "1a2b3c4d5e"
}

Um die Konfiguration für einen Ordner oder eine Organisation abzurufen, ersetzen Sie projects/"PROJECT_ID durch folders/FOLDER_ID oder organizations/ORGANIZATION_ID.

Das Feld etag in der Antwort ist eine Prüfsumme, die vom Server auf Grundlage des aktuellen Werts der Konfiguration generiert wird. Wenn Sie eine Konfiguration mit der Methode patch aktualisieren, können Sie den Wert etag, der von einer aktuellen get-Anfrage zurückgegeben wurde, in den Anfragetext aufnehmen. Wenn Sie etag angeben, verwendet Knowledge Catalog diese Angabe, um zu überprüfen, ob sich die Konfiguration seit Ihrer letzten Leseanfrage geändert hat. Wenn es eine Diskrepanz gibt, schlägt die Aktualisierungsanfrage fehl. So wird verhindert, dass Sie in Szenarien mit Lese-, Änderungs- und Schreibvorgängen versehentlich Konfigurationen überschreiben, die von anderen Nutzern vorgenommen wurden. Wenn Sie in Ihrer patch-Anfrage keine etag angeben, überschreibt Knowledge Catalog die Konfiguration bedingungslos.

Erfassung von Herkunftsdaten für einen Dienst deaktivieren

Wenn Sie Kosten verwalten, Data Governance-Richtlinien erzwingen oder Entwicklungsprojekte und andere Arbeitslasten ausschließen möchten, die nicht von der Data Lineage-Nachverfolgung profitieren, können Sie die Data Lineage-Erfassung für einen Dienst deaktivieren.

Java

package com.google.cloud.datacatalog.lineage.configmanagement.v1.samples;

import com.google.api.gax.rpc.NotFoundException;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.Config;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.Config.Ingestion;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.Config.Ingestion.IngestionRule;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.Config.Ingestion.IngestionRule.IntegrationSelector;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.Config.Ingestion.IngestionRule.IntegrationSelector.Integration;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.Config.Ingestion.IngestionRule.LineageEnablement;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementServiceClient;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.ConfigName;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.GetConfigRequest;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.UpdateConfigRequest;

public class DisableLineageIngestion {

  public static void main(String[] args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String location = "global";
    disableLineageIngestion(projectId, location);
  }

  // Disables lineage ingestion for a specific service
  // (Managed Service for Apache Spark).
  public static void disableLineageIngestion(String projectId, String location) throws Exception {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (ConfigManagementServiceClient client = ConfigManagementServiceClient.create()) {
      // Format the resource name.
      String name = ConfigName.ofProjectLocationName(projectId, location).toString();

      Config.Builder configBuilder = Config.newBuilder().setName(name);

      // It is a best practice to read the existing config to preserve other rules
      // and use the etag for optimistic concurrency control.
      try {
        GetConfigRequest getRequest = GetConfigRequest.newBuilder().setName(name).build();
        Config existingConfig = client.getConfig(getRequest);
        configBuilder.mergeFrom(existingConfig);
      } catch (NotFoundException e) {
        // If config doesn't exist, we will proceed by creating a new one.
      }

      // Create an integration selector for the service you want to disable.
      IntegrationSelector selector =
          IntegrationSelector.newBuilder().setIntegration(Integration.DATAPROC).build();

      // Set lineage enablement to false to disable tracking.
      LineageEnablement enablement = LineageEnablement.newBuilder().setEnabled(false).build();

      // Build the ingestion rule.
      IngestionRule disableRule =
          IngestionRule.newBuilder()
              .setIntegrationSelector(selector)
              .setLineageEnablement(enablement)
              .build();

      // Preserve existing rules except for the one we are modifying, then add the new rule.
      // We clear the ingestion block out of the configBuilder entirely to reconstruct it.
      Ingestion.Builder ingestionBuilder = Ingestion.newBuilder();
      if (configBuilder.hasIngestion()) {
        for (IngestionRule rule : configBuilder.getIngestion().getRulesList()) {
          // Keep all existing rules EXCEPT the one targeting DATAPROC
          if (rule.getIntegrationSelector().getIntegration() != Integration.DATAPROC) {
            ingestionBuilder.addRules(rule);
          }
        }
      }
      ingestionBuilder.addRules(disableRule);

      // Update the config builder with the reconstructed ingestion settings.
      configBuilder.setIngestion(ingestionBuilder.build());

      // Build the update request.
      UpdateConfigRequest request = UpdateConfigRequest.newBuilder()
          .setConfig(configBuilder.build())
          .build();

      // Update the config.
      Config response = client.updateConfig(request);
      System.out.printf("Successfully updated config: %s\n", response.getName());
    }
  }
}

Python

from google.api_core.exceptions import NotFound
from google.cloud.datacatalog.lineage import configmanagement_v1

def disable_lineage_ingestion(project_id: str, location: str = "global") -> configmanagement_v1.Config:
    """Disables lineage ingestion for a specific service.

    Args:
        project_id: The ID of your Google Cloud project.
        location: The region location, usually 'global'.

    Returns:
        The updated Configuration object.
    """
    # Initialize client that will be used to send requests.
    client = configmanagement_v1.ConfigManagementServiceClient()

    # The config name format
    name = f"projects/{project_id}/locations/{location}/config"

    try:
        # Retrieve the existing config to preserve other configurations and
        # obtain the latest etag for optimistic concurrency control.
        config = client.get_config(name=name)

        # Filter out existing rules for the integration we are updating
        new_rules = [
            rule for rule in config.ingestion.rules
            if rule.integration_selector.integration != configmanagement_v1.Config.Ingestion.IngestionRule.IntegrationSelector.Integration.DATAPROC
        ]
    except NotFound:
        # If the config does not exist, start fresh
        config = configmanagement_v1.Config(name=name)
        new_rules = []

    # Define the integration to disable tracking for (e.g., DATAPROC).
    integration_selector = configmanagement_v1.Config.Ingestion.IngestionRule.IntegrationSelector(
        integration=configmanagement_v1.Config.Ingestion.IngestionRule.IntegrationSelector.Integration.DATAPROC
    )

    # Set lineage enablement to False to disable tracking.
    lineage_enablement = configmanagement_v1.Config.Ingestion.IngestionRule.LineageEnablement(
        enabled=False
    )

    # Create the ingestion rule.
    disable_rule = configmanagement_v1.Config.Ingestion.IngestionRule(
        integration_selector=integration_selector,
        lineage_enablement=lineage_enablement,
    )
     # Append the new disabling rule and assign it back to the config ingestion rules
    new_rules.append(disable_rule)
    config.ingestion = configmanagement_v1.Config.Ingestion(rules=new_rules)

    # Create the update request using the config (which includes the etag if it existed).
    request = configmanagement_v1.UpdateConfigRequest(
        config=config,
    )

    # Make the request to update the config
    response = client.update_config(request=request)

    print(f"Successfully updated config: {response.name}")
    return response

gcloud

Wenn Sie die Aufnahme von Lineage-Informationen für einen bestimmten Dienst deaktivieren möchten, verwenden Sie den Befehl gcloud datalineage config update mit einem Inline-JSON-String oder einem Pfad zu einer JSON-Datei, in der lineageEnablement.enabled für den jeweiligen integration auf false festgelegt ist.

Das folgende Beispiel zeigt, wie Sie die Aufnahme von Lineage-Daten für einen Dienst für ein Projekt mithilfe eines Inline-JSON-Strings deaktivieren:

gcloud datalineage config update --project=PROJECT_ID \
  --config='{
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "INTEGRATION"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "ETAG"
  }'

Ersetzen Sie Folgendes:

PROJECT_ID: Die ID des Projekts, dessen Konfiguration Sie aktualisieren möchten.
INTEGRATION: Die Integration, für die Sie die Konfiguration festlegen. Beispiel: DATAPROC oder BIGQUERY
ETAG: Der etag-Wert, der von einer aktuellen get-Anfrage im Anfragebody zurückgegeben wird. Er wird verwendet, um zu prüfen, ob sich die Konfiguration seit Ihrer letzten Leseanfrage geändert hat.

So aktualisieren Sie die Konfiguration mit einer JSON-Datei:

gcloud datalineage config update --project=PROJECT_ID --config=CONFIG_FILE

Ersetzen Sie Folgendes:

CONFIG_FILE: Der Pfad zur JSON-Datei mit der Konfiguration.

Wenn Sie die Aufnahme von Lineage-Informationen für einen Dienst für einen Ordner oder eine Organisation deaktivieren möchten, ersetzen Sie --project=PROJECT_ID durch eine der folgenden Optionen:

--folder=FOLDER_ID, wenn Sie die Einstellungen für die Datenaufnahme für einen Ordner aktualisieren möchten.
--organization=ORGANIZATION_ID, wenn Sie die Einstellungen für die Datenaufnahme für eine Organisation aktualisieren möchten.

REST

Wenn Sie die Aufnahme von Lineage-Informationen für einen bestimmten Dienst deaktivieren möchten, verwenden Sie die Methode projects.locations.config.patch mit einer Aufnahmeregel, die lineageEnablement.enabled für den jeweiligen integration auf false setzt.

Um zu verhindern, dass Konfigurationen, die von anderen Nutzern in Lese-/Änderungs-/Schreibvorgängen vorgenommen wurden, unbeabsichtigt überschrieben werden, können Sie das Feld etag in den Anfragetext aufnehmen. Weitere Informationen finden Sie unter Aktuelle Konfiguration abrufen.

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

CLIENT_PROJECT_ID: Die ID Ihres Clientprojekts, das für die Abrechnung oder Kontingente verwendet wird.
PROJECT_ID: Die ID des Projekts, dessen Konfiguration Sie aktualisieren möchten.
ETAG: Der etag-Wert, der von einer aktuellen get-Anfrage zurückgegeben wurde.
INTEGRATION: Die integration, für die Sie die Konfiguration festgelegt haben. Beispiel: DATAPROC

HTTP-Methode und URL:

PATCH https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config

JSON-Text anfordern:

{
  "ingestion": {
    "rules": [
      {
        "integrationSelector": {
          "integration": "INTEGRATION"
        },
        "lineageEnablement": {
          "enabled": false
        }
      }
    ]
  },
  "etag": "ETAG"
}

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

curl (Linux, macOS oder Cloud Shell)

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "x-goog-user-project: CLIENT_PROJECT_ID" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config"

PowerShell (Windows)

Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto in der gcloud-Befehlszeile angemeldet haben, indem Sie gcloud init oder gcloud auth login ausgeführt haben. Um herauszufinden, welches Konto gerade aktiv ist, führen Sie gcloud auth list aus.

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "CLIENT_PROJECT_ID" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config" | Select-Object -Expand Content

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:

{
  "name": "projects/PROJECT_ID/locations/global/config",
  "ingestion": {
    "rules": [
      {
        "integrationSelector": {
          "integration": "INTEGRATION"
        },
        "lineageEnablement": {
          "enabled": false
        }
      }
    ]
  },
  "etag": "1a2b3c4d5e"
}

Wenn Sie die Aufnahme von Lineage-Informationen für einen Ordner oder eine Organisation deaktivieren möchten, ersetzen Sie projects/"PROJECT_ID durch folders/FOLDER_ID oder organizations/ORGANIZATION_ID.

Erfassung von Herkunftsdaten für einen Dienst aktivieren

Wenn Sie das Tracking nach dem Deaktivieren fortsetzen oder eine Integration aktivieren möchten, die standardmäßig deaktiviert ist, aktivieren Sie die Lineage-Erfassung für einen Dienst.

Java

package com.google.cloud.datacatalog.lineage.configmanagement.v1.samples;

import com.google.api.gax.rpc.NotFoundException;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.Config;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.Config.Ingestion;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.Config.Ingestion.IngestionRule;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.Config.Ingestion.IngestionRule.IntegrationSelector;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.Config.Ingestion.IngestionRule.IntegrationSelector.Integration;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.Config.Ingestion.IngestionRule.LineageEnablement;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementServiceClient;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.ConfigName;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.GetConfigRequest;
import com.google.cloud.datacatalog.lineage.configmanagement.v1.UpdateConfigRequest;

public class EnableLineageIngestion {

  public static void main(String[] args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String location = "global";
    enableLineageIngestion(projectId, location);
  }

  // Enables lineage ingestion for a specific service
  // (Managed Service for Apache Spark).
  public static void enableLineageIngestion(String projectId, String location) throws Exception {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (ConfigManagementServiceClient client = ConfigManagementServiceClient.create()) {
      // Format the resource name.
      String name = ConfigName.ofProjectLocationName(projectId, location).toString();

      Config.Builder configBuilder = Config.newBuilder().setName(name);

      // It is a best practice to read the existing config to preserve other rules
      // and use the etag for optimistic concurrency control.
      try {
        GetConfigRequest getRequest = GetConfigRequest.newBuilder().setName(name).build();
        Config existingConfig = client.getConfig(getRequest);
        configBuilder.mergeFrom(existingConfig);
      } catch (NotFoundException e) {
        // If config doesn't exist, we will proceed by creating a new one.
      }

      // Create an integration selector for the service you want to enable (e.g., DATAPROC).
      IntegrationSelector selector =
          IntegrationSelector.newBuilder().setIntegration(Integration.DATAPROC).build();

      // Set lineage enablement to true to enable tracking.
      LineageEnablement enablement = LineageEnablement.newBuilder().setEnabled(true).build();

      // Build the ingestion rule.
      IngestionRule enableRule =
          IngestionRule.newBuilder()
              .setIntegrationSelector(selector)
              .setLineageEnablement(enablement)
              .build();

      // Preserve existing rules except for the one we are modifying, then add the new rule.
      // We clear the ingestion block out of the configBuilder entirely to reconstruct it.
      Ingestion.Builder ingestionBuilder = Ingestion.newBuilder();
      if (configBuilder.hasIngestion()) {
        for (IngestionRule rule : configBuilder.getIngestion().getRulesList()) {
          // Keep all existing rules EXCEPT the one targeting DATAPROC
          if (rule.getIntegrationSelector().getIntegration() != Integration.DATAPROC) {
            ingestionBuilder.addRules(rule);
          }
        }
      }
      ingestionBuilder.addRules(enableRule);

      // Update the config builder with the reconstructed ingestion settings.
      configBuilder.setIngestion(ingestionBuilder.build());

      // Build the update request.
      UpdateConfigRequest request = UpdateConfigRequest.newBuilder()
          .setConfig(configBuilder.build())
          .build();

      // Update the config.
      Config response = client.updateConfig(request);
      System.out.printf("Successfully updated config: %s\n", response.getName());
    }
  }
}

Python

from google.api_core.exceptions import NotFound
from google.cloud.datacatalog.lineage import configmanagement_v1

def enable_lineage_ingestion(project_id: str, location: str = "global") -> configmanagement_v1.Config:
    """Enables lineage ingestion for a specific service like Dataproc
    (Managed Service for Apache Spark).

    Args:
        project_id: The ID of your Google Cloud project.
        location: The region location, usually 'global'.

    Returns:
        The updated Configuration object.
    """
    # Initialize client that will be used to send requests.
    client = configmanagement_v1.ConfigManagementServiceClient()

    # The config name format
    name = f"projects/{project_id}/locations/{location}/config"

    try:
        # Retrieve the existing config to preserve other configurations and
        # obtain the latest etag for optimistic concurrency control.
        config = client.get_config(name=name)

        # Filter out existing rules for the integration we are updating
        new_rules = [
            rule for rule in config.ingestion.rules
            if rule.integration_selector.integration != configmanagement_v1.Config.Ingestion.IngestionRule.IntegrationSelector.Integration.DATAPROC
        ]
    except NotFound:
        # If the config does not exist, start fresh
        config = configmanagement_v1.Config(name=name)
        new_rules = []

    # Define the integration to enable tracking for (e.g., DATAPROC).
    integration_selector = configmanagement_v1.Config.Ingestion.IngestionRule.IntegrationSelector(
        integration=configmanagement_v1.Config.Ingestion.IngestionRule.IntegrationSelector.Integration.DATAPROC
    )

    # Set lineage enablement to True to enable tracking.
    lineage_enablement = configmanagement_v1.Config.Ingestion.IngestionRule.LineageEnablement(
        enabled=True
    )

    # Create the ingestion rule.
    enable_rule = configmanagement_v1.Config.Ingestion.IngestionRule(
        integration_selector=integration_selector,
        lineage_enablement=lineage_enablement,
    )

    # Append the new enabling rule and assign it back to the config ingestion rules
    new_rules.append(enable_rule)
    config.ingestion = configmanagement_v1.Config.Ingestion(rules=new_rules)

    # Create the update request using the config (which includes the etag if it existed).
    request = configmanagement_v1.UpdateConfigRequest(
        config=config,
    )

    # Make the request to update the config
    response = client.update_config(request=request)

    print(f"Successfully updated config: {response.name}")
    return response

gcloud

Wenn Sie die Aufnahme von Lineage-Informationen für einen bestimmten Dienst aktivieren möchten, verwenden Sie den Befehl gcloud datalineage config update mit einem Inline-JSON-String oder einem Pfad zu einer JSON-Datei, in der lineageEnablement.enabled für den jeweiligen integration auf true festgelegt ist. Zu den aktuellen Integrationen gehören Managed Service for Apache Spark, BigQuery und Managed Airflow.

Im folgenden Beispiel wird gezeigt, wie Sie die Aufnahme von Lineage-Daten für einen Dienst für ein Projekt mithilfe eines Inline-JSON-Strings aktivieren:

gcloud datalineage config update --project=PROJECT_ID \
  --config='{
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "INTEGRATION"
          },
          "lineageEnablement": {
            "enabled": true
          }
        }
      ]
    },
    "etag": "ETAG"
  }'

Ersetzen Sie Folgendes:

PROJECT_ID: Die ID des Projekts, dessen Konfiguration Sie aktualisieren möchten.
INTEGRATION: Die Integration, für die Sie die Konfiguration festlegen, z. B. DATAPROC oder BIGQUERY.
ETAG: Der etag-Wert, der von einer aktuellen get-Anfrage im Anfragebody zurückgegeben wird. Er wird verwendet, um zu prüfen, ob sich die Konfiguration seit Ihrer letzten Leseanfrage geändert hat.

So aktualisieren Sie die Konfiguration mit einer JSON-Datei:

gcloud datalineage config update --project=PROJECT_ID --config=CONFIG_FILE

Ersetzen Sie Folgendes:

CONFIG_FILE: Der Pfad zur JSON-Datei mit der Konfiguration.

Wenn Sie die Aufnahme von Lineage-Informationen für einen Dienst für einen Ordner oder eine Organisation aktivieren möchten, ersetzen Sie --project=PROJECT_ID durch einen der folgenden Werte:

--folder=FOLDER_ID, wenn Sie die Einstellungen für die Datenaufnahme für einen Ordner aktualisieren möchten.
--organization=ORGANIZATION_ID, wenn Sie die Einstellungen für die Datenaufnahme für eine Organisation aktualisieren möchten.

REST

Wenn Sie die Aufnahme von Lineage-Informationen für einen bestimmten Dienst aktivieren möchten, verwenden Sie die Methode projects.locations.config.patch mit einer Aufnahmeregel, die lineageEnablement.enabled für die jeweilige integration auf true festlegt.

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

CLIENT_PROJECT_ID: Die ID Ihres Clientprojekts, das für die Abrechnung oder Kontingente verwendet wird.
PROJECT_ID: Die ID des Projekts, dessen Konfiguration Sie aktualisieren möchten.
ETAG: Der etag-Wert, der von einer aktuellen get-Anfrage zurückgegeben wurde.
INTEGRATION: Die integration, für die Sie die Konfiguration festgelegt haben. Beispiel: DATAPROC

HTTP-Methode und URL:

PATCH https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config

JSON-Text anfordern:

{
  "ingestion": {
    "rules": [
      {
        "integrationSelector": {
          "integration": "INTEGRATION"
        },
        "lineageEnablement": {
          "enabled": true
        }
      }
    ]
  },
  "etag": "ETAG"
}

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

curl (Linux, macOS oder Cloud Shell)

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "x-goog-user-project: CLIENT_PROJECT_ID" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config"

PowerShell (Windows)

Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto in der gcloud-Befehlszeile angemeldet haben, indem Sie gcloud init oder gcloud auth login ausgeführt haben. Um herauszufinden, welches Konto gerade aktiv ist, führen Sie gcloud auth list aus.

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "CLIENT_PROJECT_ID" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config" | Select-Object -Expand Content

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:

{
  "name": "projects/PROJECT_ID/locations/global/config",
  "ingestion": {
    "rules": [
      {
        "integrationSelector": {
          "integration": "INTEGRATION"
        },
        "lineageEnablement": {
          "enabled": true
        }
      }
    ]
  },
  "etag": "1a2b3c4d5e"
}

Um die Aufnahme von Lineage-Informationen für einen Dienst für einen Ordner oder eine Organisation zu aktivieren, ersetzen Sie projects/PROJECT_ID durch folders/FOLDER_ID oder organizations/ORGANIZATION_ID.

Lineage-Erfassung für mehrere Dienste konfigurieren

Wenn Sie die Aufnahme von Lineage-Informationen für mehrere Integrationen gleichzeitig konfigurieren möchten, verwenden Sie die Methoden projects.locations.config.patch, folders.locations.config.patch oder organizations.locations.config.patch. Sie können die Konfiguration auf Projekt-, Ordner- oder Organisationsebene aktualisieren, indem Sie mehrere Regeln im Anfragebody definieren. Weitere Informationen finden Sie unter Funktionsweise der Konfiguration der Datenaufnahme für Integrationen mit mehreren Diensten.

Organisationsebene

Konfigurieren Sie die Organisation so, dass die Lineage-Erfassung für Managed Service for Apache Spark aktiviert wird:

curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "X-Goog-User-Project: CLIENT_PROJECT_ID" \
  "https://datalineage.googleapis.com/v1/organizations/ORGANIZATION_ID/locations/global/config" \
  -d '{
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "DATAPROC"
          },
          "lineageEnablement": {
            "enabled": true
          }
        }
      ]
    },
    "etag": "ORGANIZATION_CONFIG_ETAG"
  }'

Ersetzen Sie Folgendes:

ORGANIZATION_ID: Die ID der Organisation, deren Konfiguration Sie aktualisieren möchten.
CLIENT_PROJECT_ID: Die ID Ihres Clientprojekts, das für die Abrechnung oder Kontingente verwendet wird.
ORGANIZATION_CONFIG_ETAG: Der etag-Wert, der von einer aktuellen get-Anfrage für die Organisationskonfiguration zurückgegeben wurde.

Ordnerebene

Konfigurieren Sie den Ordner so, dass die Lineage-Erfassung für BigQuery aktiviert wird:

curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "X-Goog-User-Project: CLIENT_PROJECT_ID" \
  "https://datalineage.googleapis.com/v1/folders/FOLDER_ID/locations/global/config" \
  -d '{
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "BIGQUERY"
          },
          "lineageEnablement": {
            "enabled": true
          }
        }
      ]
    },
    "etag": "FOLDER_CONFIG_ETAG"
  }'

Ersetzen Sie Folgendes:

FOLDER_ID: Die ID des Ordners, dessen Konfiguration Sie aktualisieren möchten.
CLIENT_PROJECT_ID: Die ID Ihres Clientprojekts, das für die Abrechnung oder Kontingente verwendet wird.
FOLDER_CONFIG_ETAG: Der etag-Wert, der von einer aktuellen get-Anfrage für die Konfiguration des Ordners zurückgegeben wurde.

Projektebene

So konfigurieren Sie das Projekt, um die Erfassung von Lineage-Daten für BigQuery zu deaktivieren und gleichzeitig die Erfassung von Lineage-Daten für Managed Service for Apache Airflow zu aktivieren:

curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "X-Goog-User-Project: CLIENT_PROJECT_ID" \
  "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config" \
  -d '{
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "BIGQUERY"
          },
          "lineageEnablement": {
            "enabled": false
          }
        },
        {
          "integrationSelector": {
            "integration": "MANAGED_AIRFLOW"
          },
          "lineageEnablement": {
            "enabled": true
          }
        }
      ]
    },
    "etag": "PROJECT_CONFIG_ETAG"
  }'

Ersetzen Sie Folgendes:

PROJECT_ID: Die ID des Projekts, dessen Konfiguration Sie aktualisieren möchten.
CLIENT_PROJECT_ID: Die ID Ihres Clientprojekts, das für die Abrechnung oder Kontingente verwendet wird.
PROJECT_CONFIG_ETAG: Der etag-Wert, der von einer aktuellen get-Anfrage für die Projektkonfiguration zurückgegeben wurde.

Erfassung von Datenherkunft für einen Dienst konfigurieren Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Vorbereitung

Rollen und Berechtigungen

Erforderliche Berechtigungen

Aktuelle Konfiguration abrufen

C#

C#

Go

Go

Java

Java

Python

Python

gcloud

REST

curl (Linux, macOS oder Cloud Shell)

PowerShell (Windows)

Erfassung von Herkunftsdaten für einen Dienst deaktivieren

Java

Python

gcloud

REST

curl (Linux, macOS oder Cloud Shell)

PowerShell (Windows)

Erfassung von Herkunftsdaten für einen Dienst aktivieren

Java

Python

gcloud

REST

curl (Linux, macOS oder Cloud Shell)

PowerShell (Windows)

Lineage-Erfassung für mehrere Dienste konfigurieren

Organisationsebene

Ordnerebene

Projektebene

Nächste Schritte

Erfassung von Datenherkunft für einen Dienst konfigurieren