Diese Seite wurde von der Cloud Translation API übersetzt.

Datenprofilscans erstellen und verwenden

Mit Dataplex Universal Catalog können Sie allgemeine statistische Merkmale (häufige Werte, Datenverteilung, Anzahl der Nullwerte) der Spalten in Ihren BigQuery-Tabellen identifizieren. Anhand dieser Informationen können Sie Ihre Daten besser verstehen und analysieren.

Weitere Informationen zu Datenprofilscans in Dataplex Universal Catalog finden Sie unter Datenprofilerstellung.

Hinweise

Enable the Dataplex API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihre Ressource, z. B. das Projekt oder die Tabelle, zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Verwalten von Datenprofilscans benötigen:

So erstellen, ausführen, aktualisieren und löschen Sie Datenprofilscans: Rolle Dataplex DataScan Editor (roles/dataplex.dataScanEditor) für das Projekt, das den Datenscan enthält.
Damit Dataplex Universal Catalog Datenprofilscans für BigQuery-Daten ausführen kann, weisen Sie dem Dataplex Universal Catalog-Dienstkonto die folgenden Rollen zu: Die Rolle BigQuery Job User (roles/bigquery.jobUser) für das Projekt, in dem der Scan ausgeführt wird, und die Rolle BigQuery Data Viewer (roles/bigquery.dataViewer) für die Tabellen, die gescannt werden.
So führen Sie Datenprofilscans für externe BigQuery-Tabellen aus, die Cloud Storage-Daten verwenden: Weisen Sie dem Dataplex Universal Catalog-Dienstkonto die Rollen Storage-Objekt-Betrachter (roles/storage.objectViewer) und Storage Legacy Bucket Reader (roles/storage.legacyBucketReader) für den Cloud Storage-Bucket zu.
So rufen Sie Ergebnisse, Jobs und den Verlauf von Datenprofilscans auf: Rolle Dataplex DataScan Viewer (roles/dataplex.dataScanViewer) für das Projekt, das den Datenscan enthält.
So exportieren Sie die Ergebnisse von Datenprofilscans in eine BigQuery-Tabelle: Rolle BigQuery-Datenbearbeiter (roles/bigquery.dataEditor) für die Tabelle.
So veröffentlichen Sie die Ergebnisse von Datenprofilscans in Dataplex Universal Catalog: Rolle Dataplex Catalog Editor (roles/dataplex.catalogEditor) für die Eintragsgruppe @bigquery.
So rufen Sie die veröffentlichten Ergebnisse von Datenprofilscans in BigQuery auf dem Tab Datenprofil auf: Rolle BigQuery-Datenbetrachter (roles/bigquery.dataViewer) für die Tabelle.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Erforderliche Berechtigungen

Wenn Sie benutzerdefinierte Rollen verwenden, müssen Sie die folgenden IAM-Berechtigungen gewähren:

So erstellen, ausführen, aktualisieren und löschen Sie Datenprofilscans:
- dataplex.datascans.create im Projekt – DataScan erstellen
- dataplex.datascans.update für Datenscan: Beschreibung einer DataScan aktualisieren
- dataplex.datascans.delete für Datenscan: Löschen Sie ein DataScan.
- dataplex.datascans.run für Datenscan: Führen Sie einen DataScan aus.
- dataplex.datascans.get für Datenscan: DataScan-Details ansehen, mit Ausnahme von Ergebnissen
- dataplex.datascans.list für das Projekt – Liste der DataScan
- dataplex.dataScanJobs.get für DataScan-Job: DataScan-Job-Ressourcen lesen
- dataplex.dataScanJobs.list für Datenscan: DataScan-Jobressourcen in einem Projekt auflisten
Damit Dataplex Universal Catalog Datenprofilscans für BigQuery-Daten ausführen kann, müssen Sie Folgendes tun:
- bigquery.jobs.create für das Projekt – Jobs ausführen
- bigquery.tables.get für Tabelle: Tabellenmetadaten abrufen
- bigquery.tables.getData für Tabelle – Tabellendaten abrufen
So führen Sie Datenprofilscans für externe BigQuery-Tabellen aus, in denen Cloud Storage-Daten verwendet werden:
- storage.buckets.get für Bucket – Bucket-Metadaten lesen
- storage.objects.get für Objekt – Objektdaten lesen
So rufen Sie Ergebnisse, Jobs und den Verlauf von Datenprofilscans auf:
- dataplex.datascans.getData für Datenscan: DataScan-Details ansehen, einschließlich von Ergebnissen
- dataplex.datascans.list für das Projekt – Liste der DataScan
- dataplex.dataScanJobs.get für DataScan-Job: DataScan-Job-Ressourcen lesen
- dataplex.dataScanJobs.list für Datenscan: DataScan-Jobressourcen in einem Projekt auflisten
So exportieren Sie die Ergebnisse des Datenprofilscans in eine BigQuery-Tabelle:
- bigquery.tables.create für Dataset – Tabellen erstellen
- bigquery.tables.updateData für Tabellen: Daten in Tabellen schreiben
So veröffentlichen Sie die Ergebnisse von Datenprofilscans in Dataplex Universal Catalog:
- dataplex.entryGroups.useDataProfileAspect für die Eintragsgruppe: Ermöglicht es, dass Dataplex Universal Catalog-Datenprofilscans ihre Ergebnisse in Dataplex Universal Catalog speichern.
- Außerdem benötigen Sie eine der folgenden Berechtigungen:
  - bigquery.tables.update für Tabelle: Tabellenmetadaten aktualisieren
  - dataplex.entries.update bei Eintrag: Einträge aktualisieren
So rufen Sie veröffentlichte Datenprofilergebnisse für eine Tabelle in BigQuery oder Dataplex Universal Catalog auf:
- bigquery.tables.get für Tabelle: Tabellenmetadaten abrufen
- bigquery.tables.getData für Tabelle – Tabellendaten abrufen

Wenn für eine Tabelle die Sicherheit auf Zeilenebene von BigQuery verwendet wird, kann Dataplex Universal Catalog nur Zeilen scannen, die für das Dataplex Universal Catalog-Dienstkonto sichtbar sind. Damit Dataplex Universal Catalog alle Zeilen scannen kann, fügen Sie das Dienstkonto in einen Zeilenfilter ein, in dem das Prädikat TRUE ist.

Wenn für eine Tabelle die Sicherheit auf Spaltenebene von BigQuery verwendet wird, muss Dataplex Universal Catalog auf geschützte Spalten zugreifen können, um sie zu scannen. Weisen Sie dem Dataplex Universal Catalog-Dienstkonto die Rolle Data Catalog Fine-Grained Reader (roles/datacatalog.fineGrainedReader) für alle in der Tabelle verwendeten Richtlinien-Tags zu, um Zugriff zu gewähren. Zum Erstellen oder Aktualisieren von Datenscans sind ebenfalls Berechtigungen für geschützte Spalten erforderlich.

Rollen für das Dataplex Universal Catalog-Dienstkonto zuweisen

Für die Ausführung von Datenprofilscans verwendet Dataplex Universal Catalog ein Dienstkonto, für das Berechtigungen zum Ausführen von BigQuery-Jobs und zum Lesen von BigQuery-Tabellendaten erforderlich sind. So weisen Sie die erforderlichen Rollen zu:

Rufen Sie die E‑Mail-Adresse des Dataplex Universal Catalog-Dienstkontos ab. Wenn Sie in diesem Projekt noch keinen Datenprofil- oder Datenqualitätsscan erstellt haben, führen Sie den folgenden gcloud-Befehl aus, um die Dienstidentität zu generieren:
```
gcloud beta services identity create --service=dataplex.googleapis.com
```
Der Befehl gibt die E-Mail-Adresse des Dienstkontos im folgenden Format zurück: service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com.

Wenn das Dienstkonto bereits vorhanden ist, können Sie seine E-Mail-Adresse abrufen, indem Sie in der Google Cloud -Konsole auf der Seite IAM nach Hauptkonten mit dem Namen Dataplex suchen.
Weisen Sie dem Dienstkonto die Rolle BigQuery-Jobnutzer (roles/bigquery.jobUser) für Ihr Projekt zu. Mit dieser Rolle kann das Dienstkonto BigQuery-Jobs für den Scan ausführen.
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" \
    --role="roles/bigquery.jobUser"
```
Ersetzen Sie Folgendes:
- PROJECT_ID: Projekt-ID in Google Cloud .
- service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com: Die E-Mail-Adresse des Dataplex Universal Catalog-Dienstkontos.

Weisen Sie dem Dienstkonto für jede Tabelle, die Sie profilieren möchten, die Rolle BigQuery-Datenbetrachter (roles/bigquery.dataViewer) zu. Diese Rolle gewährt Lesezugriff auf die Tabellen.

gcloud bigquery tables add-iam-policy-binding DATASET_ID.TABLE_ID \
    --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" \
    --role="roles/bigquery.dataViewer"

Ersetzen Sie Folgendes:

DATASET_ID: die ID des Datasets, das die Tabelle enthält.
TABLE_ID: Die ID der zu profilierenden Tabelle.

service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com: Die E-Mail-Adresse des Dataplex Universal Catalog-Dienstkontos.

Datenprofilscan erstellen

Console

Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Datenprofilerstellung und ‑qualität auf.

Zu „Datenprofilerstellung und ‑qualität“
Klicken Sie auf Datenprofilscan erstellen.
Optional: Geben Sie einen Anzeigenamen ein.
Geben Sie eine ID ein. Weitere Informationen finden Sie unter Konventionen für Ressourcennamen.
Optional: Geben Sie eine Beschreibung ein.
Klicken Sie im Feld Tabelle auf Durchsuchen. Wählen Sie die Tabelle aus, die gescannt werden soll, und klicken Sie dann auf Auswählen.

Wählen Sie für Tabellen in multiregionalen Datasets eine Region aus, in der der Datenscan erstellt werden soll.

Wenn Sie die Tabellen durchsuchen möchten, die in Dataplex Universal Catalog-Lakes organisiert sind, klicken Sie auf In Dataplex-Lakes suchen.
Wählen Sie im Feld Umfang die Option Inkrementell oder Gesamte Daten aus.
- Wenn Sie Inkrementelle Daten auswählen, wählen Sie im Feld Spalte für Zeitstempel eine Spalte vom Typ DATE oder TIMESTAMP aus Ihrer BigQuery-Tabelle aus, die mit dem Hinzufügen neuer Datensätze zunimmt und zum Identifizieren neuer Datensätze verwendet werden kann. Für Tabellen, die auf Grundlage einer Spalte vom Typ DATE oder TIMESTAMP partitioniert sind, wird empfohlen, die Partitionsspalte als Zeitstempelfeld zu verwenden.
Optional: So filtern Sie Ihre Daten:
- Wenn Sie nach Zeilen filtern möchten, aktivieren Sie das Kästchen Zeilen filtern. Geben Sie einen gültigen SQL-Ausdruck ein, der in einer WHERE-Anweisung in GoogleSQL-Syntax verwendet werden kann. Beispiel: col1 >= 0.
  
  Der Filter kann eine Kombination aus SQL-Bedingungen für mehrere Spalten sein. Beispiel: col1 >= 0 AND col2 < 10.
- Wenn Sie nach Spalten filtern möchten, aktivieren Sie das Kästchen Spalten filtern.
  - Wenn Sie Spalten in den Profilscan einbeziehen möchten, klicken Sie im Feld Spalten einschließen auf Durchsuchen. Wählen Sie die Spalten aus, die enthalten sein sollen, und klicken Sie dann auf Auswählen.
  - Wenn Sie Spalten vom Profilscan ausschließen möchten, klicken Sie im Feld Spalten ausschließen auf Durchsuchen. Wählen Sie die auszuschließenden Spalten aus und klicken Sie dann auf Auswählen.
  Hinweis: Sie können Spalten einschließen, Spalten ausschließen oder beides verwenden. Wenn Sie beide Felder verwenden, wählt der Datenprofilscan zuerst die Spalten basierend auf der Eingabe im Feld Spalten einschließen aus und schließt dann die Spalten basierend auf der Eingabe im Feld Spalten ausschließen aus.
Wenn Sie die Stichprobenerhebung auf Ihren Datenprofilscan anwenden möchten, wählen Sie in der Liste Stichprobengröße einen Prozentsatz für die Erhebung aus. Wählen Sie einen Prozentwert zwischen 0,0% und 100,0% mit bis zu drei Dezimalstellen aus.
- Wählen Sie bei größeren Datasets einen niedrigeren Prozentsatz für die Stichprobenerhebung aus. Wenn Sie beispielsweise für eine Tabelle mit einem Umfang von 1 PB einen Wert zwischen 0,1% und 1, 0 % eingeben, werden im Datenprofil 1–10 TB an Daten als Stichprobe erhoben.
- Eine Stichprobe muss mindestens 100 Einträge enthalten, damit ein Ergebnis zurückgegeben wird.
- Bei Scans inkrementeller Daten wird die Stichprobe im Datenprofilscan aus dem neuesten Inkrement erhoben.
Optional: Veröffentlichen Sie die Ergebnisse des Datenprofilscans auf den BigQuery- und Dataplex Universal Catalog-Seiten in derGoogle Cloud Console für die Quelltabelle. Aktivieren Sie das Kästchen Ergebnisse in BigQuery und Dataplex Catalog veröffentlichen.

Sie können die neuesten Scanergebnisse auf den BigQuery- und Dataplex Universal Catalog-Seiten für die Quelltabelle auf dem Tab Datenprofil ansehen. Wie Sie Nutzern Zugriff auf die veröffentlichten Scanergebnisse gewähren, erfahren Sie im Abschnitt Zugriff auf Datenprofilscan-Ergebnisse gewähren in diesem Dokument.

Die Veröffentlichungsoption ist in den folgenden Fällen möglicherweise nicht verfügbar:
- Sie haben nicht die erforderlichen Berechtigungen für die Tabelle.
- Die Ergebnisse eines anderen Datenqualitätsscans sind veröffentlicht.
Wählen Sie im Bereich Zeitplan eine der folgenden Optionen aus:
- Wiederholen: Der Datenprofilscan wird nach einem Zeitplan ausgeführt: stündlich, täglich, wöchentlich, monatlich oder benutzerdefiniert. Geben Sie an, wie oft und zu welcher Uhrzeit der Scan ausgeführt werden soll. Wenn Sie „benutzerdefiniert“ auswählen, geben Sie den Zeitplan im Cron-Format an.
- On demand: Der Datenprofilscan wird auf Anfrage ausgeführt.
Klicken Sie auf Weiter.
Optional: Exportieren Sie die Scanergebnisse in eine BigQuery-Standardtabelle. Führen Sie im Abschnitt Scanergebnisse in BigQuery-Tabelle exportieren folgende Schritte aus:
1. Klicken Sie im Feld BigQuery-Dataset auswählen auf Durchsuchen. Wählen Sie ein BigQuery-Dataset zum Speichern der Ergebnisse des Datenprofilscans aus.
2. Geben Sie im Feld BigQuery-Tabelle die Tabelle an, in der die Ergebnisse des Datenprofilscans gespeichert werden sollen. Wenn Sie eine vorhandene Tabelle verwenden, muss sie mit dem Tabellenschema für den Export kompatibel sein. Wenn die angegebene Tabelle nicht vorhanden ist, wird sie von Dataplex Universal Catalog erstellt.
  
  Hinweis :Sie können dieselbe Ergebnistabelle für mehrere Datenprofilscans verwenden.
Optional: Fügen Sie Labels hinzu. Labels sind Schlüssel/Wert-Paare, mit denen Sie verwandte Objekte miteinander oder mit anderen Google Cloud -Ressourcen gruppieren können.
Klicken Sie auf Erstellen, um den Scan zu erstellen.

Wenn Sie den Zeitplan auf „On-Demand“ festlegen, können Sie den Scan auch sofort ausführen, indem Sie auf Scan ausführen klicken.

gcloud

Verwenden Sie zum Erstellen eines Datenprofilscans den gcloud dataplex datascans create data-profile-Befehl.

Wenn die Quelldaten in einem Dataplex Universal Catalog-Lake organisiert sind, fügen Sie das Flag --data-source-entity ein:

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-entity=DATA_SOURCE_ENTITY

Wenn die Quelldaten nicht in einem Dataplex Universal Catalog-Lake organisiert sind, fügen Sie das Flag --data-source-resource ein:

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-resource=DATA_SOURCE_RESOURCE

Ersetzen Sie die folgenden Variablen:

DATASCAN: Der Name des Datenprofilscans.
LOCATION: Die Google Cloud -Region, in der der Datenprofilscan erstellt werden soll.
DATA_SOURCE_ENTITY: Die Dataplex Universal Catalog-Entität, die die Daten für den Datenprofilscan enthält. Beispiel: projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity
DATA_SOURCE_RESOURCE: Der Name der Ressource, die die Daten für den Datenprofilscan enthält. Beispiel: //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table

C#

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für C# in der Dataplex Universal Catalog-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Dataplex Universal Catalog C# API.

Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Dataplex Universal Catalog zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.

using Google.Api.Gax.ResourceNames;
using Google.Cloud.Dataplex.V1;
using Google.LongRunning;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for CreateDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void CreateDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        CreateDataScanRequest request = new CreateDataScanRequest
        {
            ParentAsLocationName = LocationName.FromProjectLocation("[PROJECT]", "[LOCATION]"),
            DataScan = new DataScan(),
            DataScanId = "",
            ValidateOnly = false,
        };
        // Make the request
        Operation<DataScan, OperationMetadata> response = dataScanServiceClient.CreateDataScan(request);

        // Poll until the returned long-running operation is complete
        Operation<DataScan, OperationMetadata> completedResponse = response.PollUntilCompleted();
        // Retrieve the operation result
        DataScan result = completedResponse.Result;

        // Or get the name of the operation
        string operationName = response.Name;
        // This name can be stored, then the long-running operation retrieved later by name
        Operation<DataScan, OperationMetadata> retrievedResponse = dataScanServiceClient.PollOnceCreateDataScan(operationName);
        // Check if the retrieved long-running operation has completed
        if (retrievedResponse.IsCompleted)
        {
            // If it has completed, then access the result
            DataScan retrievedResult = retrievedResponse.Result;
        }
    }
}

Go

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Go in der Dataplex Universal Catalog-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Dataplex Universal Catalog Go API.


package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.CreateDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#CreateDataScanRequest.
	}
	op, err := c.CreateDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}

	resp, err := op.Wait(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Java in der Dataplex Universal Catalog-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Dataplex Universal Catalog Java API.

import com.google.cloud.dataplex.v1.CreateDataScanRequest;
import com.google.cloud.dataplex.v1.DataScan;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.LocationName;

public class SyncCreateDataScan {

  public static void main(String[] args) throws Exception {
    syncCreateDataScan();
  }

  public static void syncCreateDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      CreateDataScanRequest request =
          CreateDataScanRequest.newBuilder()
              .setParent(LocationName.of("[PROJECT]", "[LOCATION]").toString())
              .setDataScan(DataScan.newBuilder().build())
              .setDataScanId("dataScanId1260787906")
              .setValidateOnly(true)
              .build();
      DataScan response = dataScanServiceClient.createDataScanAsync(request).get();
    }
  }
}

Python

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Python in der Dataplex Universal Catalog-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Dataplex Universal Catalog Python API.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_create_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    data_scan = dataplex_v1.DataScan()
    data_scan.data_quality_spec.rules.dimension = "dimension_value"
    data_scan.data.entity = "entity_value"

    request = dataplex_v1.CreateDataScanRequest(
        parent="parent_value",
        data_scan=data_scan,
        data_scan_id="data_scan_id_value",
    )

    # Make the request
    operation = client.create_data_scan(request=request)

    print("Waiting for operation to complete...")

    response = operation.result()

    # Handle the response
    print(response)

Ruby

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Ruby in der Dataplex Universal Catalog-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Dataplex Universal Catalog Ruby API.

require "google/cloud/dataplex/v1"

##
# Snippet for the create_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#create_data_scan.
#
def create_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::CreateDataScanRequest.new

  # Call the create_data_scan method.
  result = client.create_data_scan request

  # The returned object is of type Gapic::Operation. You can use it to
  # check the status of an operation, cancel it, or wait for results.
  # Here is how to wait for a response.
  result.wait_until_done! timeout: 60
  if result.response?
    p result.response
  else
    puts "No response received."
  end
end

REST

Verwenden Sie die dataScans.create-Methode, um einen Datenprofilscan zu erstellen.

Tabellenschema exportieren

Wenn Sie die Ergebnisse des Datenprofilscans in eine vorhandene BigQuery-Tabelle exportieren möchten, muss diese mit dem folgenden Tabellenschema kompatibel sein:

Spaltenname	Datentyp der Spalte	Name des Unterfelds (falls zutreffend)	Datentyp des Unterfelds	Modus	Beispiel
data_profile_scan	`struct/record`	`resource_name`	`string`	nullable	`//dataplex.googleapis.com/projects/test-project/locations/europe-west2/datascans/test-datascan`
		`project_id`	`string`	nullable	`test-project`
		`location`	`string`	nullable	`us-central1`
		`data_scan_id`	`string`	nullable	`test-datascan`
data_source	`struct/record`	`resource_name`	`string`	nullable	Entität: `//dataplex.googleapis.com/projects/test-project/locations/europe-west2/lakes/test-lake/zones/test-zone/entities/test-entity` Tabelle: `//bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table`
		`dataplex_entity_project_id`	`string`	nullable	`test-project`
		`dataplex_entity_project_number`	`integer`	nullable	`123456789012`
		`dataplex_lake_id`	`string`	nullable	(Nur gültig, wenn die Quelle eine Entität ist) `test-lake`
		`dataplex_zone_id`	`string`	nullable	(Nur gültig, wenn die Quelle eine Entität ist) `test-zone`
		`dataplex_entity_id`	`string`	nullable	(Nur gültig, wenn die Quelle eine Entität ist) `test-entity`
		`table_project_id`	`string`	nullable	`dataplex-table`
		`table_project_number`	`int64`	nullable	`345678901234`
		`dataset_id`	`string`	nullable	(Nur gültig, wenn die Quelle eine Tabelle ist) `test-dataset`
		`table_id`	`string`	nullable	(Nur gültig, wenn die Quelle eine Tabelle ist) `test-table`
data_profile_job_id	`string`			nullable	`caeba234-cfde-4fca-9e5b-fe02a9812e38`
data_profile_job_configuration	`json`	`trigger`	`string`	nullable	`ondemand`/`schedule`
		`incremental`	`boolean`	nullable	`true`/`false`
		`sampling_percent`	`float`	nullable	(0–100) `20.0` (entspricht 20%)
		`row_filter`	`string`	nullable	`col1 >= 0 AND col2 < 10`
		`column_filter`	`json`	nullable	`{"include_fields":["col1","col2"], "exclude_fields":["col3"]}`
job_labels	`json`			nullable	`{"key1":value1}`
job_start_time	`timestamp`			nullable	`2023-01-01 00:00:00 UTC`
job_end_time	`timestamp`			nullable	`2023-01-01 00:00:00 UTC`
job_rows_scanned	`integer`			nullable	`7500`
column_name	`string`			nullable	`column-1`
column_type	`string`			nullable	`string`
column_mode	`string`			nullable	`repeated`
percent_null	`float`			nullable	(0,0–100,0) `20.0` (entspricht 20%)
percent_unique	`float`			nullable	(0,0–100,0) `92.5`
min_string_length	`integer`			nullable	(Nur gültig, wenn der Spaltentyp „string“ ist) `10`
max_string_length	`integer`			nullable	(Nur gültig, wenn der Spaltentyp „string“ ist) `4`
average_string_length	`float`			nullable	(Nur gültig, wenn der Spaltentyp „string“ ist) `7.2`
min_value	`float`			nullable	(Nur gültig, wenn der Spaltentyp numerisch ist – „integer“ oder „float“)
max_value	`float`			nullable	(Nur gültig, wenn der Spaltentyp numerisch ist – „integer“ oder „float“)
average_value	`float`			nullable	(Nur gültig, wenn der Spaltentyp numerisch ist – „integer“ oder „float“)
standard_deviation	`float`			nullable	(Nur gültig, wenn der Spaltentyp numerisch ist – „integer“ oder „float“)
quartile_lower	`integer`			nullable	(Nur gültig, wenn der Spaltentyp numerisch ist – „integer“ oder „float“)
quartile_median	`integer`			nullable	(Nur gültig, wenn der Spaltentyp numerisch ist – „integer“ oder „float“)
quartile_upper	`integer`			nullable	(Nur gültig, wenn der Spaltentyp numerisch ist – „integer“ oder „float“)
top_n	`struct/record - repeated`	`value`	`string`	nullable	`"4009"`
		`count`	`integer`	nullable	`20`
		`percent`	`float`	nullable	`10` (entspricht 10 %)

Richtlinien für Exporttabellen

Beachten Sie die folgenden Richtlinien, wenn Sie Daten in BigQueryExport-Tabellen exportieren:

Verwenden Sie für das Feld resultsTable folgendes Format: //bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id}
Verwenden Sie eine BigQuery-Standardtabelle.
Wenn die Tabelle beim Erstellen oder Aktualisieren des Scans nicht vorhanden ist, wird sie von Dataplex Universal Catalog erstellt.
Standardmäßig wird die Tabelle täglich auf Grundlage der Spalte job_start_time partitioniert.
Wenn Sie möchten, dass die Tabelle anders partitioniert wird, oder wenn Sie keine Partition möchten, erstellen Sie die Tabelle mit dem erforderlichen Schema und den erforderlichen Konfigurationen neu und geben Sie diese vorab erstellte Tabelle dann als Ergebnistabelle an.
Die Ergebnistabelle muss sich am selben Speicherort wie die Quelltabelle befinden.
Wenn VPC-SC für das Projekt konfiguriert ist, muss sich die Ergebnistabelle im selben VPC-SC-Perimeter wie die Quelltabelle befinden.
Wenn die Tabelle während der Ausführung des Scans geändert wird, werden die Daten des aktuell ausgeführten Jobs in die vorherige Ergebnistabelle exportiert. Die Tabellenänderung wird erst beim nächsten Scanjob berücksichtigt.
Ändern Sie das Tabellenschema nicht. Wenn Sie benutzerdefinierte Spalten benötigen, erstellen Sie eine Ansicht für die Tabelle.
Um Kosten zu senken, legen Sie je nach Anwendungsfall ein Ablaufdatum für die Partition fest. Weitere Informationen finden Sie unter Partitionsablauf festlegen.

Mehrere Datenprofilscans erstellen

Sie können Datenprofilscans für mehrere Tabellen in einem BigQuery-Dataset gleichzeitig konfigurieren, indem Sie die Google Cloud Konsole verwenden.

Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Datenprofilerstellung und ‑qualität auf.

Zu „Datenprofilerstellung und ‑qualität“
Klicken Sie auf Datenprofilscan erstellen.
Wählen Sie die Option Mehrere Datenprofilscans aus.
Geben Sie ein ID Präfix ein. In Dataplex Universal Catalog werden Scan-IDs automatisch anhand des angegebenen Präfixes und eindeutiger Suffixe generiert.
Geben Sie eine Beschreibung für alle Datenprofilscans ein.
Klicken Sie im Feld Dataset auf Durchsuchen. Wählen Sie ein Dataset aus, aus dem Sie Tabellen auswählen möchten. Klicken Sie auf Auswählen.
Wenn das Dataset multiregional ist, wählen Sie eine Region aus, in der die Datenprofilscans erstellt werden sollen.
Konfigurieren Sie die allgemeinen Einstellungen für die Scans:
1. Wählen Sie im Feld Umfang die Option Inkrementell oder Gesamte Daten aus.
  
  Hinweis :Wenn Sie Inkrementell auswählen, können Sie nur Tabellen verwenden, die auf Grundlage einer Spalte vom Typ DATE oder TIMESTAMP partitioniert sind.
2. Wenn Sie die Stichprobenerhebung auf die Datenprofilscans anwenden möchten, wählen Sie in der Liste Stichprobengröße einen Prozentsatz für die Erhebung aus.
  
  Wählen Sie einen Prozentwert zwischen 0,0 % und 100,0 % mit bis zu drei Dezimalstellen aus.
3. Optional: Veröffentlichen Sie die Ergebnisse des Datenprofilscans auf den BigQuery- und Dataplex Universal Catalog-Seiten in derGoogle Cloud Console für die Quelltabelle. Aktivieren Sie das Kästchen Ergebnisse in BigQuery und Dataplex Catalog veröffentlichen.
  
  Sie können die neuesten Scanergebnisse auf den BigQuery- und Dataplex Universal Catalog-Seiten für die Quelltabelle auf dem Tab Datenprofil ansehen. Wie Sie Nutzern Zugriff auf die veröffentlichten Scanergebnisse gewähren, erfahren Sie im Abschnitt Zugriff auf Datenprofilscanergebnisse gewähren in diesem Dokument.
  
  Hinweis :Sie müssen Tabellen auswählen, für die noch keine Scans mit veröffentlichten Ergebnissen vorhanden sind.
4. Wählen Sie im Bereich Zeitplan eine der folgenden Optionen aus:
  - Wiederholen: Die Datenprofilscans werden nach einem Zeitplan ausgeführt: stündlich, täglich, wöchentlich, monatlich oder benutzerdefiniert. Geben Sie an, wie oft und zu welcher Uhrzeit die Scans ausgeführt werden sollen. Wenn Sie „benutzerdefiniert“ auswählen, geben Sie den Zeitplan im Cron-Format an.
  - On demand: Die Datenprofilscans werden auf Anfrage ausgeführt.
Klicken Sie auf Weiter.
Klicken Sie im Feld Tabellen auswählen auf Durchsuchen. Wählen Sie eine oder mehrere Tabellen aus, die gescannt werden sollen, und klicken Sie auf Auswählen.
Klicken Sie auf Weiter.
Optional: Exportieren Sie die Scanergebnisse in eine BigQuery-Standardtabelle. Führen Sie im Abschnitt Scanergebnisse in BigQuery-Tabelle exportieren folgende Schritte aus:
1. Klicken Sie im Feld BigQuery-Dataset auswählen auf Durchsuchen. Wählen Sie ein BigQuery-Dataset zum Speichern der Ergebnisse des Datenprofilscans aus.
2. Geben Sie im Feld BigQuery-Tabelle die Tabelle an, in der die Ergebnisse des Datenprofilscans gespeichert werden sollen. Wenn Sie eine vorhandene Tabelle verwenden, muss sie mit dem Tabellenschema für den Export kompatibel sein. Wenn die angegebene Tabelle nicht vorhanden ist, wird sie von Dataplex Universal Catalog erstellt.
  
  In Dataplex Universal Catalog wird für alle Datenprofilscans dieselbe Ergebnistabelle verwendet.
Optional: Fügen Sie Labels hinzu. Labels sind Schlüssel/Wert-Paare, mit denen Sie verwandte Objekte zusammen oder mit anderen Google Cloud -Ressourcen gruppieren können.
Klicken Sie auf Erstellen, um die Scans zu erstellen.

Wenn Sie den Zeitplan auf „On-Demand“ festlegen, können Sie die Scans auch jetzt ausführen, indem Sie auf Scan ausführen klicken.

Datenprofilscan ausführen

Console

Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Datenprofilerstellung und ‑qualität auf.

Zu „Datenprofilerstellung und ‑qualität“
Klicken Sie auf den Datenprofilscan, der ausgeführt werden soll.
Klicken Sie auf Jetzt ausführen.

gcloud

Verwenden Sie den gcloud dataplex datascans run-Befehl, um einen Datenprofilscan auszuführen:

gcloud dataplex datascans run DATASCAN \
--location=LOCATION

Ersetzen Sie die folgenden Variablen:

DATASCAN: Der Name des Datenprofilscans.
LOCATION: Die Google Cloud -Region, in der der Datenprofilscan erstellt wurde.

C#

using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for RunDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void RunDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        RunDataScanRequest request = new RunDataScanRequest
        {
            DataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
        };
        // Make the request
        RunDataScanResponse response = dataScanServiceClient.RunDataScan(request);
    }
}

Go


package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.RunDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#RunDataScanRequest.
	}
	resp, err := c.RunDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.RunDataScanRequest;
import com.google.cloud.dataplex.v1.RunDataScanResponse;

public class SyncRunDataScan {

  public static void main(String[] args) throws Exception {
    syncRunDataScan();
  }

  public static void syncRunDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      RunDataScanRequest request =
          RunDataScanRequest.newBuilder()
              .setName(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .build();
      RunDataScanResponse response = dataScanServiceClient.runDataScan(request);
    }
  }
}

Python

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_run_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.RunDataScanRequest(
        name="name_value",
    )

    # Make the request
    response = client.run_data_scan(request=request)

    # Handle the response
    print(response)

Ruby

require "google/cloud/dataplex/v1"

##
# Snippet for the run_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#run_data_scan.
#
def run_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::RunDataScanRequest.new

  # Call the run_data_scan method.
  result = client.run_data_scan request

  # The returned object is of type Google::Cloud::Dataplex::V1::RunDataScanResponse.
  p result
end

REST

Verwenden Sie die dataScans.run-Methode, um einen Datenprofilscan auszuführen.

Ergebnisse des Datenprofilscans ansehen

Console

Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Datenprofilerstellung und ‑qualität auf.

Zu „Datenprofilerstellung und ‑qualität“
Klicken Sie auf den Namen eines Datenprofilscans.
- Im Bereich Übersicht werden Informationen zu den letzten Jobs angezeigt, z. B. wann der Scan ausgeführt wurde, die Anzahl der gescannten Tabelleneinträge und der Jobstatus.
- Im Bereich Konfiguration für Datenprofilscan werden Details zum Scan angezeigt.
Wenn Sie detaillierte Informationen zu einem Job aufrufen möchten, z. B. die Spalten der gescannten Tabelle, Statistiken zu den im Scan gefundenen Spalten und die Joblogs, klicken Sie auf den Tab Jobverlauf. Klicken Sie dann auf eine Job-ID.

gcloud

Verwenden Sie den Befehl gcloud dataplex datascans jobs describe, um die Ergebnisse eines Datenprofilscan-Jobs aufzurufen:

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

Ersetzen Sie die folgenden Variablen:

JOB: Die Job-ID des Datenprofilscan-Jobs.
LOCATION: Die Google Cloud -Region, in der der Datenprofilscan erstellt wurde.
DATASCAN: Der Name des Datenprofilscans, zu dem der Job gehört.
--view=FULL: Wenn Sie das Ergebnis des Scanjobs sehen möchten, geben Sie FULL an.

C#

using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for GetDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void GetDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        GetDataScanRequest request = new GetDataScanRequest
        {
            DataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
            View = GetDataScanRequest.Types.DataScanView.Unspecified,
        };
        // Make the request
        DataScan response = dataScanServiceClient.GetDataScan(request);
    }
}

Go


package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.GetDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#GetDataScanRequest.
	}
	resp, err := c.GetDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

import com.google.cloud.dataplex.v1.DataScan;
import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.GetDataScanRequest;

public class SyncGetDataScan {

  public static void main(String[] args) throws Exception {
    syncGetDataScan();
  }

  public static void syncGetDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      GetDataScanRequest request =
          GetDataScanRequest.newBuilder()
              .setName(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .build();
      DataScan response = dataScanServiceClient.getDataScan(request);
    }
  }
}

Python

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_get_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.GetDataScanRequest(
        name="name_value",
    )

    # Make the request
    response = client.get_data_scan(request=request)

    # Handle the response
    print(response)

Ruby

require "google/cloud/dataplex/v1"

##
# Snippet for the get_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#get_data_scan.
#
def get_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::GetDataScanRequest.new

  # Call the get_data_scan method.
  result = client.get_data_scan request

  # The returned object is of type Google::Cloud::Dataplex::V1::DataScan.
  p result
end

REST

Verwenden Sie die Methode dataScans.get, um die Ergebnisse eines Datenprofilscans anzusehen.

Veröffentlichte Ergebnisse ansehen

Wenn die Ergebnisse des Datenprofilscans auf den BigQuery- und Dataplex Universal Catalog-Seiten in der Google Cloud Console veröffentlicht werden, können Sie die neuesten Scanergebnisse auf dem Tab Datenprofil der Quelltabelle ansehen.

Rufen Sie in der Google Cloud -Console die Dataplex Universal Catalog-Seite Verarbeiten auf.

Zur Suche
Suchen Sie nach der Tabelle und wählen Sie sie aus.
Klicken Sie auf den Tab Datenprofil.

Die zuletzt veröffentlichten Ergebnisse werden angezeigt.

Hinweis :Veröffentlichte Ergebnisse sind möglicherweise nicht verfügbar, wenn ein Scan zum ersten Mal ausgeführt wird.

Letzten Datenprofilscan-Job ansehen

Console

Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Datenprofilerstellung und ‑qualität auf.

Zu „Datenprofilerstellung und ‑qualität“
Klicken Sie auf den Namen eines Datenprofilscans.
Klicken Sie auf den Tab Letzte Job-Ergebnisse.

Auf dem Tab Letzte Jobergebnisse finden Sie Informationen zum letzten Job, sofern mindestens ein Lauf erfolgreich abgeschlossen wurde. Dort werden die Spalten der gescannten Tabelle und Statistiken zu den Spalten aufgeführt, die beim Scan gefunden wurden.

gcloud

Wenn Sie den letzten erfolgreichen Datenprofilscan aufrufen möchten, verwenden Sie den gcloud dataplex datascans describe-Befehl:

gcloud dataplex datascans describe DATASCAN \
--location=LOCATION \
--view=FULL

Ersetzen Sie die folgenden Variablen:

DATASCAN: Der Name des Datenprofilscans, für den Sie den letzten Job aufrufen möchten.
LOCATION: Die Google Cloud -Region, in der der Datenprofilscan erstellt wurde.
--view=FULL: Wenn Sie das Ergebnis des Scanjobs sehen möchten, geben Sie FULL an.

REST

Verwenden Sie die Methode dataScans.get, um den letzten Scanjob anzusehen.

Historische Scanergebnisse ansehen

In Dataplex Universal Catalog wird der Verlauf der Datenprofilscans der letzten 300 Jobs oder des letzten Jahres gespeichert (der kürzere Zeitraum gilt).

Console

Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Datenprofilerstellung und ‑qualität auf.

Zu „Datenprofilerstellung und ‑qualität“
Klicken Sie auf den Namen eines Datenprofilscans.
Klicken Sie auf den Tab Jobverlauf.

Auf dem Tab Jobverlauf finden Sie Informationen zu früheren Jobs, z. B. die Anzahl der in jedem Job gescannten Datensätze, den Jobstatus und die Ausführungszeit des Jobs.
Wenn Sie die Details zu einem Job aufrufen möchten, klicken Sie in der Spalte Job-ID auf einen der Jobs.

gcloud

Wenn Sie historische Datenprofilscan-Jobs aufrufen möchten, verwenden Sie den gcloud dataplex datascans jobs list-Befehl:

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN

Ersetzen Sie die folgenden Variablen:

LOCATION: Die Google Cloud -Region, in der der Datenprofilscan erstellt wurde.
DATASCAN: Der Name des Datenprofilscans, für den Sie Jobs ansehen möchten.

C#

using Google.Api.Gax;
using Google.Cloud.Dataplex.V1;
using System;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for ListDataScanJobs</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void ListDataScanJobsRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        ListDataScanJobsRequest request = new ListDataScanJobsRequest
        {
            ParentAsDataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
            Filter = "",
        };
        // Make the request
        PagedEnumerable<ListDataScanJobsResponse, DataScanJob> response = dataScanServiceClient.ListDataScanJobs(request);

        // Iterate over all response items, lazily performing RPCs as required
        foreach (DataScanJob item in response)
        {
            // Do something with each item
            Console.WriteLine(item);
        }

        // Or iterate over pages (of server-defined size), performing one RPC per page
        foreach (ListDataScanJobsResponse page in response.AsRawResponses())
        {
            // Do something with each page of items
            Console.WriteLine("A page of results:");
            foreach (DataScanJob item in page)
            {
                // Do something with each item
                Console.WriteLine(item);
            }
        }

        // Or retrieve a single page of known size (unless it's the final page), performing as many RPCs as required
        int pageSize = 10;
        Page<DataScanJob> singlePage = response.ReadPage(pageSize);
        // Do something with the page of items
        Console.WriteLine($"A page of {pageSize} results (unless it's the final page):");
        foreach (DataScanJob item in singlePage)
        {
            // Do something with each item
            Console.WriteLine(item);
        }
        // Store the pageToken, for when the next page is required.
        string nextPageToken = singlePage.NextPageToken;
    }
}

Go


package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
	"google.golang.org/api/iterator"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.ListDataScanJobsRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#ListDataScanJobsRequest.
	}
	it := c.ListDataScanJobs(ctx, req)
	for {
		resp, err := it.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			// TODO: Handle error.
		}
		// TODO: Use resp.
		_ = resp

		// If you need to access the underlying RPC response,
		// you can do so by casting the `Response` as below.
		// Otherwise, remove this line. Only populated after
		// first call to Next(). Not safe for concurrent access.
		_ = it.Response.(*dataplexpb.ListDataScanJobsResponse)
	}
}

Java

import com.google.cloud.dataplex.v1.DataScanJob;
import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.ListDataScanJobsRequest;

public class SyncListDataScanJobs {

  public static void main(String[] args) throws Exception {
    syncListDataScanJobs();
  }

  public static void syncListDataScanJobs() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      ListDataScanJobsRequest request =
          ListDataScanJobsRequest.newBuilder()
              .setParent(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .setPageSize(883849137)
              .setPageToken("pageToken873572522")
              .setFilter("filter-1274492040")
              .build();
      for (DataScanJob element : dataScanServiceClient.listDataScanJobs(request).iterateAll()) {
        // doThingsWith(element);
      }
    }
  }
}

Python

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_list_data_scan_jobs():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.ListDataScanJobsRequest(
        parent="parent_value",
    )

    # Make the request
    page_result = client.list_data_scan_jobs(request=request)

    # Handle the response
    for response in page_result:
        print(response)

Ruby

require "google/cloud/dataplex/v1"

##
# Snippet for the list_data_scan_jobs call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#list_data_scan_jobs.
#
def list_data_scan_jobs
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::ListDataScanJobsRequest.new

  # Call the list_data_scan_jobs method.
  result = client.list_data_scan_jobs request

  # The returned object is of type Gapic::PagedEnumerable. You can iterate
  # over elements, and API calls will be issued to fetch pages as needed.
  result.each do |item|
    # Each element is of type ::Google::Cloud::Dataplex::V1::DataScanJob.
    p item
  end
end

REST

Wenn Sie historische Datenprofilscan-Jobs aufrufen möchten, verwenden Sie die dataScans.jobs.list-Methode.

So ermöglichen Sie den Nutzern in Ihrer Organisation, die Scanergebnisse aufzurufen:

Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Datenprofilerstellung und ‑qualität auf.

Zu „Datenprofilerstellung und ‑qualität“
Klicken Sie auf den Datenqualitätsscan, dessen Ergebnisse Sie freigeben möchten.
Klicken Sie auf den Tab Berechtigungen.
Gehen Sie dazu so vor:
- Wenn Sie einem Hauptkonto Zugriff gewähren möchten, klicken Sie auf Zugriff gewähren. Weisen Sie dem zugehörigen Hauptkonto die Rolle Dataplex DataScan DataViewer zu.
- Wenn Sie den Zugriff eines Hauptkontos entfernen möchten, wählen Sie das Hauptkonto aus, für das Sie die Rolle Dataplex DataScan DataViewer entfernen möchten. Klicken Sie auf Zugriff entfernen und bestätigen Sie den Vorgang, wenn Sie dazu aufgefordert werden.

Scans von Datenprofilen für eine bestimmte Tabelle verwalten

In diesem Dokument wird beschrieben, wie Sie Datenprofilscans in Ihrem Projekt über die Seite Datenprofilerstellung und ‑qualität im Dataplex Universal Catalog in der Google Cloud Console verwalten.

Sie können auch Scans für Datenprofile erstellen und verwalten, wenn Sie mit einer bestimmten Tabelle arbeiten. Rufen Sie in der Google Cloud Console auf der Dataplex Universal Catalog-Seite für die Tabelle den Tab Datenprofil auf. Gehen Sie dazu so vor:

Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Suche auf.

Zur Suche

Suchen Sie nach der Tabelle und wählen Sie sie aus.
Klicken Sie auf den Tab Datenprofil.
Je nachdem, ob für die Tabelle ein Datenprofilscan mit veröffentlichten Ergebnissen vorhanden ist, haben Sie folgende Möglichkeiten, mit den Datenprofilscans der Tabelle zu arbeiten:
- Ergebnisse des Datenprofilscans werden veröffentlicht: Die neuesten veröffentlichten Scanergebnisse werden auf der Seite angezeigt.
  
  Wenn Sie die Datenprofilscans für diese Tabelle verwalten möchten, klicken Sie auf Datenprofilscan und wählen Sie dann eine der folgenden Optionen aus:
  - Neuen Scan erstellen: Erstellen Sie einen neuen Datenprofilscan. Weitere Informationen finden Sie in diesem Dokument im Abschnitt Datenprofilscan erstellen. Wenn Sie einen Scan über die Detailseite einer Tabelle erstellen, ist die Tabelle bereits ausgewählt.
  - Jetzt ausführen: Scan ausführen
  - Scankonfiguration bearbeiten: Bearbeiten Sie Einstellungen wie den Anzeigenamen, Filter, die Stichprobengröße und den Zeitplan.
  - Scanberechtigungen verwalten: Sie können festlegen, wer auf die Scanergebnisse zugreifen darf. Weitere Informationen finden Sie im Abschnitt Zugriff auf Ergebnisse von Datenprofilscans gewähren in diesem Dokument.
  - Historische Ergebnisse ansehen: Hier können Sie detaillierte Informationen zu früheren Datenprofilscan-Jobs aufrufen. Weitere Informationen finden Sie in den Abschnitten Ergebnisse des Datenprofilscans ansehen und Verlaufsergebnisse von Scans ansehen in diesem Dokument.
  - Alle Scans ansehen: Hier sehen Sie eine Liste der Datenprofilscans, die für diese Tabelle gelten.
- Ergebnisse des Datenprofilscans werden nicht veröffentlicht: Klicken Sie auf das Menü neben Schnelles Datenprofil und wählen Sie eine der folgenden Optionen aus:
  - Datenprofilerstellung anpassen: Erstellen Sie einen neuen Datenprofilscan. Weitere Informationen finden Sie in diesem Dokument im Abschnitt Datenprofilscan erstellen. Wenn Sie einen Scan über die Detailseite einer Tabelle erstellen, ist die Tabelle bereits ausgewählt.
  - Vorherige Profile ansehen: Hier sehen Sie eine Liste der Datenprofilscans, die für diese Tabelle gelten.

Datenprofilscan aktualisieren

Console

Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Datenprofilerstellung und ‑qualität auf.

Zu „Datenprofilerstellung und ‑qualität“
Klicken Sie auf den Namen eines Datenprofilscans.
Klicken Sie auf Bearbeiten und bearbeiten Sie dann die Werte.
Klicken Sie auf Speichern.

gcloud

Verwenden Sie den gcloud dataplex datascans update data-profile-Befehl, um einen Datenprofilscan zu aktualisieren:

gcloud dataplex datascans update data-profile DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

Ersetzen Sie die folgenden Variablen:

DATASCAN: Der Name des zu aktualisierenden Datenprofilscans.
LOCATION: Die Google Cloud -Region, in der der Datenprofilscan erstellt wurde.
DESCRIPTION: Die neue Beschreibung für den Datenprofilscan.

C#

using Google.Cloud.Dataplex.V1;
using Google.LongRunning;
using Google.Protobuf.WellKnownTypes;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for UpdateDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void UpdateDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        UpdateDataScanRequest request = new UpdateDataScanRequest
        {
            DataScan = new DataScan(),
            UpdateMask = new FieldMask(),
            ValidateOnly = false,
        };
        // Make the request
        Operation<DataScan, OperationMetadata> response = dataScanServiceClient.UpdateDataScan(request);

        // Poll until the returned long-running operation is complete
        Operation<DataScan, OperationMetadata> completedResponse = response.PollUntilCompleted();
        // Retrieve the operation result
        DataScan result = completedResponse.Result;

        // Or get the name of the operation
        string operationName = response.Name;
        // This name can be stored, then the long-running operation retrieved later by name
        Operation<DataScan, OperationMetadata> retrievedResponse = dataScanServiceClient.PollOnceUpdateDataScan(operationName);
        // Check if the retrieved long-running operation has completed
        if (retrievedResponse.IsCompleted)
        {
            // If it has completed, then access the result
            DataScan retrievedResult = retrievedResponse.Result;
        }
    }
}

Go


package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.UpdateDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#UpdateDataScanRequest.
	}
	op, err := c.UpdateDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}

	resp, err := op.Wait(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

import com.google.cloud.dataplex.v1.DataScan;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.UpdateDataScanRequest;
import com.google.protobuf.FieldMask;

public class SyncUpdateDataScan {

  public static void main(String[] args) throws Exception {
    syncUpdateDataScan();
  }

  public static void syncUpdateDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      UpdateDataScanRequest request =
          UpdateDataScanRequest.newBuilder()
              .setDataScan(DataScan.newBuilder().build())
              .setUpdateMask(FieldMask.newBuilder().build())
              .setValidateOnly(true)
              .build();
      DataScan response = dataScanServiceClient.updateDataScanAsync(request).get();
    }
  }
}

Python

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_update_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    data_scan = dataplex_v1.DataScan()
    data_scan.data_quality_spec.rules.dimension = "dimension_value"
    data_scan.data.entity = "entity_value"

    request = dataplex_v1.UpdateDataScanRequest(
        data_scan=data_scan,
    )

    # Make the request
    operation = client.update_data_scan(request=request)

    print("Waiting for operation to complete...")

    response = operation.result()

    # Handle the response
    print(response)

Ruby

require "google/cloud/dataplex/v1"

##
# Snippet for the update_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#update_data_scan.
#
def update_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::UpdateDataScanRequest.new

  # Call the update_data_scan method.
  result = client.update_data_scan request

  # The returned object is of type Gapic::Operation. You can use it to
  # check the status of an operation, cancel it, or wait for results.
  # Here is how to wait for a response.
  result.wait_until_done! timeout: 60
  if result.response?
    p result.response
  else
    puts "No response received."
  end
end

REST

Verwenden Sie die Methode dataScans.patch, um einen Datenprofilscan zu bearbeiten.

Datenprofilscan löschen

Console

Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Datenprofilerstellung und ‑qualität auf.

Zu „Datenprofilerstellung und ‑qualität“
Klicken Sie auf den Scan, den Sie löschen möchten.
Klicken Sie auf Löschen und bestätigen Sie den Vorgang, wenn Sie dazu aufgefordert werden.

gcloud

Verwenden Sie zum Löschen eines Datenprofilscans den gcloud dataplex datascans delete-Befehl:

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION --async

Ersetzen Sie die folgenden Variablen:

DATASCAN: Der Name des zu löschenden Datenprofilscans.
LOCATION: Die Google Cloud -Region, in der der Datenprofilscan erstellt wurde.

REST

Verwenden Sie zum Löschen eines Datenprofilscans die Methode dataScans.delete.

Datenprofilscans erstellen und verwenden Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Hinweise

Erforderliche Rollen

Erforderliche Berechtigungen

Rollen für das Dataplex Universal Catalog-Dienstkonto zuweisen

Datenprofilscan erstellen

Console

gcloud

C#

C#

Go

Go

Java

Java

Python

Python

Ruby

Ruby

REST

Tabellenschema exportieren

Richtlinien für Exporttabellen

Mehrere Datenprofilscans erstellen

Datenprofilscan ausführen

Console

gcloud

C#

C#

Go

Go

Java

Java

Python

Python

Ruby

Ruby

REST

Ergebnisse des Datenprofilscans ansehen

Console

gcloud

C#

C#

Go

Go

Java

Java

Python

Python

Ruby

Ruby

REST

Veröffentlichte Ergebnisse ansehen

Letzten Datenprofilscan-Job ansehen

Console

gcloud

REST

Historische Scanergebnisse ansehen

Console

gcloud

C#

C#

Go

Go

Java

Java

Python

Python

Ruby

Ruby

REST

Zugriff auf Ergebnisse von Datenprofilscans gewähren

Scans von Datenprofilen für eine bestimmte Tabelle verwalten

Datenprofilscan aktualisieren

Console

gcloud

C#

C#

Go

Go

Java

Java

Datenprofilscans erstellen und verwenden