Datenprofil erstellen:
Mit Datenprofilscans können Sie Ihre Daten besser verstehen, indem Sie ihre statistischen Merkmale wie Durchschnitts-, eindeutige und Höchstwerte analysieren. Mit diesen von Knowledge Catalog unterstützten Scans können Sie tiefe Einblicke in Ihre Datasets gewinnen und schnell Regeln für Datenqualitätsprüfungen empfehlen.
Weitere Informationen zur Datenprofilerstellung finden Sie unter Datenprofilerstellung.
Hinweis
Aktivieren Sie die Dataplex API, falls sie noch nicht aktiviert ist.
Erforderliche Rollen zum Aktivieren von APIs
Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten.
Informationen zum Zuweisen von Rollen
Erforderliche Rollen
In diesem Abschnitt werden die IAM-Rollen und -Berechtigungen beschrieben, die für die Verwendung von Knowledge Catalog-Datenprofilscans erforderlich sind.
Nutzerrollen und Berechtigungen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Verwalten von Datenprofilscans benötigen:
-
Datenprofilscans erstellen, ausführen, aktualisieren und löschen: Dataplex DataScan-Bearbeiter (
roles/dataplex.dataScanEditor) für das Projekt, das den Datenscan enthält -
Ergebnisse, Jobs und Verlauf von Datenprofilscans ansehen:
Dataplex DataScan-Betrachter (
roles/dataplex.dataScanViewer) für das Projekt, das den Datenscan enthält -
Ergebnisse des Datenprofilscans in Knowledge Catalog veröffentlichen:
Dataplex Catalog Editor (
roles/dataplex.catalogEditor) für die Eintragsgruppe@bigquery -
Veröffentlichte Ergebnisse des Datenprofilscans in BigQuery auf dem Tab Datenprofil ansehen:
BigQuery-Datenbetrachter (
roles/bigquery.dataViewer) für die Tabelle -
Datenprofilscans ausführen:
- BigQuery-Jobnutzer (
roles/bigquery.jobUser) für das Projekt, in dem der Scan ausgeführt wird (alle Tabellentypen) - BigQuery-Datenbetrachter (
roles/bigquery.dataViewer) für die gescannten BigQuery-Tabellen
- BigQuery-Jobnutzer (
-
Datenprofilscans für externe BigQuery-Tabellen ausführen, die Cloud Storage-Daten verwenden:
- Storage-Objekt-Betrachter (
roles/storage.objectViewer) für den Cloud Storage-Bucket (Cloud Storage, Apache Hive und Iceberg REST-Katalog) - Storage Legacy Bucket Reader (
roles/storage.legacyBucketReader) für den Cloud Storage-Bucket
- Storage-Objekt-Betrachter (
-
Datenprofilscans für Iceberg REST-Katalog-, SAP BDC Delta Lake- und Apache Hive-Tabellen in Google Cloud Lakehouse ausführen:
BigLake-Betrachter (
roles/biglake.viewer) für die zu scannenden Tabellen -
Ergebnisse des Datenprofilscans in eine BigQuery-Tabelle exportieren:
BigQuery-Dateneditor (
roles/bigquery.dataEditor) für die Tabelle
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen und Verwalten von Datenprofilscans erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind erforderlich, um Datenprofilscans zu erstellen und zu verwalten:
-
Datenprofilscans erstellen, ausführen, aktualisieren und löschen:
-
dataplex.datascans.createfür das Projekt -
dataplex.datascans.updatefür den Datenscan -
dataplex.datascans.deletefür den Datenscan -
dataplex.datascans.runfür den Datenscan -
dataplex.datascans.getfür den Datenscan -
dataplex.datascans.listfür das Projekt -
dataplex.dataScanJobs.getfür den Datenscan-Job -
dataplex.dataScanJobs.listfür den Datenscan
-
-
Ergebnisse, Jobs und Verlauf von Datenprofilscans ansehen:
-
dataplex.datascans.getDatafür Datenscan -
dataplex.datascans.listfür das Projekt -
dataplex.dataScanJobs.getfür den Datenscan-Job -
dataplex.dataScanJobs.listfür den Datenscan
-
-
Ergebnisse des Datenprofilscans in Knowledge Catalog veröffentlichen:
-
dataplex.entryGroups.useDataProfileAspectfür die Eintragsgruppe -
bigquery.tables.updatefür die Tabelle -
dataplex.entries.updatebei Eintrag
-
-
Veröffentlichte Datenprofilergebnisse für eine Tabelle in BigQuery oder Knowledge Catalog ansehen:
-
bigquery.tables.getfür die Tabelle -
bigquery.tables.getDatafür die Tabelle
-
Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Rollen und Berechtigungen für Knowledge Catalog-Dienstkonten
Unabhängig davon, welche Ausführungsidentität Sie auswählen (den standardmäßigen Knowledge Catalog-Dienst-Agent, ein benutzerdefiniertes Dienstkonto oder Endnutzer-Anmeldedaten), benötigt diese Identität die folgenden Rollen und Berechtigungen, um die Datenprofil-Scanjobs im Backend auszuführen und Ergebnisse zu exportieren.
Bitten Sie Ihren Administrator, der Ausführungsidentität die folgenden IAM-Rollen zuzuweisen, damit sie die erforderlichen Berechtigungen zum Ausführen von Datenprofilscans und zum Exportieren von Ergebnissen hat:
-
Datenprofilscans ausführen:
- BigQuery-Jobnutzer (
roles/bigquery.jobUser) für das Projekt, in dem der Scan ausgeführt wird (alle Tabellentypen) - BigQuery-Datenbetrachter (
roles/bigquery.dataViewer) für die gescannten BigQuery-Tabellen
- BigQuery-Jobnutzer (
-
Datenprofilscans für externe BigQuery-Tabellen ausführen, die Cloud Storage-Daten verwenden:
- Storage-Objekt-Betrachter (
roles/storage.objectViewer) für den Cloud Storage-Bucket - Storage Legacy Bucket Reader (
roles/storage.legacyBucketReader) für den Cloud Storage-Bucket
- Storage-Objekt-Betrachter (
-
Datenprofilscans für Iceberg REST Catalog-, SAP BDC Delta Lake- und Apache Hive-Tabellen in Google Cloud Lakehouse ausführen:
BigLake Viewer (
roles/biglake.viewer) für die zu scannenden Tabellen -
Ergebnisse des Datenprofilscans in eine BigQuery-Tabelle exportieren:
BigQuery-Dateneditor (
roles/bigquery.dataEditor) für die Tabelle
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Ausführen von Datenprofilscans und zum Exportieren von Ergebnissen erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind erforderlich, um Datenprofilscans auszuführen und Ergebnisse zu exportieren:
-
Datenprofilscans für BigQuery-Daten ausführen:
-
bigquery.jobs.createfür das Projekt -
bigquery.tables.getfür die Tabelle -
bigquery.tables.getDatafür die Tabelle
-
-
Datenprofilscans für externe BigQuery-Tabellen ausführen, die Cloud Storage-Daten verwenden:
-
storage.buckets.getfür den Bucket -
storage.objects.getfür das Objekt
-
-
Ergebnisse des Datenprofilscans in eine BigQuery-Tabelle exportieren:
-
bigquery.tables.createfür das Dataset -
bigquery.tables.updateDatafür die Tabelle
-
Ihr Administrator kann der Ausführungsidentität möglicherweise auch diese Berechtigungen mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erteilen.
Wenn eine Tabelle die Sicherheit auf Zeilenebene von BigQuery verwendet, kann Knowledge Catalog nur Zeilen scannen, die für das Knowledge Catalog-Dienstkonto sichtbar sind. Wenn Knowledge Catalog alle Zeilen scannen soll, fügen Sie das Dienstkonto einem Zeilenfilter hinzu, bei dem das Prädikat TRUE ist.
Wenn eine Tabelle die Sicherheit auf Spaltenebene von BigQuery verwendet, benötigt Knowledge Catalog Zugriff, um geschützte Spalten zu scannen. Weisen Sie dem Knowledge Catalog-Dienstkonto die Rolle Data Catalog: Detaillierter Lesezugriff (roles/datacatalog.fineGrainedReader) für alle in der Tabelle verwendeten Richtlinien-Tags zu, um Zugriff zu gewähren. Zum Erstellen oder Aktualisieren von Datenscans sind ebenfalls Berechtigungen für geschützte Spalten erforderlich.
Dem Knowledge Catalog-Dienstkonto Rollen zuweisen
Zum Ausführen von Datenprofilscans verwendet Knowledge Catalog ein Dienstkonto, das Berechtigungen zum Ausführen von BigQuery-Jobs und zum Lesen von BigQuery-Tabellendaten benötigt. So weisen Sie die erforderlichen Rollen zu:
Rufen Sie die E‑Mail-Adresse des Knowledge Catalog-Dienstkontos ab. Wenn Sie in diesem Projekt noch keinen Datenprofil- oder Datenqualitätsscan erstellt haben, führen Sie den folgenden
gcloud-Befehl aus, um die Dienstidentität zu generieren:gcloud beta services identity create --service=dataplex.googleapis.comDer Befehl gibt die E-Mail-Adresse des Dienstkontos im folgenden Format zurück: service-PROJECT_ID@gcp-sa-dataplex.iam.gserviceaccount.com.
Wenn das Dienstkonto bereits vorhanden ist, können Sie die zugehörige E-Mail-Adresse auf der Seite IAM in derGoogle Cloud Console aufrufen. Suchen Sie dazu nach Hauptkonten mit dem Namen Dataplex.
Weisen Sie dem Dienstkonto die Rolle BigQuery-Jobnutzer (
roles/bigquery.jobUser) für Ihr Projekt zu. Mit dieser Rolle kann das Dienstkonto BigQuery-Jobs für den Scan ausführen.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" \ --role="roles/bigquery.jobUser"Ersetzen Sie Folgendes:
PROJECT_ID: Projekt-ID in Google Cloud .service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com: die E-Mail-Adresse des Knowledge Catalog-Dienstkontos.
Weisen Sie dem Dienstkonto für jede Tabelle, für die Sie ein Profil erstellen möchten, die Rolle BigQuery-Datenbetrachter (
roles/bigquery.dataViewer) zu. Diese Rolle gewährt Lesezugriff auf die Tabellen.gcloud bigquery tables add-iam-policy-binding DATASET_ID.TABLE_ID \ --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" \ --role="roles/bigquery.dataViewer"Ersetzen Sie Folgendes:
DATASET_ID: die ID des Datasets, das die Tabelle enthält.TABLE_ID: die ID der Tabelle, für die ein Profil erstellt werden soll.service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com: die E-Mail-Adresse des Knowledge Catalog-Dienstkontos.
Datenprofilscan erstellen
Console
Rufen Sie in der Google Cloud Console auf der BigQuery-Seite Metadatenkuratierung den Tab Datenprofilerstellung und ‑qualität auf.
Klicken Sie auf Datenprofilscan erstellen.
Optional: Geben Sie einen Anzeigenamen ein.
Geben Sie eine ID ein. Siehe Konventionen für Ressourcennamen.
Optional: Geben Sie eine Beschreibung ein.
Klicken Sie im Feld Tabelle auf Durchsuchen. Wählen Sie die Tabelle aus, die gescannt werden soll, und klicken Sie dann auf Auswählen. Es werden nur Standard-BigQuery-, Iceberg REST Catalog-, SAP BDC Delta Lake- und Apache Hive-Tabellen in Google CloudLakehouse unterstützt.
Wählen Sie für Tabellen in multiregionalen Datasets eine Region aus, in der der Datenscan erstellt werden soll.
Wenn Sie die Tabellen in Knowledge Catalog-Lakes durchsuchen möchten, klicken Sie auf In Knowledge Catalog-Lakes suchen.
Wählen Sie im Bereich Modus eine der folgenden Optionen aus:
Standard: Erstellt ein Profil Ihrer Daten mit anpassbaren Scaneinstellungen. Das ist der Standardmodus.
Lightweight: Liefert schnelle Informationen mit einem Scan mit niedriger Latenz und geringer Genauigkeit.
Wenn Sie den Modus Standard ausgewählt haben, konfigurieren Sie die folgenden Optionen. Diese Optionen werden nicht angezeigt, wenn Sie den Modus Lightweight auswählen.
Wählen Sie im Feld Umfang die Option Inkrementell oder Gesamte Daten aus.
Wenn Sie Inkrementelle Daten auswählen, wählen Sie im Feld Spalte für Zeitstempel eine Spalte vom Typ
DATEoderTIMESTAMPaus Ihrer BigQuery-Tabelle aus. Knowledge Catalog verwendet diese Spalte, um neue Einträge zu identifizieren, wenn sie hinzugefügt werden. Für Tabellen, die nach einer Spalte vom TypDATEoderTIMESTAMPpartitioniert sind, wird empfohlen, diese Spalte als Partitionsspalte zu verwenden.Optional: Sie haben folgende Möglichkeiten, Ihre Daten zu filtern:
Wenn Sie nach Zeilen filtern möchten, aktivieren Sie das Kästchen Zeilen filtern. Geben Sie einen gültigen SQL-Ausdruck ein, der in einer
WHERE-Anweisung in GoogleSQL-Syntax verwendet werden kann. Beispiel:col1 >= 0.Der Filter kann eine Kombination aus SQL-Bedingungen für mehrere Spalten sein. Beispiel:
col1 >= 0 AND col2 < 10.Wenn Sie nach Spalten filtern möchten, klicken Sie auf das Kästchen Spalten filtern.
Wenn Sie Spalten in den Profilscan einbeziehen möchten, klicken Sie im Feld Spalten einschließen auf Durchsuchen. Wählen Sie die Spalten aus, die Sie einbeziehen möchten, und klicken Sie dann auf Auswählen.
Wenn Sie Spalten vom Profilscan ausschließen möchten, klicken Sie im Feld Spalten ausschließen auf Durchsuchen. Wählen Sie die auszuschließenden Spalten aus und klicken Sie auf Auswählen.
Wenn Sie die Stichprobenerhebung auf Ihren Datenprofilscan anwenden möchten, wählen Sie in der Liste Stichprobengröße einen Prozentsatz für die Erhebung aus. Wählen Sie einen Prozentwert zwischen 0,0% und 100,0% mit bis zu drei Dezimalstellen aus.
Wählen Sie bei größeren Datasets einen niedrigeren Prozentsatz für die Stichprobenerhebung aus. Wenn Sie beispielsweise für eine Tabelle mit einem Umfang von 1 PB einen Wert zwischen 0,1% und 1, 0 % eingeben, werden im Datenprofil 1–10 TB an Daten als Stichprobe erhoben.
Die erhobenen Stichproben müssen mindestens 100 Einträge enthalten, damit ein Ergebnis zurückgegeben wird.
Bei Scans inkrementeller Daten wird die Stichprobe für den Datenprofilscan aus dem neuesten Inkrement erhoben.
Optional: Veröffentlichen Sie die Ergebnisse des Datenprofilscans auf den BigQuery- und Knowledge Catalog-Seiten in derGoogle Cloud Console für die Quelltabelle. Aktivieren Sie das Kästchen Ergebnisse in Knowledge Catalog veröffentlichen.
Sie können die neuesten Scanergebnisse auf den BigQuery- und Knowledge Catalog-Seiten für die Quelltabelle auf dem Tab Datenprofil ansehen. Informationen dazu, wie Sie Nutzern Zugriff auf die veröffentlichten Scanergebnisse gewähren, finden Sie im Abschnitt Zugriff auf Ergebnisse von Datenprofilscans gewähren in diesem Dokument.
Die Veröffentlichungsoption ist in den folgenden Fällen möglicherweise nicht verfügbar:
- Sie haben nicht die erforderlichen Berechtigungen für die Tabelle.
- Die Ergebnisse eines anderen Datenprofilscans sind veröffentlicht.
Wählen Sie im Bereich Zeitplan eine der folgenden Optionen aus:
Wiederholen: Der Datenprofilscan wird nach einem Zeitplan ausgeführt: stündlich, täglich, wöchentlich, monatlich oder benutzerdefiniert. Geben Sie an, wie oft und zu welcher Uhrzeit der Scan ausgeführt werden soll. Wenn Sie „benutzerdefiniert“ auswählen, geben Sie den Zeitplan im Cron-Format an.
On demand: Der Datenprofilscan wird on demand ausgeführt.
Einmalige Ausführung: Der Datenprofilscan wird jetzt einmal ausgeführt und nach der Zeit für das automatische Löschen entfernt. Dieses Feature befindet sich im Vorschaumodus.
- Automatisches Löschen von Scanergebnissen festlegen: Die Zeit für das automatische Löschen definiert, wie lange ein Datenprofilscan nach der Ausführung aktiv bleibt. Ein Datenprofilscan ohne angegebene Zeit für das automatische Löschen wird nach 24 Stunden automatisch entfernt. Die Zeit für das automatische Löschen kann zwischen 0 Sekunden (sofortiges Löschen) und 365 Tagen liegen.
Klicken Sie auf Weiter.
Optional: Exportieren Sie die Scanergebnisse in eine BigQuery-Standardtabelle. Führen Sie im Abschnitt Scanergebnisse in BigQuery-Tabelle exportieren folgende Schritte aus:
Klicken Sie im Feld BigQuery-Dataset auswählen auf Durchsuchen. Wählen Sie ein BigQuery-Dataset aus, um die Ergebnisse des Datenprofilscans zu speichern.
Geben Sie im Feld BigQuery-Tabelle die Tabelle an, in der die Ergebnisse des Datenprofilscans gespeichert werden sollen. Wenn Sie eine vorhandene Tabelle verwenden, muss sie mit dem Schema der Exporttabelle kompatibel sein. Wenn die angegebene Tabelle nicht vorhanden ist, wird sie von Knowledge Catalog erstellt.
Optional: Fügen Sie Labels hinzu. Labels sind Schlüssel/Wert-Paare, mit denen Sie verwandte Objekte miteinander oder mit anderen Google Cloud -Ressourcen gruppieren können.
Klicken Sie auf Erstellen, um den Scan zu erstellen.
Wenn Sie den Zeitplan auf „On-Demand“ festlegen, können Sie den Scan auch sofort ausführen, indem Sie auf Scan ausführen klicken.
gcloud
Verwenden Sie zum Erstellen eines Datenprofilscans den gcloud dataplex datascans create data-profile-Befehl.
Wenn die Quelldaten in einem Knowledge Catalog-Lake organisiert sind, fügen Sie das Flag --data-source-entity ein:
gcloud dataplex datascans create data-profile DATASCAN \ --location=LOCATION \ --data-source-entity=DATA_SOURCE_ENTITY
Wenn die Quelldaten nicht in einem Knowledge Catalog-Lake organisiert sind, fügen Sie das Flag --data-source-resource ein:
gcloud dataplex datascans create data-profile DATASCAN \ --location=LOCATION \ --data-source-resource=DATA_SOURCE_RESOURCE
Ersetzen Sie die folgenden Variablen:
DATASCAN: Der Name des Datenprofilscans.LOCATION: Die Google Cloud -Region, in der der Datenprofilscan erstellt werden soll.DATA_SOURCE_ENTITY: Die Knowledge Catalog-Entität, die die Daten für den Datenprofilscan enthält. Beispiel:projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entityDATA_SOURCE_RESOURCE: Der Name der Ressource, die die Daten für den Datenprofilscan enthält. Beispiel://bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table
C#
C#
Bevor Sie dieses Beispiel ausprobieren, folgen Sie der C#-Einrichtungsanleitung in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery C# API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Go
Go
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Go in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Go API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Java
Java
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Java API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Python
Python
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Python in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Python API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Ruby
Ruby
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Ruby in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Ruby API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
REST
Verwenden Sie zum Erstellen eines Datenprofilscans die Methode dataScans.create.
Mehrere Datenprofilscans erstellen
Sie können Datenprofilscans für mehrere Tabellen in einem BigQuery-Dataset gleichzeitig über die Google Cloud Console konfigurieren.
Rufen Sie in der Google Cloud Console auf der BigQuery-Seite Metadatenkuratierung den Tab Datenprofilerstellung und ‑qualität auf.
Klicken Sie auf Datenprofilscan erstellen.
Wählen Sie die Option Mehrere Datenprofilscans aus.
Geben Sie ein ID Präfix ein. In Knowledge Catalog werden Scan-IDs automatisch anhand des angegebenen Präfixes und eindeutiger Suffixe generiert.
Geben Sie eine Beschreibung für alle Datenprofilscans ein.
Klicken Sie im Feld Dataset auf Durchsuchen. Wählen Sie ein Dataset aus, aus dem Sie Tabellen auswählen möchten. Klicken Sie auf Auswählen.
Wenn das Dataset multiregional ist, wählen Sie eine Region aus, in der die Datenprofilscans erstellt werden sollen.
Wählen Sie im Bereich Modus eine der folgenden Optionen aus:
Standard: Erstellt ein Profil Ihrer Daten mit anpassbaren Scaneinstellungen. Das ist der Standardmodus.
Lightweight: Liefert schnelle Informationen mit einem Scan mit niedriger Latenz und geringer Genauigkeit. Diese Feature befindet sich im Vorschaumodus.
Wenn Sie den Modus Standard ausgewählt haben, konfigurieren Sie die folgenden Einstellungen für die Scans. Diese Einstellungen werden nicht angezeigt, wenn der Lightweight-Modus ausgewählt ist.
Wählen Sie im Feld Umfang die Option Inkrementell oder Gesamte Daten aus.
Wenn Sie Inkrementell auswählen, können Sie nur Tabellen verwenden, die auf Grundlage einer Spalte vom Typ
DATEoderTIMESTAMPpartitioniert sind.Wenn Sie die Stichprobenerhebung auf die Datenprofilscans anwenden möchten, wählen Sie in der Liste Stichprobengröße einen Prozentsatz für die Erhebung aus.
Wählen Sie einen Prozentwert zwischen 0,0 % und 100,0 % mit bis zu drei Dezimalstellen aus.
Optional: Veröffentlichen Sie die Ergebnisse des Datenprofilscans auf den BigQuery- und Knowledge Catalog-Seiten in derGoogle Cloud Console für die Quelltabelle. Aktivieren Sie das Kästchen Ergebnisse in Knowledge Catalog veröffentlichen.
Sie können die neuesten Scanergebnisse auf den BigQuery- und Knowledge Catalog-Seiten für die Quelltabelle auf dem Tab Datenprofil ansehen. Informationen dazu, wie Sie Nutzern Zugriff auf die veröffentlichten Datenprofilscan-Ergebnisse gewähren, finden Sie im Abschnitt Zugriff auf Datenprofil-Scanergebnisse gewähren in diesem Dokument.
Wählen Sie im Bereich Zeitplan eine der folgenden Optionen aus:
Wiederholen: Die Datenprofilscans werden nach einem Zeitplan ausgeführt: stündlich, täglich, wöchentlich, monatlich oder benutzerdefiniert. Geben Sie an, wie oft und zu welcher Uhrzeit die Scans ausgeführt werden sollen. Wenn Sie „benutzerdefiniert“ auswählen, geben Sie den Zeitplan im Cron-Format an.
On demand: Die Datenprofilscans werden on demand ausgeführt.
Einmalige Ausführung: Der Datenprofilscan wird jetzt einmal ausgeführt und nach der automatischen Löschzeit entfernt. Dieses Feature befindet sich im Vorschaumodus.
- Automatisches Löschen von Ergebnissen nach dem Scan festlegen: Die Zeit für das automatische Löschen definiert, wie lange ein Datenprofilscan nach der Ausführung aktiv bleibt. Ein Datenprofilscan ohne angegebene Zeit für das automatische Löschen wird nach 24 Stunden automatisch entfernt. Die Zeit für das automatische Löschen kann zwischen 0 Sekunden (sofortiges Löschen) und 365 Tagen liegen.
Klicken Sie auf Weiter.
Klicken Sie im Feld Tabellen auswählen auf Durchsuchen. Wählen Sie eine oder mehrere Tabellen aus, die gescannt werden sollen, und klicken Sie auf Auswählen.
Klicken Sie auf Weiter.
Optional: Exportieren Sie die Scanergebnisse in eine BigQuery-Standardtabelle. Führen Sie im Abschnitt Scanergebnisse in BigQuery-Tabelle exportieren folgende Schritte aus:
Klicken Sie im Feld BigQuery-Dataset auswählen auf Durchsuchen. Wählen Sie ein BigQuery-Dataset aus, um die Ergebnisse des Datenprofilscans zu speichern.
Geben Sie im Feld BigQuery-Tabelle die Tabelle an, in der die Ergebnisse des Datenprofilscans gespeichert werden sollen. Wenn Sie eine vorhandene Tabelle verwenden, muss sie mit dem Schema der Exporttabelle kompatibel sein. Wenn die angegebene Tabelle nicht vorhanden ist, wird sie von Knowledge Catalog erstellt.
Knowledge Catalog verwendet für alle Datenprofilscans dieselbe Ergebnistabelle.
Optional: Fügen Sie Labels hinzu. Labels sind Schlüssel/Wert-Paare, mit denen Sie verwandte Objekte miteinander oder mit anderen Google Cloud -Ressourcen gruppieren können.
Klicken Sie auf Erstellen, um die Scans zu erstellen.
Wenn Sie den Zeitplan auf „On-Demand“ festlegen, können Sie die Scans auch jetzt ausführen, indem Sie auf Scan ausführen klicken.
Datenprofilscan ausführen
Console
-
Rufen Sie in der Google Cloud Console auf der BigQuery-Seite Metadatenkuratierung den Tab Datenprofilerstellung und ‑qualität auf.
- Klicken Sie auf den Datenprofilscan, der ausgeführt werden soll.
- Klicken Sie auf Jetzt ausführen.
gcloud
Verwenden Sie den gcloud dataplex datascans run-Befehl, um einen Datenprofilscan auszuführen:
gcloud dataplex datascans run DATASCAN \ --location=LOCATION
Ersetzen Sie die folgenden Variablen:
DATASCAN: Der Name des Datenprofilscans.LOCATION: Die Google Cloud -Region, in der der Datenprofilscan erstellt wurde.
C#
C#
Bevor Sie dieses Beispiel ausprobieren, folgen Sie der C#-Einrichtungsanleitung in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery C# API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Go
Go
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Go in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Go API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Java
Java
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Java API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Python
Python
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Python in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Python API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Ruby
Ruby
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Ruby in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Ruby API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
REST
Verwenden Sie die Methode dataScans.run, um einen Datenprofilscan auszuführen.
Airflow
Wenn Sie einen Datenprofilscan mit einem gerichteten azyklischen Graphen (DAG) in Managed Service for Apache Airflow (Cloud Composer) ausführen möchten, verwenden Sie den DataplexRunDataProfileScanOperator:
from datetime import datetime
from airflow import DAG
from airflow.providers.google.cloud.operators.dataplex import DataplexRunDataProfileScanOperator
with DAG(
"dataplex_data_profile_scan",
start_date=datetime(2026, 1, 1),
schedule_interval="@daily",
catchup=False,
) as dag:
run_profile_scan = DataplexRunDataProfileScanOperator(
task_id="run_dataplex_profile_scan",
project_id="PROJECT_ID",
region="REGION",
data_scan_id="DATASCAN_ID",
)
Ersetzen Sie die folgenden Variablen:
PROJECT_ID: Ihre Google Cloud Projekt-IDREGION: Die Google Cloud -Region, in der der Datenprofilscan erstellt wurde.DATASCAN_ID: Die ID Ihres Datenprofilscans.
Ergebnisse des Datenprofilscans ansehen
Console
Rufen Sie in der Google Cloud Console auf der BigQuery-Seite Metadatenkuratierung den Tab Datenprofilerstellung und ‑qualität auf.
Klicken Sie auf den Namen eines Datenprofilscans.
Im Bereich Übersicht werden Informationen zu den letzten Jobs angezeigt, einschließlich des Zeitpunkts, zu dem der Scan ausgeführt wurde, der Anzahl der gescannten Tabelleneinträge und des Jobstatus.
Im Bereich Konfiguration für Datenprofilscan werden Details zum Scan angezeigt.
Wenn Sie detaillierte Informationen zu einem Job aufrufen möchten, z. B. die Spalten der gescannten Tabelle, Statistiken zu den beim Scan gefundenen Spalten und die Joblogs, klicken Sie auf den Tab Jobverlauf. Klicken Sie dann auf eine Job-ID.
gcloud
Verwenden Sie den Befehl gcloud dataplex datascans jobs describe, um die Ergebnisse eines Datenprofilscan-Jobs aufzurufen:
gcloud dataplex datascans jobs describe JOB \ --location=LOCATION \ --datascan=DATASCAN \ --view=FULL
Ersetzen Sie die folgenden Variablen:
JOB: Die Job-ID des Datenprofilscan-Jobs.LOCATION: Die Google Cloud -Region, in der der Datenprofilscan erstellt wurde.DATASCAN: Der Name des Datenprofilscans, zu dem der Job gehört.--view=FULL: Wenn Sie das Ergebnis des Scanjobs sehen möchten, geben SieFULLan.
C#
C#
Bevor Sie dieses Beispiel ausprobieren, folgen Sie der C#-Einrichtungsanleitung in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery C# API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Go
Go
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Go in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Go API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Java
Java
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Java API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Python
Python
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Python in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Python API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Ruby
Ruby
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Ruby in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Ruby API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
REST
Verwenden Sie die Methode dataScans.get, um die Ergebnisse eines Datenprofilscans aufzurufen.
Veröffentlichte Ergebnisse ansehen
Wenn die Ergebnisse des Datenprofilscans auf den BigQuery- und Knowledge Catalog-Seiten in der Google Cloud Console veröffentlicht werden, können Sie die neuesten Scanergebnisse auf dem Tab Datenprofil der Quelltabelle sehen.
Rufen Sie in der Google Cloud Console die Seite "BigQuery" auf.
Klicken Sie im linken Bereich auf Explorer:

Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf Linken Bereich maximieren, um ihn zu öffnen.
Klicken Sie im Bereich Explorer auf Datasets und dann auf Ihr Dataset.
Klicken Sie auf Übersicht > Tabellen und wählen Sie die Tabelle aus, deren Ergebnisse des Datenprofilscans Sie sehen möchten.
Klicken Sie auf den Tab Datenprofil.
Die zuletzt veröffentlichten Ergebnisse werden angezeigt.
Letzten Datenprofilscan-Job ansehen
Console
Rufen Sie in der Google Cloud Console auf der BigQuery-Seite Metadatenkuratierung den Tab Datenprofilerstellung und ‑qualität auf.
Klicken Sie auf den Namen eines Datenprofilscans.
Klicken Sie auf den Tab Letzte Jobergebnisse.
Auf dem Tab Letzte Jobergebnisse finden Sie Informationen zum letzten Job, sofern mindestens ein Lauf erfolgreich abgeschlossen wurde. Dort werden die Spalten der gescannten Tabelle und Statistiken zu den Spalten aufgeführt, die beim Scan gefunden wurden.
gcloud
Verwenden Sie den gcloud dataplex datascans describe-Befehl, um den letzten erfolgreichen Datenprofilscan aufzurufen:
gcloud dataplex datascans describe DATASCAN \ --location=LOCATION \ --view=FULL
Ersetzen Sie die folgenden Variablen:
DATASCAN: Der Name des Datenprofilscans, für den Sie den letzten Job aufrufen möchten.LOCATION: Die Google Cloud -Region, in der der Datenprofilscan erstellt wurde.--view=FULL: Wenn Sie das Ergebnis des Scanjobs sehen möchten, geben SieFULLan.
REST
Verwenden Sie die Methode dataScans.get, um den letzten Scan-Job aufzurufen.
Historische Scanergebnisse ansehen
In Knowledge Catalog wird der Verlauf der Datenprofilscans der letzten 300 Jobs oder des letzten Jahres gespeichert (der kürzere Zeitraum gilt).
Console
Rufen Sie in der Google Cloud Console auf der BigQuery-Seite Metadatenkuratierung den Tab Datenprofilerstellung und ‑qualität auf.
Klicken Sie auf den Namen eines Datenprofilscans.
Klicken Sie auf den Tab Jobverlauf.
Auf dem Tab Jobverlauf finden Sie Informationen zu früheren Jobs, z. B. die Anzahl der in jedem Job gescannten Einträge, den Jobstatus und die Zeit, zu der der Job ausgeführt wurde.
Wenn Sie die Details zu einem Job aufrufen möchten, klicken Sie in der Spalte Job-ID auf einen der Jobs.
gcloud
Wenn Sie sich frühere Datenprofilscan-Jobs ansehen möchten, verwenden Sie den gcloud dataplex datascans jobs list-Befehl:
gcloud dataplex datascans jobs list \ --location=LOCATION \ --datascan=DATASCAN
Ersetzen Sie die folgenden Variablen:
LOCATION: Die Google Cloud -Region, in der der Datenprofilscan erstellt wurde.DATASCAN: Der Name des Datenprofilscans, für den Sie Jobs ansehen möchten.
C#
C#
Bevor Sie dieses Beispiel ausprobieren, folgen Sie der C#-Einrichtungsanleitung in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery C# API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Go
Go
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Go in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Go API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Java
Java
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Java API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Python
Python
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Python in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Python API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Ruby
Ruby
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Ruby in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Ruby API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
REST
Verwenden Sie die Methode dataScans.jobs.list, um historische Datenprofilscan-Jobs aufzurufen.
Jobstatus
Datenscanjobs können die folgenden Status haben:
PENDING: Der Job wurde erstellt, aber noch nicht gestartet. In diesem Status richtet der Scan aktiv die Infrastruktur ein oder ruft Slots ab. Diese Phase kann je nach Schemakomplexität und Ressourcenkonflikten 10 bis 20 Sekunden oder länger dauern.RUNNING: Der Job wird ausgeführt.CANCELING: Der Job wird abgebrochen.CANCELLED: Der Job wurde abgebrochen.SUCCEEDED: Der Job wurde erfolgreich abgeschlossen. Der Abschlussstatus kann aufgrund von Nachbearbeitungsschritten wie Aggregation und Metadatensynchronisierung bis zu 60 Sekunden hinter dem tatsächlichen Abschluss der Abfrage liegen.FAILED: Der Job schlägt aufgrund eines Fehlers fehl. Der Abschlussstatus kann aufgrund von Nachbearbeitungsschritten wie Aggregation und Metadatensynchronisierung bis zu 60 Sekunden hinter dem tatsächlichen Abschluss der Abfrage liegen.SUCCEEDED_WITH_ERRORS: Der Job wird erfolgreich abgeschlossen, aber während der Ausführung treten einige Fehler auf.
Best Practices für das Monitoring
Beachten Sie beim Überwachen Ihrer Datenscanjobs die folgenden Best Practices:
Aggressive Abfragen vermeiden: Vermeiden Sie aggressive Abfragen (z. B. alle 1 bis 5 Sekunden
GetJoboder Ähnliches aufrufen). Aggressives Abfragen verschwendet API-Kontingent und beschleunigt Zustandsübergänge nicht.Exponentiellen Backoff verwenden: Wenn wiederholtes Abfragen unvermeidlich ist, verwenden Sie einen exponentiellen Backoff, der bei 10 bis 15 Sekunden beginnt.
Asynchrone ereignisgesteuerte Entkopplung verwenden (empfohlen): Verwenden Sie anstelle von synchronem API-Polling Eventarc-Trigger, die auf Cloud-Audit-Logs (
cloudaudit.googleapis.com) warten. Mit diesen Triggern können Sie nachgelagerte Workflows sofort nach Abschluss von DataScan-Jobs initiieren. Bei diesem Ansatz werden die Limits für API-Abfragen umgangen, das Kontingent wird geschont und die wahrgenommene Latenz wird reduziert.
Datenprofilscans für eine Tabelle ansehen
So rufen Sie die Datenprofilscans auf, die für eine bestimmte Tabelle gelten:
Rufen Sie in der Google Cloud Console auf der BigQuery-Seite Metadatenkuratierung den Tab Datenprofilerstellung und ‑qualität auf.
Filtern Sie die Liste nach Tabellenname und Scantyp.
Zugriff auf Ergebnisse von Datenprofilscans gewähren
So können Nutzer in Ihrer Organisation die Scanergebnisse aufrufen:
Rufen Sie in der Google Cloud Console auf der BigQuery-Seite Metadatenkuratierung den Tab Datenprofilerstellung und ‑qualität auf.
Klicken Sie auf den Datenprofilscan, dessen Ergebnisse Sie freigeben möchten.
Klicken Sie auf den Tab Berechtigungen.
Gehen Sie dazu so vor:
- Klicken Sie auf Zugriff gewähren, um einem Hauptkonto Zugriff zu gewähren. Weisen Sie dem zugehörigen Hauptkonto die Rolle Dataplex DataScan DataViewer zu.
- Wenn Sie den Zugriff für ein Hauptkonto entfernen möchten, wählen Sie das Hauptkonto aus, für das Sie die Rolle Dataplex DataScan DataViewer entfernen möchten. Klicken Sie auf Zugriff entfernen und bestätigen Sie den Vorgang, wenn Sie dazu aufgefordert werden.
Datenprofilscans für eine bestimmte Tabelle verwalten
In diesem Dokument wird beschrieben, wie Sie Datenprofilscans in Ihrem Projekt über die BigQuery-Seite Metadatenkuratierung > Datenprofilerstellung und ‑qualität in derGoogle Cloud Console verwalten.
Sie können auch Datenprofilscans erstellen und verwalten, wenn Sie mit einer bestimmten Tabelle arbeiten. Verwenden Sie in der Google Cloud Console auf der BigQuery-Seite für die Tabelle den Tab Datenprofil. Gehen Sie dazu so vor:
Rufen Sie in der Google Cloud Console die Seite BigQuery auf.
Klicken Sie im Bereich Explorer auf Datasets und dann auf Ihr Dataset. Klicken Sie auf Übersicht > Tabellen und wählen Sie die Tabelle aus, deren Datenprofilscan-Ergebnisse Sie sehen möchten.
Klicken Sie auf den Tab Datenprofil.
Je nachdem, ob für die Tabelle ein Datenprofilscan vorhanden ist, dessen Ergebnisse veröffentlicht wurden, können Sie auf folgende Weise mit den Datenprofilscans der Tabelle arbeiten:
Ergebnisse des Datenprofilscans werden veröffentlicht: Die neuesten veröffentlichten Scanergebnisse werden auf der Seite angezeigt.
Wenn Sie die Datenprofilscans für diese Tabelle verwalten möchten, klicken Sie auf Datenprofilscan und wählen Sie eine der folgenden Optionen aus:
Neuen Scan erstellen: Erstellen Sie einen neuen Datenprofilscan. Weitere Informationen finden Sie im Abschnitt Datenprofilscan erstellen in diesem Dokument. Wenn Sie einen Scan auf der Detailseite einer Tabelle erstellen, ist die Tabelle bereits ausgewählt.
Jetzt ausführen: Der Scan wird ausgeführt.
Scankonfiguration bearbeiten: Bearbeiten Sie Einstellungen wie den Anzeigenamen, Filter, die Stichprobengröße und den Zeitplan.
Scanberechtigungen verwalten: Sie können festlegen, wer auf die Scanergebnisse zugreifen darf. Weitere Informationen finden Sie im Abschnitt Zugriff auf Ergebnisse von Datenprofilscans gewähren in diesem Dokument.
Historische Ergebnisse ansehen: Hier können Sie detaillierte Informationen zu früheren Datenprofilscan-Jobs aufrufen. Weitere Informationen finden Sie in den Abschnitten Ergebnisse des Datenprofilscans ansehen und Aufrufverlauf der Scanergebnisse ansehen in diesem Dokument.
Alle Scans ansehen: Eine Liste der Datenprofilscans aufrufen, die für diese Tabelle gelten.
Ergebnisse des Datenprofilscans werden nicht veröffentlicht: Klicken Sie auf das Menü neben Schnelles Datenprofil und wählen Sie eine der folgenden Optionen aus:
Datenprofilerstellung anpassen: Erstellen Sie einen neuen Datenprofilscan. Weitere Informationen finden Sie im Abschnitt Datenprofilscan erstellen in diesem Dokument. Wenn Sie einen Scan über die Detailseite einer Tabelle erstellen, ist die Tabelle bereits ausgewählt.
Vorherige Profile ansehen: Eine Liste der Datenprofilscans aufrufen, die für diese Tabelle gelten.
Datenprofilscan aktualisieren
Console
Rufen Sie in der Google Cloud Console auf der BigQuery-Seite Metadatenkuratierung den Tab Datenprofilerstellung und ‑qualität auf.
Klicken Sie auf den Namen eines Datenprofilscans.
Klicken Sie auf Bearbeiten und bearbeiten Sie die Werte.
Klicken Sie auf Speichern.
gcloud
Verwenden Sie den Befehl gcloud dataplex datascans update data-profile, um einen Datenprofilscan zu aktualisieren:
gcloud dataplex datascans update data-profile DATASCAN \ --location=LOCATION \ --description=DESCRIPTION
Ersetzen Sie die folgenden Variablen:
DATASCAN: Der Name des zu aktualisierenden Datenprofilscans.LOCATION: Die Google Cloud -Region, in der der Datenprofilscan erstellt wurde.DESCRIPTION: Die neue Beschreibung für den Datenprofilscan.
C#
C#
Bevor Sie dieses Beispiel ausprobieren, folgen Sie der C#-Einrichtungsanleitung in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery C# API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Go
Go
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Go in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Go API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Java
Java
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Java API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Python
Python
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Python in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Python API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Ruby
Ruby
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Ruby in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Ruby API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
REST
Verwenden Sie zum Bearbeiten eines Datenprofilscans die Methode dataScans.patch.
Datenprofilscan löschen
Console
Rufen Sie in der Google Cloud Console auf der BigQuery-Seite Metadatenkuratierung den Tab Datenprofilerstellung und ‑qualität auf.
Klicken Sie auf den Scan, den Sie löschen möchten.
Klicken Sie auf Löschen und bestätigen Sie den Löschvorgang, wenn Sie dazu aufgefordert werden.
gcloud
Verwenden Sie den gcloud dataplex datascans delete-Befehl, um einen Datenprofilscan zu löschen:
gcloud dataplex datascans delete DATASCAN \ --location=LOCATION --async
Ersetzen Sie die folgenden Variablen:
DATASCAN: Der Name des zu löschenden Datenprofilscans.LOCATION: Die Google Cloud -Region, in der der Datenprofilscan erstellt wurde.
REST
Verwenden Sie zum Löschen eines Datenprofilscans die Methode dataScans.delete.
Nächste Schritte
- Erfahren Sie, wie Sie Ihre Daten erkunden, indem Sie Dateneinblicke generieren.
- Weitere Informationen zur Data Governance in BigQuery
- Daten auf Probleme mit der Datenqualität scannen
- Schemadetails in der Vorschau ansehen und Abfragen mit dem Referenzbereich erstellen