Data-Warehouse-Migration validieren

Mit dem Validierungsdienst des BigQuery-Migrationsdienstes können Sie prüfen, ob die aus Ihrem Quell-Data-Warehouse migrierten Tabellen mit Ihren Zieltabellen in BigQuery übereinstimmen. Sie können Schemas und Tabellendaten vergleichen, um Abweichungen während der Migration zu erkennen.

Der Validierungsdienst-Client stellt eine Verbindung zu Ihrer Quelldatenbank her und extrahiert das Quellschema und die Zeilendaten in einen Cloud Storage-Bucket, den Sie steuern. Nach der Extraktion vergleicht der Validierungsdienst das extrahierte Schema und die Daten im Cloud Storage-Bucket mit Ihren migrierten BigQuery-Tabellen.

In einem Validierungsworkflow werden Ihre Quelltabellen und BigQuery-Zieltabellen anhand von drei Validierungssäulen verglichen:

  • Schemavalidierung (--schema): Vergleicht Spaltennamen, Datentypen und Typkompatibilität zwischen Ihrer Quelltabelle und der BigQuery-Zieltabelle.
  • Aggregatvalidierung (--aggregate): Berechnet und vergleicht aggregierte Messwerte auf Tabellen- und Spaltenebene, z. B. Zeilenanzahl, SUM, AVG, MIN, MAX, boolesche Verteilungen und Stringlängen, für die gesamte Tabelle.
  • Datenvalidierung (--data): Führt einen zeilenweisen Vergleich durch, entweder mit einem vollständigen Tabellenscan (BRUTE_FORCE) oder einer zufälligen schlüsselbasierten Stichprobe (SAMPLE), um fehlende Zeilen und Wertabweichungen auf Zellebene zu erkennen.

Die Ergebnisse einer Migrationsvalidierung

Unterstützte Standorte

Der Validierungsdienst ist an ausgewählten Standorten verfügbar. Weitere Informationen finden Sie unter Standorte des BigQuery-Migrationsdienstes.

Überlegungen zur Datenverarbeitung und -sicherheit

Der Validierungsdienst extrahiert und stellt je nach ausgeführter Validierungssäule unterschiedliche Daten bereit:

  • Schemavalidierung (--schema): Es werden nur Spaltennamen, Datentypen und Tabellenstatistiken in die source_query_result.json-Datei hochgeladen, ohne dass Zellenwerte extrahiert werden.
  • Aggregatvalidierung (--aggregate): Lädt berechnete aggregierte Messwerte in die Datei source_aggregates.parquet hoch, einschließlich der tatsächlichen MIN- und MAX-Zellenwerte aus den enthaltenen Spalten.
  • Datenvalidierung (--data): Extrahiert unmaskierte Rohzellenwerte aus Stichprobenzeilen oder aus allen Zeilen, wenn die Strategie BRUTE_FORCE verwendet wird. Diese Werte werden im Apache Parquet- oder CSV-Format in Ihren Cloud Storage-Staging-Bucket hochgeladen und in das Dataset validation_results in BigQuery geladen.

Konfigurieren Sie die folgenden Einstellungen, um Ihre Daten zu schützen und Ihre Validierungsumgebung zu sichern:

  • Vertrauliche Spalten ausschließen: Fügen Sie dem Feld columnSettings.exclude vertrauliche Spalten hinzu, um sie aus Abfragen zur Quellextraktion, Zielvergleichen und Validierungsberichten auszuschließen.
  • Lokale Datenspeicherung minimieren: Legen Sie das Feld googleCloudStorage.gcsPath in der Datei settings.yaml fest, um Stichprobenzeilen direkt in Cloud Storage zu streamen, ohne sie auf ein lokales Laufwerk zu schreiben. Löschen Sie auf freigegebenen Hosts nach jeder Ausführung das lokale Arbeitsverzeichnis --output-dir, um lokale Metadaten, Aggregat- und Logdateien zu entfernen.
  • Bereitgestellte Daten und Ergebnisse verschlüsseln: Konfigurieren Sie vor der Validierung kundenverwaltete Verschlüsselungsschlüssel (CMEK) mit Cloud Key Management Service für Ihren Cloud Storage-Staging-Bucket und Ihr BigQuery-Ergebnis-Dataset (standardmäßig validation_results oder das im Feld results.dataset angegebene Dataset).
  • Konfigurationszugriff einschränken: Speichern Sie Validierungskonfigurationsdateien in einem Repository mit Versionsverwaltung, für das eine Codeüberprüfung erforderlich ist, oder in einem Cloud Storage-Bucket, in dem nur vertrauenswürdige Nutzer die Berechtigung storage.objects.create haben.
  • Prinzip der geringsten Berechtigung erzwingen: Gewähren Sie dem Ersteller des Workflows die Rolle roles/bigquery.dataViewer nur für die Ziel-Datasets oder -Tabellen, die validiert werden, nicht für das Projekt. Verwenden Sie einen Quelldatenbanknutzer mit Lesezugriff, wie unter Berechtigungen für Quelldatenbank konfigurieren beschrieben.

Hinweis

  1. Wählen Sie in der Google Cloud Console auf der Seite für die Projektauswahl ein Google Cloud -Projekt aus, das Ihre BigQuery-Zieldatasets enthält, oder erstellen Sie ein solches Projekt.

    Zur Projektauswahl

  2. Prüfen Sie, ob die Abrechnung für Ihr Google Cloud -Projekt aktiviert ist.

  3. Aktivieren Sie die BigQuery, BigQuery Migration Service, Cloud Storage und (wenn Sie Datenbankpasswörter in Secret Manager speichern) Secret Manager APIs.

    APIs aktivieren

  4. Erstellen oder wählen Sie einen Cloud Storage-Bucket am selben Standort wie Ihr BigQuery-Ziel-Dataset aus, um extrahierte Metadaten und Datenstichproben bereitzustellen. Weitere Informationen finden Sie unter Bucket erstellen.

Erforderliche Rollen und Berechtigungen

Ein Validierungslauf besteht aus drei Teilen, die jeweils von einem anderen Hauptkonto ausgeführt werden können:

  • Datenerhebung: Der Validierungsclient liest Ihre Quelldatenbank und lädt Metadaten, Aggregate und Stichprobenzeilen in Ihren Cloud Storage-Staging-Bucket hoch. BigQuery wird nicht aufgerufen.
  • Validierung: Ein Validierungs-Workflow des BigQuery-Migrationsdienstes vergleicht die bereitgestellten Daten mit Ihren Zieltabellen. Der Workflow wird mit den Anmeldedaten des Hauptkontos ausgeführt, das ihn erstellt hat, unabhängig davon, ob es sich bei diesem Hauptkonto um den Validierungsclient, gcloud oder die Google Cloud Console handelt.
  • Ergebnisse ansehen: Lesen des Ergebnis-Datasets und der Cloud Storage-Berichte.

generate-config benötigt keine Google Cloud Berechtigungen.

Datenerhebung

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erfassen von Quelldaten benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erfassen von Quelldaten erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Quelldaten zu erfassen:

  • storage.objects.create für den Staging-Bucket
  • storage.objects.get für den Staging-Bucket
  • Konfigurationsdateien aus Cloud Storage lesen:
    • storage.objects.get für den Konfigurations-Bucket
    • storage.objects.list für den Konfigurations-Bucket
  • Datenbankpasswörter aus Secret Manager lesen: secretmanager.versions.access für das Secret

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Für die Datenerfassung mit --extract-only sind keine BigQuery- oder BigQuery Migration Service-Berechtigungen erforderlich. Ohne sie erstellt der Client auch die Validierungsworkflows und benötigt die Validierungsrollen.

Validierung

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Ausführen von Validierungsworkflows benötigen:

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen und Ausführen von Validierungsworkflows erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Validierungsworkflows zu erstellen und auszuführen:

  • bigquerymigration.workflows.create für das Projekt
  • bigquerymigration.workflows.get für das Projekt
  • bigquery.jobs.create für das Projekt
  • bigquery.tables.get für jedes Ziel-Dataset
  • bigquery.tables.getData für jedes Ziel-Dataset
  • bigquery.datasets.get für das Ergebnis-Dataset
  • bigquery.tables.get für das Ergebnis-Dataset
  • bigquery.tables.create für das Ergebnis-Dataset
  • bigquery.tables.update für das Ergebnis-Dataset
  • bigquery.tables.updateData für das Ergebnis-Dataset
  • bigquery.tables.getData für das Ergebnis-Dataset
  • storage.objects.get für den Staging-Bucket
  • storage.objects.create für den Staging-Bucket
  • storage.objects.delete für den Staging-Bucket
  • Wenn das Ergebnis-Dataset nicht vorhanden ist: bigquery.datasets.create für das Projekt

roles/bigquerymigration.editor enthält viele Berechtigungen, die bei der Validierung nicht verwendet werden. Weisen Sie für die geringste Berechtigung eine benutzerdefinierte Rolle mit nur bigquerymigration.workflows.create und bigquerymigration.workflows.get zu.

Bei der Validierung werden nur Ihre Zieltabellen gelesen und nur in das Ergebnis-Dataset geschrieben. Wir empfehlen, das Ergebnis-Dataset im Voraus zu erstellen, damit kein Hauptkonto die Berechtigung zum Erstellen von Datasets in Ihrem Projekt benötigt.

Ergebnisse ansehen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aufrufen von Validierungsergebnissen benötigen:

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Aufrufen von Validierungsergebnissen erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Validierungsergebnisse aufzurufen:

  • bigquery.jobs.create für das Projekt
  • bigquery.tables.get für das Ergebnis-Dataset
  • bigquery.tables.getData für das Ergebnis-Dataset
  • Berichte in Cloud Storage lesen:
    • storage.objects.get für den Staging-Bucket
    • storage.objects.list für den Staging-Bucket
  • Validierungsworkflows in der Google Cloud Console auflisten und ansehen:
    • bigquerymigration.workflows.list für das Projekt
    • bigquerymigration.workflows.get für das Projekt

Berechtigungen für die Quelldatenbank konfigurieren

Sie müssen den Lesezugriff auf den Quelldatenbanknutzer mit den folgenden Berechtigungen konfigurieren:

  • Berechtigung SELECT für jede zu validierende Quelltabelle.
  • Lesezugriff auf die Systemkatalogansichten, die für die Schema- und Primärschlüsselerkennung verwendet werden (z. B. information_schema-Tabellen, ALL_CONSTRAINTS und ALL_TAB_COLUMNS in Oracle oder SVV_COLUMNS und pg_attribute in Amazon Redshift).

Gewähren Sie diesem Nutzer keine Schreib-, DDL- oder Administratorberechtigungen. Der Validierungsclient führt SQL aus Ihrer Validierungskonfiguration als dieser Nutzer aus. Weitere Informationen finden Sie unter Überlegungen zur Datenverarbeitung und Sicherheit.

Beschränkungen

Für den Validierungsdienst gelten die folgenden Einschränkungen:

  • BigQuery ist die einzige unterstützte Zieldatenbank. Die Validierung zwischen zwei Nicht-BigQuery-Datenbanken oder die Verwendung von BigQuery als Validierungsquelle wird nicht unterstützt.
  • Ihr BigQuery-Ziel-Dataset, das Ergebnis-Dataset (standardmäßig validation_results oder das benutzerdefinierte Dataset, das unter results in settings.yaml konfiguriert ist), Ihr Cloud Storage-Staging-Bucket und der Standort des Validierungs-Workflows (BQMS_VALIDATION_LOCATION) müssen sich am selben Standort befinden. Wenn der Validierungsdienst das Ergebnis-Dataset erstellt, wird der Dataset-Standort standardmäßig auf die Region festgelegt, die von Ihrem Cloud Storage-Staging-Bucket und dem BigQuery-Ziel-Dataset verwendet wird, oder auf results.location, wenn explizit festgelegt.
  • Die Unterstützung von Datentypen variiert je nach Quelle. Spalten mit nicht unterstützten Typen werden von der Validierung ausgeschlossen. Weitere Informationen finden Sie unter Unterstützte Data Warehouses.
  • In BigQuery erstellte Vergleichstabellen pro Ausführung laufen automatisch gemäß resultTtlHours in settings.yaml ab. Der Standardwert ist 168.0 Stunden oder sieben Tage. Konfigurieren Sie für das Dataset validation_results keine Standardablaufzeit für Tabellen auf Dataset-Ebene, da dadurch auch langlebige Audit-Tabellen wie run_history, run_metrics und column_history ablaufen.
  • Bei BigQuery-Tabellennamen wird zwischen Groß- und Kleinschreibung unterschieden. Wenn generate-config Konfigurationen aus einem dwh-migration-dumper-Tool-Metadatenarchiv ohne tables.yaml-Übersetzungszuordnung erstellt, wird die Groß-/Kleinschreibung der Quell-ID in den Zieltabellennamen beibehalten. Beispiel: Tabellennamen in Großbuchstaben aus Oracle oder Snowflake. Prüfen Sie, ob targetTable.name genau der Groß-/Kleinschreibung Ihrer Tabelle in BigQuery entspricht.

Unterstützte Data Warehouses

Der Validierungsdienst unterstützt die folgenden Quelldatenbanken. In jedem Abschnitt wird beschrieben, welcher JDBC-Treiber in der Installation enthalten ist, ob Sie Tabellenkonfigurationen automatisch aus einem Metadatenarchiv des dwh-migration-dumper-Tools generieren können, welche Partitionierungstypen für große Tabellen aus dieser Datenbank unterstützt werden und welche Datentypen für die Validierung unterstützt werden.

  • Teradata
  • Snowflake
  • Amazon Redshift
  • Databricks
  • Apache Hive
  • SQL Server
  • MariaDB
  • MySQL
  • Oracle
  • PostgreSQL

Parametrisierte Varianten der unterstützten Datentypen wie VARCHAR(255) oder DECIMAL(10,2) werden ebenfalls unterstützt.

Der Validierungsdienst lädt alle JAR-Dateien im Verzeichnis drivers/ vor den automatisch heruntergeladenen Treibern. Sie können also auch drivers/ verwenden, um eine gebündelte Treiberversion zu überschreiben.

Wenn Sie automatisch eine Validierungskonfigurationsdatei generieren, werden Spalten mit nicht unterstützten Datentypen automatisch zu columnSettings.exclude hinzugefügt. Bei manuellen Konfigurationen müssen Sie sie explizit in columnSettings.exclude ausschließen.

Für die meisten unterstützten Quelldatenbanken lädt das Validierungstool den erforderlichen JDBC-Treiber bei der ersten Verwendung automatisch von Maven Central herunter, überprüft die SHA-256-Prüfsumme und speichert ihn lokal in ~/.cache/google-cloud-bqms/drivers/ (oder $XDG_CACHE_HOME/google-cloud-bqms/drivers/) im Cache. Gehen Sie bei Data Warehouses, die proprietäre Treiber verwenden, z. B. Teradata, oder bei der Ausführung in einer Offline- oder Air-Gap-Umgebung so vor:

  1. Legen Sie die erforderliche Treiber-JAR-Datei in ./drivers/, <sdk_root>/platform/bqms/drivers/ oder dem Verzeichnis ab, das durch die Umgebungsvariable BQMS_DRIVER_DIR angegeben ist. Alle Treiber-JARs, die in diesen lokalen Verzeichnissen abgelegt werden, haben Vorrang vor automatischen Maven Central-Downloads.
  2. Wenn Sie automatische Netzwerkdownloads in Umgebungen mit Air Gap vollständig deaktivieren möchten, legen Sie BQMS_AUTO_DOWNLOAD_DRIVERS=false fest oder legen Sie BQMS_MAVEN_MIRROR so fest, dass es auf einen internen Maven-Repository-Spiegel verweist.

Wählen Sie eine der folgenden Optionen aus, um mehr über die einzelnen vom Validierungsdienst unterstützten Datenquellen zu erfahren:

Teradata

Validierungen für Teradata-Migrationen werden so unterstützt:

  • dialect-Wert: teradata
  • JDBC-Treiber: Vom Nutzer bereitgestellt. Laden Sie die JAR-Datei des Teradata-JDBC-Treibers, z. B. terajdbc4.jar oder terajdbc.jar, von Teradata herunter und kopieren Sie sie in das Verzeichnis drivers/ oder das von BQMS_DRIVER_DIR angegebene Verzeichnis.
  • Automatische Konfigurationsgenerierung: Wird aus einem dwh-migration-dumper-Tool-Metadatenarchiv (--connector teradata) unterstützt.
  • Partitionierte Extraktion: INTEGER_RANGE, PHYSICAL
Kategorie Datentypen
Numerisch BYTEINT, SMALLINT, INTEGER, INT, BIGINT, DECIMAL, DEC, NUMERIC, NUMBER, FLOAT, REAL, DOUBLE PRECISION
String CHAR: CHARACTER, VARCHAR, CHARACTER VARYING, LONG VARCHAR
Datum und Uhrzeit DATE: TIME, TIME WITH TIME ZONE, TIMESTAMP, TIMESTAMP WITH TIME ZONE

Beachten Sie bei der Validierung von Migrationen aus Teradata Folgendes:

  • Wenn eine Tabelle keinen expliziten Primärschlüssel hat, werden Vergleichsschlüssel aus eindeutigen Primärindexen (UPI) oder eindeutigen Sekundärindexen (USI) ermittelt. Nicht eindeutige Primärindexe (NUPI) werden nicht als Vergleichsschlüssel verwendet.
  • NUMBER(P,S) mit fester Genauigkeit wird unterstützt. Unbeschränktes NUMBER (ohne Genauigkeit) wird nicht unterstützt. Unbeschränkte Spalten vom Typ NUMBER, CLOB, BLOB, BYTE, VARBYTE, INTERVAL, PERIOD, JSON und XML werden automatisch von generate-config ausgeschlossen (oder müssen bei manuellen Konfigurationen in columnSettings.exclude aufgeführt werden).
  • CHAR-Spalten mit fester Breite werden automatisch gekürzt. Sowohl die Zeichensätze LATIN und UNICODE als auch die Attribute CASESPECIFIC und NOT CASESPECIFIC werden unterstützt.
  • TIME WITH TIME ZONE- und TIMESTAMP WITH TIME ZONE-Werte werden vor dem Vergleich auf UTC (AT 0) normalisiert.

Snowflake

Validierungen für Snowflake-Migrationen werden so unterstützt:

  • dialect-Wert: snowflake
  • JDBC-Treiber: Wird bei der ersten Verwendung automatisch heruntergeladen (net.snowflake:snowflake-jdbc) oder vom Nutzer im Verzeichnis drivers/ für Offlineumgebungen bereitgestellt.
  • Automatische Konfigurationsgenerierung: Wird aus einem dwh-migration-dumper-Tool-Metadatenarchiv (--connector snowflake) unterstützt.
  • Partitionierte Extraktion: INTEGER_RANGE, DATE_RANGE

Der Validierungsdienst unterstützt die folgenden Datentypen für Snowflake-Migrationen:

Kategorie Datentypen
Numerisch NUMBER, DECIMAL, NUMERIC, FLOAT, REAL, DOUBLE
String CHAR, VARCHAR, STRING, TEXT
Datum und Uhrzeit DATE: TIME, TIMESTAMP_NTZ, TIMESTAMP_LTZ, TIMESTAMP_TZ
Boolesch BOOLEAN

Beachten Sie bei der Validierung von Migrationen von Snowflake Folgendes:

  • CHAR-Spalten mit fester Breite werden automatisch gekürzt.
  • Wenn Sie Daten mit BigQuery Data Transfer Service repliziert haben, legen Sie tolerances.timestamp: 0.001 fest, um Rundungen im Submillisekundenbereich zu berücksichtigen.

Amazon Redshift

Validierungen für Amazon Redshift-Migrationen werden so unterstützt:

  • dialect-Wert: redshift
  • JDBC-Treiber: Wird bei der ersten Verwendung automatisch heruntergeladen (com.amazon.redshift:redshift-jdbc42) oder vom Nutzer im Verzeichnis drivers/ für Offlineumgebungen bereitgestellt.
  • Automatische Konfigurationsgenerierung: Wird aus einem dwh-migration-dumper-Tool-Metadatenarchiv (--connector redshift) unterstützt.
  • Partitionierte Extraktion: INTEGER_RANGE, PHYSICAL

Der Validierungsdienst unterstützt die folgenden Datentypen für Amazon Redshift-Migrationen:

Kategorie Datentypen
Numerisch SMALLINT, INTEGER, BIGINT, DECIMAL, NUMERIC, REAL, DOUBLE PRECISION
String CHAR, VARCHAR, TEXT
Datum und Uhrzeit DATE: TIME, TIMETZ, TIMESTAMP, TIMESTAMPTZ
Boolesch BOOLEAN
Semistrukturiert SUPER

Beachten Sie bei der Validierung von Migrationen von Amazon Redshift Folgendes:

  • Bei der Schemaprüfung wird SVV_COLUMNS verwendet, sodass Ansichten mit später Bindung unterstützt werden.
  • Wenn eine Tabelle keinen Primärschlüssel hat, werden Vergleichsschlüssel automatisch auf eine einspaltige DISTKEY oder SORTKEY zurückgesetzt.
  • GEOMETRY-Spalten werden nicht unterstützt.

Databricks

Validierungen für Databricks-Migrationen werden so unterstützt:

  • dialect-Wert: databricks
  • JDBC-Treiber: Wird bei der ersten Verwendung automatisch heruntergeladen (com.databricks:databricks-jdbc) oder vom Nutzer im Verzeichnis drivers/ für Offlineumgebungen bereitgestellt.
  • Automatische Konfigurationserstellung: Nicht unterstützt. Erstellen Sie eine manuelle Tabellenkonfigurationsdatei.
  • Partitionierte Extraktion: INTEGER_RANGE

Der Validierungsdienst unterstützt die folgenden Datentypen für Databricks-Migrationen:

Kategorie Datentypen
Numerisch BYTE, TINYINT, SHORT, SMALLINT, INT, INTEGER, LONG, BIGINT, FLOAT, DOUBLE, DECIMAL, NUMERIC
String CHAR, VARCHAR, STRING
Datum und Uhrzeit DATE, TIMESTAMP
Boolesch BOOLEAN
Binär BINARY
Komplex ARRAY, MAP, STRUCT

Beachten Sie bei der Validierung von Migrationen aus Databricks Folgendes:

  • Mit einem persönlichen Zugriffstoken authentifizieren: Legen Sie user: token fest und geben Sie das Token über passwordSecret an.
  • Die Schemaprüfung ist abfragebasiert (SELECT * ... WHERE 1=0), sodass sowohl Unity Catalog- als auch Hive-Metastore-Arbeitsbereiche unterstützt werden.

Apache Hive

Validierungen für Apache Hive-Migrationen werden so unterstützt:

  • dialect-Wert: hive
  • JDBC-Treiber: Wird bei der ersten Verwendung automatisch heruntergeladen (eigenständige JAR-Datei org.apache.hive:hive-jdbc) oder vom Nutzer im Verzeichnis drivers/ für Offlineumgebungen bereitgestellt.
  • Automatische Konfigurationsgenerierung: Wird aus einem dwh-migration-dumper-Tool-Metadatenarchiv (--connector hiveql) unterstützt.
  • Partitionierte Extraktion: INTEGER_RANGE

Der Validierungsdienst unterstützt die folgenden Datentypen für Hive-Migrationen:

Kategorie Datentypen
Numerisch TINYINT, SMALLINT, INT, INTEGER, BIGINT, FLOAT, DOUBLE, DECIMAL, NUMERIC
String CHAR, VARCHAR, STRING
Datum und Uhrzeit DATE, TIMESTAMP
Boolesch BOOLEAN
Binär BINARY
Komplex ARRAY, MAP, STRUCT

Beachten Sie bei der Validierung von Migrationen aus Hive Folgendes:

  • Die Schemaprüfung ist abfragebasiert (SELECT * ... WHERE 1=0).
  • In Hive-Tabellen werden selten Primärschlüssel definiert. Bei Tabellen ohne Vergleichsschlüssel wird automatisch die Hash-Aggregation für die gesamte Zeile für die Datensäule verwendet.

SQL Server

Validierungen für SQL Server-Migrationen werden so unterstützt:

  • dialect-Wert: sqlserver
  • JDBC-Treiber: Wird bei der ersten Verwendung automatisch heruntergeladen (com.microsoft.sqlserver:mssql-jdbc) oder vom Nutzer im Verzeichnis drivers/ für Offlineumgebungen bereitgestellt.
  • Automatische Konfigurationsgenerierung: Wird aus einem dwh-migration-dumper-Tool-Metadatenarchiv (--connector sqlserver) unterstützt.
  • Partitionierte Extraktion: INTEGER_RANGE

Der Validierungsdienst unterstützt die folgenden Datentypen für SQL Server-Migrationen:

Kategorie Datentypen
Numerisch INT, BIGINT, DECIMAL, NUMERIC, FLOAT, REAL
String CHAR, VARCHAR, TEXT
Datum und Uhrzeit DATE, DATETIME, TIMESTAMP
Boolesch BIT

Beachten Sie bei der Validierung von Migrationen von SQL Server Folgendes:

  • Die Standard-JDBC-URL legt encrypt=true;trustServerCertificate=true; fest. Überschreiben Sie ihn mit dem Verbindungsschlüssel url, wenn Sie eine strenge TLS-Zertifikatsvalidierung benötigen.

MariaDB

Validierungen für MariaDB-Migrationen werden so unterstützt:

  • dialect-Wert: mariadb
  • JDBC-Treiber: Wird bei der ersten Verwendung automatisch heruntergeladen (org.mariadb.jdbc:mariadb-java-client) oder vom Nutzer im Verzeichnis drivers/ für Offlineumgebungen bereitgestellt.
  • Automatische Konfigurationsgenerierung: Erstellen Sie eine manuelle Tabellenkonfigurationsdatei.
  • Partitionierte Extraktion: INTEGER_RANGE

Der Validierungsdienst unterstützt die folgenden Datentypen für MariaDB-Migrationen:

Kategorie Datentypen
Numerisch TINYINT, SMALLINT, MEDIUMINT, INT, INTEGER, BIGINT, FLOAT, DOUBLE, DECIMAL, NUMERIC
String CHAR, VARCHAR, TINYTEXT, TEXT, MEDIUMTEXT, LONGTEXT, ENUM, SET
Datum und Uhrzeit DATE: TIME, DATETIME, TIMESTAMP, YEAR
Binäre und große Objekte BINARY, VARBINARY, TINYBLOB, BLOB, MEDIUMBLOB, LONGBLOB

MySQL

Prüfungen für MySQL-Migrationen werden so unterstützt:

  • dialect-Wert: mysql
  • JDBC-Treiber: Wird bei der ersten Verwendung automatisch heruntergeladen (com.mysql:mysql-connector-j) oder vom Nutzer im Verzeichnis drivers/ für Offlineumgebungen bereitgestellt.
  • Automatische Konfigurationsgenerierung: Erstellen Sie eine manuelle Tabellenkonfigurationsdatei.
  • Partitionierte Extraktion: INTEGER_RANGE

Der Validierungsdienst unterstützt die folgenden Datentypen für MySQL-Migrationen:

Kategorie Datentypen
Numerisch INT: BIGINT, DECIMAL, FLOAT, DOUBLE
String CHAR, VARCHAR, TEXT
Datum und Uhrzeit DATE, TIME, DATETIME, TIMESTAMP
Boolesch BOOLEAN

Oracle

Validierungen für Oracle-Migrationen werden so unterstützt:

  • dialect-Wert: oracle
  • JDBC-Treiber: Wird bei der ersten Verwendung automatisch heruntergeladen (com.oracle.database.jdbc:ojdbc11) oder vom Nutzer im Verzeichnis drivers/ für Offline-Umgebungen bereitgestellt.
  • Automatische Konfigurationsgenerierung: Wird aus einem dwh-migration-dumper-Tool-Metadatenarchiv (--connector oracle) unterstützt.
  • Partitionierte Extraktion: INTEGER_RANGE, PHYSICAL

Der Validierungsdienst unterstützt die folgenden Datentypen für Oracle-Migrationen:

Kategorie Datentypen
Numerisch NUMBER: NUMERIC, INTEGER, FLOAT, DOUBLE
String CHAR: NCHAR, VARCHAR, VARCHAR2, NVARCHAR2
Datum und Uhrzeit DATE, TIMESTAMP, TIMESTAMP WITH TIME ZONE
Binäre und große Objekte RAW: BINARY, BLOB, CLOB, NCLOB

Beachten Sie bei der Validierung von Migrationen von Oracle Folgendes:

  • DATE-Spalten enthalten in Oracle eine Zeitkomponente. Das Validierungstool extrahiert Oracle-DATE-Spalten mit Tagesgenauigkeit (YYYY-MM-DD), sodass Unterschiede bei der Tageszeit abgeschnitten werden.

PostgreSQL

Validierungen für PostgreSQL-Migrationen werden so unterstützt:

  • dialect-Wert: postgresql
  • JDBC-Treiber: Wird bei der ersten Verwendung automatisch heruntergeladen (org.postgresql:postgresql) oder vom Nutzer im Verzeichnis drivers/ für Offlineumgebungen bereitgestellt.
  • Automatische Konfigurationsgenerierung: Wird aus einem dwh-migration-dumper-Tool-Metadatenarchiv (--connector postgres) unterstützt.
  • Partitionierte Extraktion: INTEGER_RANGE, DATE_RANGE, PHYSICAL

Der Validierungsdienst unterstützt die folgenden Datentypen für PostgreSQL-Migrationen:

Kategorie Datentypen
Numerisch SMALLINT: INTEGER, BIGINT, NUMERIC, DOUBLE PRECISION
String CHAR: CHARACTER, VARCHAR, CHARACTER VARYING, TEXT
Datum und Uhrzeit DATE, TIME, TIMESTAMP, TIMESTAMP WITHOUT TIME ZONE, TIMESTAMP WITH TIME ZONE, TIMESTAMPTZ
Boolesch BOOLEAN
Sonstiges UUID

Beachten Sie bei der Validierung von Migrationen von PostgreSQL Folgendes:

  • BIGINT-Werte, die größer als 253 sind, können geringfügige Genauigkeitsunterschiede bei AVG() aufweisen. SUM und COUNT bleiben genau.

Verzeichnis und Dateien für die Validierungskonfiguration einrichten

Der Validierungsdienst liest aus einem modularen Konfigurationsverzeichnis mit dem Namen validation_config/, das die folgenden Dateien enthält:

  • Datei für Datenbankverbindungen: Definiert Ihr source-Data-Warehouse-Verbindungsprofil und Ihr target-BigQuery-Verbindungsprofil.
  • Datei für Staging- und Ergebniseinstellungen: Definiert den Cloud Storage-Staging-Pfad (googleCloudStorage), die Konfiguration des BigQuery-Ergebnis-Datasets (results), die Ablaufzeit der Vergleichstabelle pro Ausführung (resultTtlHours) und optionale globale Standardwerte (tolerances, aggregate, labels).
  • Konfigurationsdatei für die Tabellenvalidierung: enthält tabellenspezifische Zuordnungen (sourceTable und targetTable), Vergleichsschlüssel (comparisonKeys), Validierungsstrategie (strategy), Einstellungen für die partitionierte Extraktion (partitioning) und Spalteneinstellungen (columnSettings).

In den folgenden Abschnitten werden die Schritte zum Einrichten des Verzeichnisses für die Validierungskonfiguration und zum Erstellen der für eine Migrationsvalidierung erforderlichen Konfigurationsdateien beschrieben.

Verzeichnis für die Validierungskonfiguration erstellen

Erstellen Sie ein Verzeichnis für die Validierungskonfiguration mit dem Namen validation_config/, um Ihre Validierungskonfigurationsdateien zu speichern. Sie können dieses Verzeichnis auf dem Computer speichern, auf dem der Validierungsdienst ausgeführt wird, oder in einem Cloud Storage-Bucket, damit ein Team eine Konfiguration für mehrere Ausführungen freigeben kann.

Datei für Datenbankverbindungen erstellen

Erstellen Sie im Verzeichnis für die Validierungskonfiguration eine Datei mit dem Namen connections.yaml und konfigurieren Sie sie mit den Informationen, die für die Verbindung mit einer Quelldatenbank und einer BigQuery-Zieldatenbank erforderlich sind.

Jede Data-Warehouse-Quelle hat bestimmte Funktionen und Anforderungen, die beim Erstellen der Datenbankverbindungsdatei berücksichtigt werden müssen. Weitere Informationen zu den einzelnen Datenquellen finden Sie unter Unterstützte Data Warehouses.

Wenn Sie passwordSecret in einem Verbindungsprofil angeben, ruft der Validierungsdienst die Secret-Version aus Secret Manager auf dem Clientcomputer mithilfe Ihrer lokalen Standardanmeldedaten für Anwendungen (Application Default Credentials, ADC) ab und übergibt das aufgelöste Passwort direkt an den lokalen JDBC-Treiber. Ihre Quelldatenbank benötigt keinen Netzwerk- oder IAM-Zugriff auf Google Cloud. Daher funktioniertpasswordSecret für lokale Datenbanken und Datenbanken, die in anderen Clouds gehostet werden, z. B. Amazon Redshift oder Snowflake. Alternativ können Sie passwordSecret weglassen und die Umgebungsvariable BQMS_VALIDATION_SOURCE_PASSWORD auf dem Computer festlegen, auf dem der Validierungsdienst ausgeführt wird.

Wählen Sie eine der folgenden Optionen aus, um eine Datenbankverbindungsdatei für ein Data Warehouse zu erstellen:

Teradata

Konfigurieren Sie für Teradata-Migrationsprüfungen die Datei mit den Datenbankverbindungen mit den folgenden Informationen:

connections:
source:
  dialect: teradata
  host: SOURCE_HOST
  port: 1025
  database: SOURCE_DATABASE
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

Ersetzen Sie Folgendes:

  • SOURCE_HOST: der Hostname oder die IP-Adresse Ihres Teradata-Systems.
  • SOURCE_DATABASE: der erforderliche Teradata-Datenbankname.
  • SOURCE_USER: der Teradata-Nutzername.
  • SECRET_PROJECT_ID und SECRET_ID: die Projekt-ID und die Secret-ID in Secret Manager, die das Passwort enthalten, oder legen Sie BQMS_VALIDATION_SOURCE_PASSWORD fest.
  • TARGET_PROJECT_ID: die Projekt-ID des Ziels Google Cloud.
  • TARGET_DATASET: der Name des BigQuery-Ziel-Datasets.

Snowflake

Konfigurieren Sie für Snowflake-Migrationsprüfungen Ihre Datenbankverbindungsdatei mit den folgenden Informationen:

connections:
source:
  dialect: snowflake
  account: SNOWFLAKE_ACCOUNT
  warehouse: SNOWFLAKE_WAREHOUSE
  database: SOURCE_DATABASE
  schema: SOURCE_SCHEMA
  role: SNOWFLAKE_ROLE
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

Ersetzen Sie Folgendes:

  • SNOWFLAKE_ACCOUNT: Ihre Snowflake-Konto-ID (z. B. myorg-myaccount).
  • SNOWFLAKE_WAREHOUSE: das virtuelle Warehouse, das zum Ausführen von Extraktionsabfragen verwendet wird.
  • SOURCE_DATABASE: der erforderliche Snowflake-Datenbankname.
  • SOURCE_SCHEMA: der erforderliche Snowflake-Schemaname.
  • SNOWFLAKE_ROLE: optionale Snowflake-Rolle.
  • SOURCE_USER: der Snowflake-Nutzername.
  • SECRET_PROJECT_ID und SECRET_ID: die Projekt-ID und die Secret-ID in Secret Manager, die das Passwort enthalten, oder legen Sie BQMS_VALIDATION_SOURCE_PASSWORD fest.
  • TARGET_PROJECT_ID: die Projekt-ID des Ziels Google Cloud.
  • TARGET_DATASET: der Name des BigQuery-Ziel-Datasets.

Amazon Redshift

Konfigurieren Sie für Amazon Redshift-Migrationsprüfungen die Datei mit den Datenbankverbindungen mit den folgenden Informationen:

connections:
source:
  dialect: redshift
  host: SOURCE_HOST
  port: 5439
  database: SOURCE_DATABASE
  schema: SOURCE_SCHEMA
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

Ersetzen Sie Folgendes:

  • SOURCE_HOST: der Hostname Ihres Amazon Redshift-Clusterendpunkts.
  • SOURCE_DATABASE: der erforderliche Name der Amazon Redshift-Datenbank.
  • SOURCE_SCHEMA: der Standard-Schemaname (wenn nicht angegeben, wird standardmäßig public verwendet).
  • SOURCE_USER: der Datenbanknutzername.
  • SECRET_PROJECT_ID und SECRET_ID: die Projekt-ID und die Secret-ID in Secret Manager, die das Passwort enthalten, oder legen Sie BQMS_VALIDATION_SOURCE_PASSWORD fest.
  • TARGET_PROJECT_ID: die Projekt-ID des Ziels Google Cloud.
  • TARGET_DATASET: der Name des BigQuery-Ziel-Datasets.

Databricks

Konfigurieren Sie für Databricks-Migrationsvalidierungen die Datei mit den Datenbankverbindungen mit den folgenden Informationen:

connections:
source:
  dialect: databricks
  host: DATABRICKS_HOST
  port: 443
  httpPath: HTTP_PATH
  catalog: CATALOG_NAME
  schema: SCHEMA_NAME
  user: token
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

Ersetzen Sie Folgendes:

  • DATABRICKS_HOST: der Serverhostname Ihres Databricks SQL-Warehouse oder -Clusters.
  • HTTP_PATH: der HTTP-Pfad Ihres Databricks SQL-Warehouse (z. B. sql/protocolv1/o/1234567890/0123-456789-abcdef).
  • CATALOG_NAME: der erforderliche Unity-Katalogname (oder hive_metastore).
  • SCHEMA_NAME: der erforderliche Schemaname.
  • SECRET_PROJECT_ID und SECRET_ID: die Projekt-ID und die Secret-ID in Secret Manager, die Ihr persönliches Databricks-Zugriffstoken (PAT) enthalten, oder lassen Sie passwordSecret weg und legen Sie BQMS_VALIDATION_SOURCE_PASSWORD fest. Wenn Sie user: token mit passwordSecret verwenden, wird Ihr Token nie in Staging-Metadatendateien geschrieben.
  • TARGET_PROJECT_ID: die Projekt-ID des Ziels Google Cloud.
  • TARGET_DATASET: der Name des BigQuery-Ziel-Datasets.

Apache Hive

Konfigurieren Sie für Apache Hive-Migrationsvalidierungen Ihre Datenbankverbindungsdatei mit den folgenden Informationen:

connections:
source:
  dialect: hive
  host: SOURCE_HOST
  port: 10000
  database: SOURCE_DATABASE
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

Ersetzen Sie Folgendes:

  • SOURCE_HOST: der HiveServer2-Hostname oder die IP-Adresse.
  • SOURCE_DATABASE: der erforderliche Hive-Datenbankname (z. B. default).
  • SOURCE_USER: der Hive-Nutzername.
  • SECRET_PROJECT_ID und SECRET_ID: die Projekt-ID und die Secret-ID in Secret Manager, die das Passwort enthalten, oder legen Sie BQMS_VALIDATION_SOURCE_PASSWORD fest.
  • TARGET_PROJECT_ID: die Projekt-ID des Ziels Google Cloud.
  • TARGET_DATASET: der Name des BigQuery-Ziel-Datasets.

SQL Server

Konfigurieren Sie für SQL Server-Migrationsprüfungen Ihre Datenbankverbindungsdatei mit den folgenden Informationen:

connections:
source:
  dialect: sqlserver
  host: SOURCE_HOST
  port: 1433
  database: SOURCE_DATABASE
  schema: SOURCE_SCHEMA
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

Ersetzen Sie Folgendes:

  • SOURCE_HOST: der Hostname oder die IP-Adresse Ihrer SQL Server-Instanz (optional instanceName für benannte Instanzen angeben).
  • SOURCE_DATABASE: der erforderliche Datenbankname.
  • SOURCE_SCHEMA: der Standard-Schemaname (wenn nicht angegeben, wird standardmäßig dbo verwendet).
  • SOURCE_USER: der Datenbanknutzername.
  • SECRET_PROJECT_ID und SECRET_ID: die Projekt-ID und die Secret-ID in Secret Manager, die das Passwort enthalten, oder legen Sie BQMS_VALIDATION_SOURCE_PASSWORD fest.
  • TARGET_PROJECT_ID: die Projekt-ID des Ziels Google Cloud.
  • TARGET_DATASET: der Name des BigQuery-Ziel-Datasets.

MariaDB

Konfigurieren Sie für MariaDB-Migrationsprüfungen die Datei mit den Datenbankverbindungen mit den folgenden Informationen:

connections:
source:
  dialect: mariadb
  host: SOURCE_HOST
  port: 3306
  database: SOURCE_DATABASE
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

Ersetzen Sie Folgendes:

  • SOURCE_HOST: der Hostname oder die IP-Adresse des MariaDB-Servers.
  • SOURCE_DATABASE: der erforderliche MariaDB-Datenbankname.
  • SOURCE_USER: der MariaDB-Nutzername.
  • SECRET_PROJECT_ID und SECRET_ID: die Projekt-ID und die Secret-ID in Secret Manager, die das Passwort enthalten, oder legen Sie BQMS_VALIDATION_SOURCE_PASSWORD fest.
  • TARGET_PROJECT_ID: die Projekt-ID des Ziels Google Cloud.
  • TARGET_DATASET: der Name des BigQuery-Ziel-Datasets.

MySQL

Konfigurieren Sie für MySQL-Migrationsprüfungen die Datei mit den Datenbankverbindungen mit den folgenden Informationen:

connections:
source:
  dialect: mysql
  host: SOURCE_HOST
  port: 3306
  database: SOURCE_DATABASE
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

Ersetzen Sie Folgendes:

  • SOURCE_HOST: der Hostname oder die IP-Adresse des MySQL-Servers.
  • SOURCE_DATABASE: der erforderliche MySQL-Datenbankname.
  • SOURCE_USER: der MySQL-Nutzername.
  • SECRET_PROJECT_ID und SECRET_ID: die Projekt-ID und die Secret-ID in Secret Manager, die das Passwort enthalten, oder legen Sie BQMS_VALIDATION_SOURCE_PASSWORD fest.
  • TARGET_PROJECT_ID: die Projekt-ID des Ziels Google Cloud.
  • TARGET_DATASET: der Name des BigQuery-Ziel-Datasets.

Oracle

Konfigurieren Sie für Oracle-Migrationsprüfungen Ihre Datenbankverbindungsdatei mit den folgenden Informationen:

connections:
source:
  dialect: oracle
  host: SOURCE_HOST
  port: 1521
  database: SERVICE_NAME
  schema: SOURCE_SCHEMA
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

Ersetzen Sie Folgendes:

  • SOURCE_HOST: der Hostname oder die IP-Adresse des Oracle-Servers.
  • SERVICE_NAME: der Oracle-Dienstname (wird zum Erstellen von jdbc:oracle:thin:@//HOST:PORT/SERVICE_NAME verwendet). Geben Sie für benutzerdefinierte TNS- oder SID-Verbindungen stattdessen url mit der vollständigen JDBC-URL an.
  • SOURCE_SCHEMA: optionaler Standardschemaname.
  • SOURCE_USER: der erforderliche Oracle-Nutzername.
  • SECRET_PROJECT_ID und SECRET_ID: die Projekt-ID und die Secret-ID in Secret Manager, die das Datenbankpasswort enthalten, oder legen Sie BQMS_VALIDATION_SOURCE_PASSWORD fest.
  • TARGET_PROJECT_ID: die Projekt-ID des Ziels Google Cloud.
  • TARGET_DATASET: der Name des BigQuery-Ziel-Datasets.

PostgreSQL

Konfigurieren Sie für PostgreSQL-Migrationsprüfungen die Datei mit den Datenbankverbindungen mit den folgenden Informationen:

connections:
source:
  dialect: postgresql
  host: SOURCE_HOST
  port: 5432
  database: SOURCE_DATABASE
  schema: SOURCE_SCHEMA
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

Ersetzen Sie Folgendes:

  • SOURCE_HOST: der Hostname oder die IP-Adresse Ihres PostgreSQL-Servers.
  • SOURCE_DATABASE: der erforderliche PostgreSQL-Datenbankname.
  • SOURCE_SCHEMA: der Standard-Schemaname (wenn nicht angegeben, wird standardmäßig public verwendet).
  • SOURCE_USER: der Datenbanknutzername.
  • SECRET_PROJECT_ID und SECRET_ID: die Projekt-ID und die Secret-ID in Secret Manager, die das Datenbankpasswort enthalten. Alternativ können Sie passwordSecret weglassen und die Umgebungsvariable BQMS_VALIDATION_SOURCE_PASSWORD festlegen.
  • TARGET_PROJECT_ID: die Projekt-ID in Google Cloud , die Ihre migrierten BigQuery-Tabellen enthält und in der das Dataset validation_results erstellt wird.
  • TARGET_DATASET: der Name des BigQuery-Ziel-Datasets.

Einstellungsdatei erstellen

Erstellen Sie im Verzeichnis für die Validierungskonfiguration eine Datei für die Staging- und Ergebniseinstellungen mit dem Namen settings.yaml, um den Cloud Storage-Staging-Pfad, das BigQuery-Ergebnis-Dataset, den Ablauf von Tabellen pro Ausführung und optionale globale Standardwerte zu konfigurieren.

Konfigurieren Sie die Datei mit den Einstellungen für die Bereitstellung und die Ergebnisse mit den folgenden Angaben:

googleCloudStorage:
  gcsPath: gs://BUCKET_NAME/PATH_PREFIX
  format: FORMAT

results:
  projectId: RESULTS_PROJECT_ID
  dataset: RESULTS_DATASET
  location: RESULTS_LOCATION

resultTtlHours: RESULT_TTL_HOURS
results: RESULTS_CONFIG

Ersetzen Sie Folgendes:

  • BUCKET_NAME: der Name Ihres Cloud Storage-Staging-Buckets.
  • PATH_PREFIX: das Cloud Storage-URI-Präfix im Bucket, das zum Bereitstellen extrahierter Schemametadaten, aggregierter Messwerte, Stichprobenzeilen und Zusammenfassungsberichte verwendet wird.
  • FORMAT: das Dateiformat für bereitgestellte Datenstichproben. Unterstützte Werte sind parquet (Standard) und csv.
  • RESULTS_PROJECT_ID: die Google Cloud Projekt-ID, in die Validierungsergebnisse und Tabellen mit dem Ausführungsverlauf geschrieben werden. Wenn keine Angabe gemacht wird, wird standardmäßig target.projectId aus connections.yaml verwendet.
  • RESULTS_DATASET: der Name des BigQuery-Datasets, in das Validierungsergebnisse und Tabellen mit dem Ausführungsverlauf (run_history, run_metrics und column_history) geschrieben werden. Wenn keine Angabe gemacht wird, lautet die Standardeinstellung validation_results. Wenn das Dataset nicht vorhanden ist, wird es vom Validierungsdienst automatisch erstellt.
  • RESULTS_LOCATION: der BigQuery-Standort für das Ergebnis-Dataset. Wenn Sie nichts angeben, wird standardmäßig ein automatisch erstelltes Ergebnis-Dataset in der Region Ihres Cloud Storage-Staging-Buckets und des BigQuery-Ziel-Datasets verwendet.
  • RESULT_TTL_HOURS: Gültigkeitsdauer in Stunden für die im Ergebnis-Dataset erstellten Vergleichs- und Abweichungstabellen pro Ausführung. Der Standardwert ist 168.0 Stunden (7 Tage). Langlebige Beobachtbarkeitstabellen (run_history, run_metrics und column_history) sind von resultTtlHours nicht betroffen.
  • RESULTS_CONFIG: Konfiguriert das BigQuery-Ziel-Dataset für Vergleichsergebnisse und den Prüfverlauf. Unterstützte Werte sind projectId, dataset und location. Wenn Sie diesen Wert weglassen, schreibt der Validierungsdienst in TARGET_PROJECT_ID.validation_results` und erstellt das Dataset automatisch in derselben Region wie Ihr Ziel-Dataset und Ihr Cloud Storage-Staging-Bucket, falls es noch nicht vorhanden ist.

Sie können auch globale Tabellenstandardwerte angeben, indem Sie tolerances, aggregate oder labels auf der obersten Ebene von settings.yaml oder validation-config.yaml angeben. Diese Standardeinstellungen gelten für alle Tabellen, sofern sie nicht in einer einzelnen Tabellenkonfiguration überschrieben werden.

Konfigurationen für die Tabellenvalidierung generieren

Nachdem Sie die Verbindungen und Einstellungsdateien konfiguriert haben, definieren Sie die Konfigurationen für die Tabellenvalidierung. Der Befehl generate-config schreibt eine YAML-Datei pro Tabelle unter validation_config/databases/DATABASE/SCHEMA/TABLE.yaml mit einem table:-Schlüssel auf oberster Ebene. Alternativ können Sie eine manuelle validation_config/tables.yaml-Datei erstellen.

Wählen Sie eine der folgenden Optionen aus, um Informationen zum Generieren von Tabellenvalidierungskonfigurationen für Ihre Quelldatenbank zu erhalten:

Teradata

Führen Sie für Teradata-Migrationsvalidierungen die folgenden Schritte aus, um ein Metadatenarchiv des dwh-migration-dumper-Tools für Ihre Quellschemas zu generieren:

  1. Installieren Sie das dwh-migration-dumper-Tool.
  2. Führen Sie dwh-migration-dumper für Ihre Quelldatenbank aus, um ein Metadatenarchiv für das dwh-migration-dumper-Tool zu erstellen.

Führen Sie mit dem Metadatenarchiv generate-config aus, um tabellenspezifische Konfigurationsdateien zu generieren. Mit dem Flag --update können Sie Ihre vorhandenen connections.yaml- und settings.yaml-Dateien beibehalten, die Sie in validation_config/ erstellt haben. Beispiel:

gcloud bq migration validate generate-config \
  --metadata PATH_TO_METADATA_ZIP \
  --target-dataset TARGET_DATASET \
  --update

Wenn Sie auch eine tables.yaml-Schemazuordnungsdatei vom Batch-SQL-Übersetzer haben, fügen Sie das Flag --tables-yaml entweder allein oder zusammen mit --metadata ein, um übersetzte Tabellenzuordnungen mit Quellpartitionsmetadaten und Datentypausschlüssen aus dem Metadatenarchiv zu ergänzen. Beispiel:

gcloud bq migration validate generate-config \
--metadata PATH_TO_METADATA_ZIP \
--tables-yaml PATH_TO_TABLES_YAML \
--target-dataset TARGET_DATASET \
--update

Der Befehl generate-config unterstützt die folgenden Flags:

  • --metadata PATH_TO_METADATA_ZIP: der Pfad zu einem Metadatenarchiv des dwh-migration-dumper-Tools (ZIP-Datei) oder zu einem Verzeichnis mit Metadatenarchiven.
  • --tables-yaml PATH_TO_TABLES_YAML: der Pfad zu einer oder mehreren Übersetzungsdateien oder -verzeichnissen von tables.yaml (kommagetrennt).
  • --target-dataset TARGET_DATASET: der Name des BigQuery-Ziel-Datasets, der den generierten targetTable.name-Einträgen vorangestellt werden soll.
  • -o, --output-dir DIRECTORY: das Ausgabeverzeichnis für modulare Konfigurationsdateien. Der Standardwert ist validation_config.
  • --schemas SCHEMA_LIST: Durch Kommas getrennte Liste der einzuschließenden Quellschemas oder ‑datenbanken (Groß-/Kleinschreibung beachten; unterstützt *-Platzhalter).
  • --tables TABLE_LIST: durch Kommas getrennte Liste von Tabellennamen (TABLE, SCHEMA.TABLE oder DB.SCHEMA.TABLE), die einbezogen werden sollen (Groß-/Kleinschreibung beachten; unterstützt *-Platzhalter).
  • --filter-file PATH: Pfad zu einer durch Zeilenumbrüche getrennten Datei mit Tabellennamen, die einbezogen werden sollen (Zeilen, die mit # beginnen, werden ignoriert).
  • --update: Zusammenführen der erkannten Tabellen in ein vorhandenes validation_config/-Verzeichnis, wobei die vorhandenen connections.yaml-, settings.yaml- und benutzerdefinierten Überschreibungen pro Tabelle beibehalten werden.
  • --force: Ermöglicht das Schreiben neu erkannter Tabellendateien in ein nicht leeres Ausgabeverzeichnis, während vorhandene Tabellenkonfigurationsdateien beibehalten werden.
  • --clean: Löscht alle vorhandenen Dateien im Ausgabeverzeichnis, bevor neu gefundene Dateien geschrieben werden.

Snowflake

Gehen Sie bei Snowflake-Migrationsvalidierungen so vor, um ein dwh-migration-dumper-Tool-Metadatenarchiv Ihrer Quellschemas zu generieren:

  1. Installieren Sie das dwh-migration-dumper-Tool.
  2. Führen Sie dwh-migration-dumper für Ihre Quelldatenbank aus, um ein Metadatenarchiv für das dwh-migration-dumper-Tool zu erstellen.

Führen Sie mit dem Metadatenarchiv generate-config aus, um tabellenspezifische Konfigurationsdateien zu generieren. Mit dem Flag --update können Sie Ihre vorhandenen connections.yaml- und settings.yaml-Dateien beibehalten, die Sie in validation_config/ erstellt haben. Beispiel:

gcloud bq migration validate generate-config \
  --metadata PATH_TO_METADATA_ZIP \
  --target-dataset TARGET_DATASET \
  --update

Wenn Sie auch eine tables.yaml-Schemazuordnungsdatei aus dem Batch-SQL-Übersetzer haben, fügen Sie das Flag --tables-yaml entweder allein oder zusammen mit --metadata ein, um übersetzte Tabellenzuordnungen mit Quell-Clustering-Schlüsseln (für partitionierte Tabellen ohne Primärschlüssel), Metadaten für physische Partitionen und Datentypausschlüssen aus dem Metadatenarchiv zu ergänzen. Beispiel:

gcloud bq migration validate generate-config \
--metadata PATH_TO_METADATA_ZIP \
--tables-yaml PATH_TO_TABLES_YAML \
--target-dataset TARGET_DATASET \
--update

Der Befehl generate-config unterstützt die folgenden Flags:

  • --metadata PATH_TO_METADATA_ZIP: der Pfad zu einem Metadatenarchiv des dwh-migration-dumper-Tools (ZIP-Datei) oder zu einem Verzeichnis mit Metadatenarchiven.
  • --tables-yaml PATH_TO_TABLES_YAML: der Pfad zu einer oder mehreren Übersetzungsdateien oder -verzeichnissen von tables.yaml (kommagetrennt).
  • --target-dataset TARGET_DATASET: der Name des BigQuery-Ziel-Datasets, der den generierten targetTable.name-Einträgen vorangestellt werden soll.
  • -o, --output-dir DIRECTORY: das Ausgabeverzeichnis für modulare Konfigurationsdateien. Der Standardwert ist validation_config.
  • --schemas SCHEMA_LIST: Durch Kommas getrennte Liste der einzuschließenden Quellschemas oder ‑datenbanken (Groß-/Kleinschreibung beachten; unterstützt *-Platzhalter).
  • --tables TABLE_LIST: durch Kommas getrennte Liste von Tabellennamen (TABLE, SCHEMA.TABLE oder DB.SCHEMA.TABLE), die einbezogen werden sollen (Groß-/Kleinschreibung beachten; unterstützt *-Platzhalter).
  • --filter-file PATH: Pfad zu einer durch Zeilenumbrüche getrennten Datei mit Tabellennamen, die einbezogen werden sollen (Zeilen, die mit # beginnen, werden ignoriert).
  • --update: Zusammenführen der erkannten Tabellen in ein vorhandenes validation_config/-Verzeichnis, wobei die vorhandenen connections.yaml-, settings.yaml- und benutzerdefinierten Überschreibungen pro Tabelle beibehalten werden.
  • --force: Ermöglicht das Schreiben neu erkannter Tabellendateien in ein nicht leeres Ausgabeverzeichnis, während vorhandene Tabellenkonfigurationsdateien beibehalten werden.
  • --clean: Löscht alle vorhandenen Dateien im Ausgabeverzeichnis, bevor neu gefundene Dateien geschrieben werden.

Amazon Redshift

Führen Sie für Amazon Redshift-Migrationsvalidierungen die folgenden Schritte aus, um ein Metadaten-ZIP-Archiv Ihrer Quellschemas zu generieren:

  1. Installieren Sie das dwh-migration-dumper-Tool.
  2. Führen Sie dwh-migration-dumper für Ihre Quelldatenbank aus, um ein Metadatenarchiv für das dwh-migration-dumper-Tool zu erstellen.

Führen Sie mit dem Metadatenarchiv generate-config aus, um tabellenspezifische Konfigurationsdateien zu generieren. Mit dem Flag --update können Sie Ihre vorhandenen connections.yaml- und settings.yaml-Dateien beibehalten, die Sie in validation_config/ erstellt haben. Beispiel:

gcloud bq migration validate generate-config \
  --metadata PATH_TO_METADATA_ZIP \
  --target-dataset TARGET_DATASET \
  --update

Wenn Sie auch eine tables.yaml-Schemazuordnungsdatei vom Batch-SQL-Übersetzer haben, fügen Sie das Flag --tables-yaml entweder allein oder zusammen mit --metadata ein, um übersetzte Tabellenzuordnungen mit Quellpartitionsmetadaten und Datentypausschlüssen aus dem Metadatenarchiv zu ergänzen. Beispiel:

gcloud bq migration validate generate-config \
--metadata PATH_TO_METADATA_ZIP \
--tables-yaml PATH_TO_TABLES_YAML \
--target-dataset TARGET_DATASET \
--update

Der Befehl generate-config unterstützt die folgenden Flags:

  • --metadata PATH_TO_METADATA_ZIP: der Pfad zu einem Metadatenarchiv des dwh-migration-dumper-Tools (ZIP-Datei) oder zu einem Verzeichnis mit Metadatenarchiven.
  • --tables-yaml PATH_TO_TABLES_YAML: der Pfad zu einer oder mehreren Übersetzungsdateien oder -verzeichnissen von tables.yaml (kommagetrennt).
  • --target-dataset TARGET_DATASET: der Name des BigQuery-Ziel-Datasets, der den generierten targetTable.name-Einträgen vorangestellt werden soll.
  • -o, --output-dir DIRECTORY: das Ausgabeverzeichnis für modulare Konfigurationsdateien. Der Standardwert ist validation_config.
  • --schemas SCHEMA_LIST: Durch Kommas getrennte Liste der einzuschließenden Quellschemas oder ‑datenbanken (Groß-/Kleinschreibung beachten; unterstützt *-Platzhalter).
  • --tables TABLE_LIST: durch Kommas getrennte Liste von Tabellennamen (TABLE, SCHEMA.TABLE oder DB.SCHEMA.TABLE), die einbezogen werden sollen (Groß-/Kleinschreibung beachten; unterstützt *-Platzhalter).
  • --filter-file PATH: Pfad zu einer durch Zeilenumbrüche getrennten Datei mit Tabellennamen, die einbezogen werden sollen (Zeilen, die mit # beginnen, werden ignoriert).
  • --update: Zusammenführen der erkannten Tabellen in ein vorhandenes validation_config/-Verzeichnis, wobei die vorhandenen connections.yaml-, settings.yaml- und benutzerdefinierten Überschreibungen pro Tabelle beibehalten werden.
  • --force: Ermöglicht das Schreiben neu erkannter Tabellendateien in ein nicht leeres Ausgabeverzeichnis, während vorhandene Tabellenkonfigurationsdateien beibehalten werden.
  • --clean: Löscht alle vorhandenen Dateien im Ausgabeverzeichnis, bevor neu gefundene Dateien geschrieben werden.

Databricks

Die automatische Konfigurationserstellung wird für Databricks nicht unterstützt. Erstellen Sie manuell eine tables.yaml-Datei im Verzeichnis validation_config/ mit den folgenden Konfigurationen:

tables:

  • sourceTable: name: SOURCE_SCHEMA.SOURCE_TABLE comparisonKeys: - PRIMARY_KEY_COLUMN targetTable: name: TARGET_DATASET.TARGET_TABLE

Apache Hive

Führen Sie für Apache Hive-Migrationsvalidierungen die folgenden Schritte aus, um ein Metadaten-ZIP-Archiv Ihrer Quellschemas zu generieren:

  1. Installieren Sie das dwh-migration-dumper-Tool.
  2. Führen Sie dwh-migration-dumper für Ihre Quelldatenbank aus, um ein Metadatenarchiv für das dwh-migration-dumper-Tool zu erstellen.

Führen Sie mit dem Metadatenarchiv generate-config aus, um tabellenspezifische Konfigurationsdateien zu generieren. Mit dem Flag --update können Sie Ihre vorhandenen connections.yaml- und settings.yaml-Dateien beibehalten, die Sie in validation_config/ erstellt haben. Beispiel:

gcloud bq migration validate generate-config \
  --metadata PATH_TO_METADATA_ZIP \
  --target-dataset TARGET_DATASET \
  --update

Wenn Sie auch eine tables.yaml-Schemazuordnungsdatei vom Batch-SQL-Übersetzer haben, fügen Sie das Flag --tables-yaml entweder allein oder zusammen mit --metadata ein, um übersetzte Tabellenzuordnungen mit Quellpartitionsmetadaten und Datentypausschlüssen aus dem Metadatenarchiv zu ergänzen. Beispiel:

gcloud bq migration validate generate-config \
--metadata PATH_TO_METADATA_ZIP \
--tables-yaml PATH_TO_TABLES_YAML \
--target-dataset TARGET_DATASET \
--update

Der Befehl generate-config unterstützt die folgenden Flags:

  • --metadata PATH_TO_METADATA_ZIP: der Pfad zu einem Metadatenarchiv des dwh-migration-dumper-Tools (ZIP-Datei) oder zu einem Verzeichnis mit Metadatenarchiven.
  • --tables-yaml PATH_TO_TABLES_YAML: der Pfad zu einer oder mehreren Übersetzungsdateien oder -verzeichnissen von tables.yaml (kommagetrennt).
  • --target-dataset TARGET_DATASET: der Name des BigQuery-Ziel-Datasets, der den generierten targetTable.name-Einträgen vorangestellt werden soll.
  • -o, --output-dir DIRECTORY: das Ausgabeverzeichnis für modulare Konfigurationsdateien. Der Standardwert ist validation_config.
  • --schemas SCHEMA_LIST: Durch Kommas getrennte Liste der einzuschließenden Quellschemas oder ‑datenbanken (Groß-/Kleinschreibung beachten; unterstützt *-Platzhalter).
  • --tables TABLE_LIST: durch Kommas getrennte Liste von Tabellennamen (TABLE, SCHEMA.TABLE oder DB.SCHEMA.TABLE), die einbezogen werden sollen (Groß-/Kleinschreibung beachten; unterstützt *-Platzhalter).
  • --filter-file PATH: Pfad zu einer durch Zeilenumbrüche getrennten Datei mit Tabellennamen, die einbezogen werden sollen (Zeilen, die mit # beginnen, werden ignoriert).
  • --update: Zusammenführen der erkannten Tabellen in ein vorhandenes validation_config/-Verzeichnis, wobei die vorhandenen connections.yaml-, settings.yaml- und benutzerdefinierten Überschreibungen pro Tabelle beibehalten werden.
  • --force: Ermöglicht das Schreiben neu erkannter Tabellendateien in ein nicht leeres Ausgabeverzeichnis, während vorhandene Tabellenkonfigurationsdateien beibehalten werden.
  • --clean: Löscht alle vorhandenen Dateien im Ausgabeverzeichnis, bevor neu gefundene Dateien geschrieben werden.

SQL Server

Gehen Sie für SQL Server-Migrationsvalidierungen so vor, um ein Metadatenarchiv des dwh-migration-dumper-Tools für Ihre Quellschemas zu generieren:

  1. Installieren Sie das dwh-migration-dumper-Tool.
  2. Führen Sie dwh-migration-dumper für Ihre Quelldatenbank aus, um ein Metadatenarchiv für das dwh-migration-dumper-Tool zu erstellen.

Führen Sie mit dem Metadatenarchiv generate-config aus, um tabellenspezifische Konfigurationsdateien zu generieren. Mit dem Flag --update können Sie Ihre vorhandenen connections.yaml- und settings.yaml-Dateien beibehalten, die Sie in validation_config/ erstellt haben. Beispiel:

gcloud bq migration validate generate-config \
  --metadata PATH_TO_METADATA_ZIP \
  --target-dataset TARGET_DATASET \
  --update

Wenn Sie auch eine tables.yaml-Schemazuordnungsdatei vom Batch-SQL-Übersetzer haben, fügen Sie das Flag --tables-yaml entweder allein oder zusammen mit --metadata ein, um übersetzte Tabellenzuordnungen mit Quellpartitionsmetadaten und Datentypausschlüssen aus dem Metadatenarchiv zu ergänzen. Beispiel:

gcloud bq migration validate generate-config \
--metadata PATH_TO_METADATA_ZIP \
--tables-yaml PATH_TO_TABLES_YAML \
--target-dataset TARGET_DATASET \
--update

Der Befehl generate-config unterstützt die folgenden Flags:

  • --metadata PATH_TO_METADATA_ZIP: der Pfad zu einem Metadatenarchiv des dwh-migration-dumper-Tools (ZIP-Datei) oder zu einem Verzeichnis mit Metadatenarchiven.
  • --tables-yaml PATH_TO_TABLES_YAML: der Pfad zu einer oder mehreren Übersetzungsdateien oder -verzeichnissen von tables.yaml (kommagetrennt).
  • --target-dataset TARGET_DATASET: der Name des BigQuery-Ziel-Datasets, der den generierten targetTable.name-Einträgen vorangestellt werden soll.
  • -o, --output-dir DIRECTORY: das Ausgabeverzeichnis für modulare Konfigurationsdateien. Der Standardwert ist validation_config.
  • --schemas SCHEMA_LIST: Durch Kommas getrennte Liste der einzuschließenden Quellschemas oder ‑datenbanken (Groß-/Kleinschreibung beachten; unterstützt *-Platzhalter).
  • --tables TABLE_LIST: durch Kommas getrennte Liste von Tabellennamen (TABLE, SCHEMA.TABLE oder DB.SCHEMA.TABLE), die einbezogen werden sollen (Groß-/Kleinschreibung beachten; unterstützt *-Platzhalter).
  • --filter-file PATH: Pfad zu einer durch Zeilenumbrüche getrennten Datei mit Tabellennamen, die einbezogen werden sollen (Zeilen, die mit # beginnen, werden ignoriert).
  • --update: Zusammenführen der erkannten Tabellen in ein vorhandenes validation_config/-Verzeichnis, wobei die vorhandenen connections.yaml-, settings.yaml- und benutzerdefinierten Überschreibungen pro Tabelle beibehalten werden.
  • --force: Ermöglicht das Schreiben neu erkannter Tabellendateien in ein nicht leeres Ausgabeverzeichnis, während vorhandene Tabellenkonfigurationsdateien beibehalten werden.
  • --clean: Löscht alle vorhandenen Dateien im Ausgabeverzeichnis, bevor neu gefundene Dateien geschrieben werden.

MariaDB

Die automatische Konfigurationserstellung wird für MariaDB nicht unterstützt. Erstellen Sie manuell eine tables.yaml-Datei im Verzeichnis validation_config/ mit den folgenden Konfigurationen:

tables:

  • sourceTable: name: SOURCE_SCHEMA.SOURCE_TABLE comparisonKeys: - PRIMARY_KEY_COLUMN targetTable: name: TARGET_DATASET.TARGET_TABLE

MySQL

Die automatische Konfigurationserstellung wird für MySQL nicht unterstützt. Erstellen Sie manuell eine tables.yaml-Datei im Verzeichnis validation_config/ mit den folgenden Konfigurationen:

tables:

  • sourceTable: name: SOURCE_SCHEMA.SOURCE_TABLE comparisonKeys: - PRIMARY_KEY_COLUMN targetTable: name: TARGET_DATASET.TARGET_TABLE

Oracle

Führen Sie für Oracle-Migrationsvalidierungen die folgenden Schritte aus, um ein Metadatenarchiv des dwh-migration-dumper-Tools für Ihre Quellschemas zu generieren:

  1. Installieren Sie das dwh-migration-dumper-Tool.
  2. Führen Sie dwh-migration-dumper für Ihre Quelldatenbank aus, um ein Metadatenarchiv für das dwh-migration-dumper-Tool zu erstellen.

Führen Sie mit dem Metadatenarchiv generate-config aus, um tabellenspezifische Konfigurationsdateien zu generieren. Mit dem Flag --update können Sie Ihre vorhandenen connections.yaml- und settings.yaml-Dateien beibehalten, die Sie in validation_config/ erstellt haben. Beispiel:

gcloud bq migration validate generate-config \
  --metadata PATH_TO_METADATA_ZIP \
  --target-dataset TARGET_DATASET \
  --update

Wenn Sie auch eine tables.yaml-Schemazuordnungsdatei vom Batch-SQL-Übersetzer haben, fügen Sie das Flag --tables-yaml entweder allein oder zusammen mit --metadata ein, um übersetzte Tabellenzuordnungen mit Quellpartitionsmetadaten und Datentypausschlüssen aus dem Metadatenarchiv zu ergänzen. Beispiel:

gcloud bq migration validate generate-config \
--metadata PATH_TO_METADATA_ZIP \
--tables-yaml PATH_TO_TABLES_YAML \
--target-dataset TARGET_DATASET \
--update

Der Befehl generate-config unterstützt die folgenden Flags:

  • --metadata PATH_TO_METADATA_ZIP: der Pfad zu einem Metadatenarchiv des dwh-migration-dumper-Tools (ZIP-Datei) oder zu einem Verzeichnis mit Metadatenarchiven.
  • --tables-yaml PATH_TO_TABLES_YAML: der Pfad zu einer oder mehreren Übersetzungsdateien oder -verzeichnissen von tables.yaml (kommagetrennt).
  • --target-dataset TARGET_DATASET: der Name des BigQuery-Ziel-Datasets, der den generierten targetTable.name-Einträgen vorangestellt werden soll.
  • -o, --output-dir DIRECTORY: das Ausgabeverzeichnis für modulare Konfigurationsdateien. Der Standardwert ist validation_config.
  • --schemas SCHEMA_LIST: Durch Kommas getrennte Liste der einzuschließenden Quellschemas oder ‑datenbanken (Groß-/Kleinschreibung beachten; unterstützt *-Platzhalter).
  • --tables TABLE_LIST: durch Kommas getrennte Liste von Tabellennamen (TABLE, SCHEMA.TABLE oder DB.SCHEMA.TABLE), die einbezogen werden sollen (Groß-/Kleinschreibung beachten; unterstützt *-Platzhalter).
  • --filter-file PATH: Pfad zu einer durch Zeilenumbrüche getrennten Datei mit Tabellennamen, die einbezogen werden sollen (Zeilen, die mit # beginnen, werden ignoriert).
  • --update: Zusammenführen der erkannten Tabellen in ein vorhandenes validation_config/-Verzeichnis, wobei die vorhandenen connections.yaml-, settings.yaml- und benutzerdefinierten Überschreibungen pro Tabelle beibehalten werden.
  • --force: Ermöglicht das Schreiben neu erkannter Tabellendateien in ein nicht leeres Ausgabeverzeichnis, während vorhandene Tabellenkonfigurationsdateien beibehalten werden.
  • --clean: Löscht alle vorhandenen Dateien im Ausgabeverzeichnis, bevor neu gefundene Dateien geschrieben werden.

PostgreSQL

Führen Sie für PostgreSQL-Migrationsvalidierungen die folgenden Schritte aus, um ein dwh-migration-dumper-Tool-Metadatenarchiv Ihrer Quellschemas zu generieren:

  1. Installieren Sie das dwh-migration-dumper-Tool.
  2. Führen Sie dwh-migration-dumper für Ihre Quelldatenbank aus, um ein Metadatenarchiv für das dwh-migration-dumper-Tool zu erstellen.

Führen Sie mit dem Metadatenarchiv generate-config aus, um tabellenspezifische Konfigurationsdateien zu generieren. Mit dem Flag --update können Sie Ihre vorhandenen connections.yaml- und settings.yaml-Dateien beibehalten, die Sie in validation_config/ erstellt haben. Beispiel:

gcloud bq migration validate generate-config \
  --metadata PATH_TO_METADATA_ZIP \
  --target-dataset TARGET_DATASET \
  --update

Wenn Sie auch eine tables.yaml-Schemazuordnungsdatei vom Batch-SQL-Übersetzer haben, fügen Sie das Flag --tables-yaml entweder allein oder zusammen mit --metadata ein, um übersetzte Tabellenzuordnungen mit Quellpartitionsmetadaten und Datentypausschlüssen aus dem Metadatenarchiv zu ergänzen. Beispiel:

gcloud bq migration validate generate-config \
--metadata PATH_TO_METADATA_ZIP \
--tables-yaml PATH_TO_TABLES_YAML \
--target-dataset TARGET_DATASET \
--update

Der Befehl generate-config unterstützt die folgenden Flags:

  • --metadata PATH_TO_METADATA_ZIP: der Pfad zu einem Metadatenarchiv des dwh-migration-dumper-Tools (ZIP-Datei) oder zu einem Verzeichnis mit Metadatenarchiven.
  • --tables-yaml PATH_TO_TABLES_YAML: der Pfad zu einer oder mehreren Übersetzungsdateien oder -verzeichnissen von tables.yaml (kommagetrennt).
  • --target-dataset TARGET_DATASET: der Name des BigQuery-Ziel-Datasets, der den generierten targetTable.name-Einträgen vorangestellt werden soll.
  • -o, --output-dir DIRECTORY: das Ausgabeverzeichnis für modulare Konfigurationsdateien. Der Standardwert ist validation_config.
  • --schemas SCHEMA_LIST: Durch Kommas getrennte Liste der einzuschließenden Quellschemas oder ‑datenbanken (Groß-/Kleinschreibung beachten; unterstützt *-Platzhalter).
  • --tables TABLE_LIST: durch Kommas getrennte Liste von Tabellennamen (TABLE, SCHEMA.TABLE oder DB.SCHEMA.TABLE), die einbezogen werden sollen (Groß-/Kleinschreibung beachten; unterstützt *-Platzhalter).
  • --filter-file PATH: Pfad zu einer durch Zeilenumbrüche getrennten Datei mit Tabellennamen, die einbezogen werden sollen (Zeilen, die mit # beginnen, werden ignoriert).
  • --update: Zusammenführen der erkannten Tabellen in ein vorhandenes validation_config/-Verzeichnis, wobei die vorhandenen connections.yaml-, settings.yaml- und benutzerdefinierten Überschreibungen pro Tabelle beibehalten werden.
  • --force: Ermöglicht das Schreiben neu erkannter Tabellendateien in ein nicht leeres Ausgabeverzeichnis, während vorhandene Tabellenkonfigurationsdateien beibehalten werden.
  • --clean: Löscht alle vorhandenen Dateien im Ausgabeverzeichnis, bevor neu gefundene Dateien geschrieben werden.

Tabelleneinstellungen anpassen

Jede von generate-config generierte Tabellendatei enthält einen table:-Abschnitt, den Sie vor der Validierung anpassen können. In der folgenden Tabelle sind alle optionalen Schlüssel aufgeführt, die für die einzelnen Tabelleneinträge unterstützt werden.

Optionaler YAML-Schlüssel Standardwert Beschreibung
runSchema, runAggregate, runData true Boolesche Werte pro Tabelle, um einzelne Validierungssäulen zu aktivieren oder zu deaktivieren, wenn keine Befehlszeilen-Flags für Säulen übergeben werden.
maxColumnsPerTile 100 Maximale Anzahl von Spalten, die in breiten Tabellen in einer einzelnen Vergleichskachel gruppiert werden.
strategy SMART Ausführungsstrategie für die Datenvalidierung: SMART (BRUTE_FORCE bei weniger als 100.000 Zeilen, sonst SAMPLE), SAMPLE oder BRUTE_FORCE.
sampleSize 70000 Anzahl der zu extrahierenden Zeilen (pro Slice, wenn partitioniert), wenn die aufgelöste Strategie SAMPLE ist. Der Standardwert von 70.000 Zeilen bietet eine Wahrscheinlichkeit von über 99,9 %, dass mindestens eine nicht übereinstimmende Zeile erkannt wird, wenn die Fehllieferungsquote 0,01 % (1 von 10.000 Zeilen) oder höher ist.
whereClause Keine SQL-Prädikat (ohne das Schlüsselwort WHERE), das sowohl auf die Quell- als auch auf die Zielvergleichsabfragen angewendet wird. Kann auch separat für sourceTable.whereClause und targetTable.whereClause festgelegt werden.
skipRandomization false Wenn true, werden bis zu sampleSize Zeilen in der natürlichen Tabellenreihenfolge gelesen, anstatt nach einer Zufallsfunktion zu sortieren. Dadurch werden die Abfragekosten für große Tabellen reduziert.
maxConcurrency 1 Maximale Anzahl paralleler Slice-Extraktions-Threads für eine partitionierte Tabelle.
maxSlices 0 (unbegrenzt) Maximale Anzahl von Partitionsslices, die für eine partitionierte Tabelle zulässig sind. Wenn die berechnete Anzahl von Slices maxSlices überschreitet (wenn größer als 0), schlägt die Partitionsplanung mit einem Fehler fehl.
disablePartitioning false Wenn true, wird das partitionierte Slicing für die Tabelle deaktiviert, auch wenn ein partitioning-Block konfiguriert ist oder die Zeilenanzahl 1000000 überschreitet.
labels Leere Karte Schlüssel/Wert-Stringlabels, die an die Messwerte des Validierungslaufs in validation_results angehängt sind.

In den folgenden Abschnitten wird beschrieben, wie Sie diese YAML-Schlüssel verwenden können, um Ihre Validierungsläufe anzupassen.

Validierungsstrategie auswählen

Verwenden Sie den Schlüssel strategy für einen Tabelleneintrag, um eine Validierungsstrategie auszuwählen, die steuert, wie die Säule --data Zeilen extrahiert und vergleicht. Folgende Werte werden unterstützt:

  • SMART (Standard): Zählt zuerst die Zeilen in der Quelltabelle. Wenn die Tabelle weniger als 100.000 Zeilen enthält, wird BRUTE_FORCE ausgeführt. Wenn die Tabelle 100.000 Zeilen oder mehr enthält, wird SAMPLE ausgeführt.
  • SAMPLE: Extrahiert eine zufällige Stichprobe von Zeilen basierend auf dem Wert von sampleSize (Standardwert ist 70,000) und verknüpft sie mit der Zieltabelle mithilfe von comparisonKeys. Eine Stichprobe von 70.000 Zeilen bietet eine Wahrscheinlichkeit von mehr als 99,9 %, mindestens eine fehlerhafte Zeile zu finden, wenn mindestens 0,01 % der Zeilen (1 von 10.000) eine Abweichung enthalten.
  • BRUTE_FORCE: Extrahiert und vergleicht jede Zeile in einem einzelnen nicht partitionierten Abfragedurchlauf. Partitionierungseinstellungen werden ignoriert, wenn BRUTE_FORCE verwendet wird.

Vergleichsschlüssel konfigurieren

Ein Vergleichsschlüssel ist die Spalte oder die Spalten, die verwendet werden, um Zeilen zwischen dem Quell- und dem Zielsystem eindeutig zu identifizieren und zu verknüpfen. Der Vergleichsschlüssel beschreibt die Attribute, die für eine stabile Verknüpfung ausreichend eindeutig sind.

Beim Ausführen eines Datenvergleichs auf Zeilenebene können Sie Vergleichsschlüssel auf folgende Weise konfigurieren:

  • Automatische Erkennung: Lassen Sie comparisonKeys im Abschnitt sourceTable weg, damit das Validierungstool während der Preflight-Prüfung automatisch Primärschlüssel in Ihrer Quelldatenbank erkennt. Dabei wird auf NOT NULL-Eindeutigkeitseinschränkungen in Oracle und Snowflake, eindeutige Indexe in Teradata oder eine einspaltige DISTKEY oder SORTKEY in Amazon Redshift zurückgegriffen.
  • Manuelle zusammengesetzte oder benutzerdefinierte Schlüssel: Geben Sie zusammengesetzte oder benutzerdefinierte Vergleichsschlüssel manuell an, indem Sie die Spaltennamen der Quellschlüssel in comparisonKeys unter sourceTable auflisten. Unterschiede bei der Groß-/Kleinschreibung zwischen den Spaltennamen der Quell- und Zielschlüssel werden automatisch abgeglichen. Wenn eine Vergleichsschlüsselspalte in BigQuery umbenannt wurde, ordnen Sie sie unter columnSettings.columns.SOURCE_COLUMN.targetColumn zu. Im folgenden Beispiel wird ein zusammengesetzter Vergleichsschlüssel konfiguriert:

    table:
      sourceTable:
        name: sales_db.public.order_items
        comparisonKeys:
          - order_id
          - line_number
      targetTable:
        name: migrated_sales.order_items
  • Hash-Vergleich für Tabellen ohne eindeutigen Schlüssel: Wenn eine Tabelle keinen Primärschlüssel hat, legen Sie unter sourceTable den Wert useAllColumnsAsKey: true fest. Diese Option wird auch automatisch ausgewählt, wenn bei der Preflight-Metadatenprüfung keine Primärschlüssel gefunden werden.

Partitionierte Extraktion für große Tabellen konfigurieren

Wenn die Strategie einer Tabelle zu SAMPLE aufgelöst wird und entweder ein partitioning-Block in der Tabellenkonfiguration vorhanden ist (der standardmäßig generate-config schreibt) oder die Zeilenanzahl der Tabelle 1,000,000 überschreitet, teilt das Validierungstool die Tabelle in Slices auf, sodass Stichprobenabfragen begrenzte Bereiche scannen, anstatt die gesamte Tabelle auf einmal zu sortieren. Bei der Partitionierung werden bis zu sampleSize Zeilen pro Slice extrahiert. Wenn Sie die Validierung auf eine Teilmenge von Zeilen beschränken möchten, verwenden Sie stattdessen whereClause.

Verwenden Sie den Block partitioning im Abschnitt table:, um die partitionierte Extraktion zu konfigurieren. Beispiel:

table:
  sourceTable:
    name: sales_db.public.orders
    comparisonKeys:
      - order_id
  targetTable:
    name: migrated_sales.orders
  strategy: SAMPLE
  maxConcurrency: 4
  maxSlices: 100
  partitioning:
    type: INTEGER_RANGE
    column: order_id
    partitionSize: 1000000

Der Block partitioning unterstützt die folgenden Felder:

  • type:
    • INTEGER_RANGE: Teilt die Tabelle in numerische Schlüssel/Wert-Intervalle (COLUMN BETWEEN START AND END) auf. Dies ist der Standardwert.
    • DATE_RANGE: Teilt die Tabelle in Datums- oder Zeitstempelintervalle auf. Unterstützt für PostgreSQL und Snowflake.
    • PHYSICAL: Verwendet Datenbankpartitionen für Oracle- und Amazon Redshift-Tabellen, wenn Metadaten für physische Partitionen vorhanden sind.
  • column: Gibt eine indexierte numerische, Datums- oder Zeitstempelspalte in der Quelltabelle an, die zum Berechnen von Slice-Grenzen verwendet wird. Zeilen mit NULL-Werten in der Partitionierungsspalte werden von bereichsbasierten Slices (INTEGER_RANGE und DATE_RANGE) ausgeschlossen.
  • partitionSize: Für den Typ INTEGER_RANGE gibt dieser Wert die Breite des numerischen Schlüssel/Wert-Bereichs pro Slice an. Der Standardwert ist 1000000. Für den Typ DATE_RANGE gibt dieser Wert die Anzahl der Tage pro Slice an. Der Standardwert ist 30.
  • maxSlices: Gibt die maximal zulässige Gesamtzahl von Slices für die Tabelle an (festgelegt unter table:). Wenn eine Tabelle mehr Slices als maxSlices erfordert, schlägt die Partitionsplanung mit einem Fehler fehl, der einen größeren partitionSize oder maxSlices erfordert.
  • maxConcurrency: Gibt die Anzahl der parallelen Arbeitsthreads an, die zum Extrahieren von Slices verwendet werden. Der Standardwert ist 1. Unter table: festgelegt.

Zusammengefasste Prüfungen anpassen

Die aggregierte Analyse ist standardmäßig aktiviert und ergänzt die Stichprobenerhebung auf Zeilenebene durch aggregierte Prüfungen auf Makroebene. Diese Konfiguration ist nützlich, um große Tabellen zu validieren, bei denen durch Zufallsstichproben möglicherweise subtile Datenverzerrungen übersehen werden.

Ohne benutzerdefinierte Spaltenkonfigurationen wendet das Validierungstool automatisch Standardprüfungen für Aggregationen basierend auf den Spaltentypen an:

  • Exakte numerische Werte (INTEGER, NUMERIC, BIGNUMERIC): COUNT, SUM, AVG, MIN, MAX
  • Gleitkomma (FLOAT, DOUBLE, REAL): COUNT, MIN, MAX
  • Boolescher Wert (BOOLEAN): COUNT, COUNT_TRUE, COUNT_FALSE, COUNT_NULL
  • String (STRING, VARCHAR, CHAR, TEXT): COUNT, SUM_LENGTH
  • Datum, Uhrzeit und Zeitstempel: COUNT, MIN, MAX

Im Abschnitt columnSettings können Sie die aggregierten Prüfungen anpassen oder deaktivieren. Im folgenden Beispiel wird gezeigt, wie Sie aggregierte Toleranzen konfigurieren und bestimmte Spaltenprüfungen überschreiben:

table:
  sourceTable:
    name: sales_db.public.orders
  targetTable:
    name: migrated_sales.orders
  # Set aggregate: false here to disable aggregate checks for the entire table
  columnSettings:
    aggregate:
      tolerance: 0.01
    columns:
      amount:
        aggregate:
          functions:
            - COUNT
            - SUM
            - AVG
          tolerance: 0.05
      internal_notes:
        aggregate: false

Es gelten die folgenden Regeln für die Aggregatkonfiguration:

  • Spaltenschlüssel unter columnSettings.columns müssen mit dem Namen der Quellspalte übereinstimmen (Groß-/Kleinschreibung beachten).
  • Das Aggregat tolerance ist ein absoluter Differenzschwellenwert (ABS(target - source) <= tolerance). Wenn kein Aggregat tolerance festgelegt ist (weder auf Spaltenebene noch auf columnSettings.aggregate.tolerance) und die Spalte eine tolerances.numeric-Einstellung auf Zeilenebene hat, übernehmen AVG, MIN und MAX tolerances.numeric direkt, während SUM die übernommene Toleranz auf Zeilenebene mit COUNT multipliziert.
  • Sie können functions nur pro Spalte unter columnSettings.columns.SOURCE_COLUMN.aggregate.functions überschreiben.

Spalten ausschließen, Spaltennamen zuordnen und SQL-Vergleichsausdrücke anwenden

Mit columnSettings können Sie Spalten ausschließen, numerische oder zeitliche Toleranzen festlegen, umbenannte Zielspalten zuordnen oder SQL-Transformationen vor dem Vergleich anwenden. Jeder Schlüssel unter columnSettings.columns ist der Name der Quellspalte. Verwenden Sie das Attribut targetColumn in diesem Eintrag, wenn die Spalte in BigQuery einen anderen Namen hat. Beispiel:

table:
  sourceTable:
    name: sales_db.public.customers
    comparisonKeys:
      - customer_id
  targetTable:
    name: migrated_sales.customers
  columnSettings:
    exclude:
      - etl_loaded_at
      - "temp_*"
    tolerances:
      numeric: 0.0001
      timestamp: 0.001
      date: 1
    columns:
      SOURCE_COLUMN_1:
        targetColumn: customer_full_name
        transform: TRIM
      SOURCE_COLUMN_2:
        transformExpression: "ROUND(SOURCE_COLUMN_2, 4)"

columnSettings unterstützt die folgenden Felder:

  • exclude: Geben Sie eine Liste von Spaltennamen ohne Berücksichtigung der Groß-/Kleinschreibung oder Glob-Muster (*) an, die von allen Validierungssäulen ausgeschlossen werden sollen.
  • tolerances:
    • numeric: Toleranz für numerische Spalten (ABS(target - source) <= tolerance für schlüsselbasierten Vergleich oder gerundet auf ceil(-log10(tolerance)) Dezimalstellen, wenn useAllColumnsAsKey: true).
    • timestamp: Toleranz in Sekunden für Zeitstempelspalten. Beispiel: 0.001 für 1 Millisekunde.
    • date: Toleranz in Tagen für Datumsspalten.
  • columns: Zuordnung der spaltenspezifischen Einstellungen, die nach dem Namen der Quellspalte (SOURCE_COLUMN) sortiert sind:
    • targetColumn: Ordnet die Quellspalte einer Zielspalte mit einem anderen Namen in BigQuery zu.
    • transform: Integrierte Transformation, die vor dem Vergleich angewendet wird:
      • TRIM, UPPER, LOWER: werden in allen Dialekten unterstützt.
      • EMPTY_TO_NULL, NULL_TO_EMPTY, CAST_TO_STRING: Unterstützt für Quellabfragen für PostgreSQL-, Amazon Redshift-, Oracle- und Teradata-Quellen.
    • transformExpression: benutzerdefinierter SQL-Ausdruck, der auf den literalen Namen der Quellspalte verweist. Beispiel: "ROUND(SOURCE_COLUMN, 4)". Da der Ausdruck sowohl für die Quellabfrage als auch für die BigQuery-Vergleichsabfrage ausgewertet wird, sollten Sie SQL-Funktionen verwenden, die sowohl in Ihrem Quelldialekt als auch in GoogleSQL gültig sind.

Wertnormalisierung

Beim Vergleich auf Zeilenebene (--data) normalisiert der Validierungsdienst die Werte, damit Unterschiede in der Darstellung zwischen Quell-Engines und BigQuery nicht zu Abweichungen führen. Der Validierungsdienst normalisiert Werte auf folgende Weise:

  • Exakte numerische Typen (INTEGER, NUMERIC, DECIMAL, BIGNUMERIC): Beim schlüsselbasierten Vergleich werden Werte in voller Größe verglichen (bis zu 9 Dezimalstellen für NUMERIC oder bis zu 38 Dezimalstellen für BIGNUMERIC). Wenn tolerances.numeric festgelegt ist, stimmen die Werte überein, wenn ABS(target - source) <= tolerance gilt. Beim Hash-Vergleich für ganze Zeilen (useAllColumnsAsKey: true) werden Werte standardmäßig auf 9 Dezimalstellen gerundet, oder auf ceil(-log10(tolerance)) Dezimalstellen, wenn eine numerische Toleranz festgelegt ist.
  • Gleitkommatypen (FLOAT, DOUBLE, REAL): standardmäßig auf 6 Dezimalstellen (1e-6) normalisiert.
  • Zeitstempel: auf UTC mit Mikrosekundengenauigkeit normalisiert.
  • Zeichentypen mit fester Breite (CHAR, NCHAR, CHARACTER): Führende und nachgestellte Leerzeichen werden automatisch gekürzt, um der BigQuery-Semantik STRING zu entsprechen.

Validierungsdienst ausführen

Nachdem Sie die Validierungskonfiguration eingerichtet haben, führen Sie den Befehl validate aus, um das Tool zur Migrationsvalidierung zu starten. Sie können einen lokalen Pfad oder einen Cloud Storage-gs://-URI übergeben, der auf das Verzeichnis validation_config/ verweist.

Im folgenden Beispiel wird der Validierungsdienst für lokal gespeicherte Konfigurationsdateien ausgeführt:

  gcloud bq migration validate PATH_TO_VALIDATION_CONFIG
  

Ersetzen Sie PATH_TO_VALIDATION_CONFIG durch den Pfad zu Ihrem modularen validation_config/-Verzeichnis.

Wenn Ihre Validierungskonfiguration in Cloud Storage gespeichert ist, übergeben Sie den gs://-URI des Konfigurationsverzeichnisses:

  gcloud bq migration validate gs://BUCKET_NAME/validation_config
  

Ersetzen Sie BUCKET_NAME dabei durch den Namen des Cloud Storage-Buckets.

Standardmäßig führt der Validierungsdienst die Validierung für alle drei Validierungssäulen aus:

  • --schema: validiert nur das Schema
  • --aggregate: validiert nur das Aggregat
  • --data: validiert nur Daten auf Zeilenebene

Sie können den Validierungsdienst für eine bestimmte Validierungssäule ausführen, indem Sie die Säulen-Flags verwenden. Im folgenden Beispiel wird die Schema- und Aggregatvalidierung für zwei bestimmte Tabellen mit einem benutzerdefinierten WHERE-Filter ausgeführt:

gcloud bq migration validate PATH_TO_VALIDATION_CONFIG \
  --schema \
  --aggregate \
  --tables orders,customers \
  --where "order_date >= '2026-01-01'"

Der Befehl validate unterstützt die folgenden optionalen Flags:

  • --table oder --tables: durch Kommas getrennte Liste der zu validierenden Tabellennamen. Beim Abgleich von --tables wird zwischen Groß- und Kleinschreibung unterschieden. Die Schreibweise muss mit der in sourceTable.name oder targetTable.name verwendeten Schreibweise übereinstimmen.
  • --where SQL_PREDICATE: Überschreibt whereClause sowohl für Quell- als auch für Zieltabellen während dieser Ausführung.
  • --source-where SQL_PREDICATE: Überschreibt whereClause nur für die Quelltabelle.
  • --target-where SQL_PREDICATE: Überschreibt whereClause nur für die Zieltabelle.
  • --gcs-path: überschreibt googleCloudStorage.gcsPath. Beispiel: --gcs-path gs://my-bucket/validation
  • --max-concurrency, --concurrency oder --threads: Überschreibt maxConcurrency für die parallele Slice-Extraktion.
  • --no-partition oder --disable-partitioning: Deaktiviert die Extraktion partitionierter Slices für alle Tabellen in der Ausführung.
  • --labels KEY=VALUE[,KEY=VALUE...]: Hängt benutzerdefinierte Schlüssel/Wert-Labels an die Ausführungsergebnisse an.
  • --output-dir: Lokales Verzeichnis für temporäre Ausführungsmetadaten und Statusdateien. Der Standardwert ist /tmp/validation_outputs.
  • -v, --verbose, -d oder --debug: Aktiviert das ausführliche Logging oder das Debugging-Logging.

Asynchrone Workflow-Übergabe

validate führt die Quellextraktion synchron aus und löst dann für jede Tabelle einen asynchronen BigQuery Migration Service-Workflow aus.

  • Wenn sich Ihr Ziel-Dataset an einem anderen Standort als us befindet, z. B. eu, legen Sie die Umgebungsvariable BQMS_VALIDATION_LOCATION fest, bevor Sie validate ausführen:

    export BQMS_VALIDATION_LOCATION=LOCATION
  • Prüfen Sie für jede Tabelle, ob die Ausgabe eine Workflow:-Zeile mit dem Namen der erstellten Workflowressource enthält. Beispiel:

    Run ID:   20261012T180000Z_a1b2c3d4
    GCS Path: gs://my-bucket/validation/validationOutputs/sales_db/public/orders/20261012T180000Z_a1b2c3d4
    Workflow: projects/my-project/locations/us/workflows/12345678-abcd-ef01-2345-6789abcdef01
    Results:  my-project.validation_results (populated after target validation)
    
  • Der Exit-Code 0 gibt an, dass die Extraktion und der Upload der Quelle erfolgreich waren, nicht, dass der Zielvergleich abgeschlossen ist oder dass die Daten übereinstimmen. Wenn die Workflowerstellung fehlschlägt, z. B. aufgrund einer fehlenden Berechtigung, protokolliert die Befehlszeile eine Warnung, dass das Auslösen des Validierungsworkflows fehlgeschlagen ist, gibt einen manuellen gcloud-Fallback-Befehl aus und lässt die Zeile Workflow: weg, obwohl der Prozess mit 0 beendet wird.

Validierungsergebnisse ansehen

Nach Abschluss des Validierungslaufs können Sie die Validierungsergebnisse in derGoogle Cloud -Konsole aufrufen. Fragen Sie dazu das Ergebnis-Dataset validation_results ab, fragen Sie das unter results in settings.yaml konfigurierte BigQuery-Dataset ab oder lesen Sie die Zusammenfassungsberichte in Cloud Storage. Wählen Sie eine der folgenden Optionen aus:

Google Cloud Console

  1. Rufen Sie in der Google Cloud Console die Seite Migrationsdienste auf.

    Zu Migrationsdiensten

  2. Klicken Sie unter Migration validieren auf Letzte ansehen.

  3. Klicken Sie auf Projekt auswählen und wählen Sie das Projekt aus, in dem das Dataset validation_results gespeichert ist.

GoogleSQL

Fragen Sie TARGET_PROJECT_ID.validation_results.run_history ab, um den Status der letzten Validierungsläufe zu prüfen:

SELECT
run_id,
source_table,
target_table,
status,
started_at,
finished_at,
gcs_uri,
error_message
FROM `TARGET_PROJECT_ID.validation_results.run_history`
ORDER BY started_at DESC
LIMIT 20;

Ersetzen Sie TARGET_PROJECT_ID durch die ID des Projekts, in dem das Dataset validation_results gespeichert ist.

Wenn Sie detaillierte Messwerte pro Spalte und historische Trends abrufen möchten, führen Sie die folgende Abfrage aus:

  • <var>TARGET_PROJECT_ID</var>.validation_results.run_metrics: Anzahl der Abweichungen pro Ausführung und Spalte, aggregierte Vergleiche und Status „Bestanden“ oder „Fehlgeschlagen“
  • <var>TARGET_PROJECT_ID</var>.validation_results.column_history: Audit-Verlauf der Spalte über mehrere Ausführungen hinweg
  • <var>TARGET_PROJECT_ID</var>.validation_results.run_<var>RUN_ID</var>_mismatches_details: Stichprobenzeilen und ‑spalten, in denen sich Quell- und Zielwerte unterschieden haben

Cloud Storage-Berichte

Bei jeder abgeschlossenen Ausführung werden die folgenden Berichtsarfakte in das Verzeichnis gcs_uri der Ausführung (gs://<var>BUCKET</var>/<var>PREFIX</var>/validationOutputs/<var>SOURCE_TABLE_PATH</var>/<var>RUN_ID</var>/) geschrieben:

  • validation_summary.txt: Zusammenfassung der Ergebnisse des Schema-, Aggregat- und Zeilenvergleichs
  • column_details.txt: Aufschlüsselung der Abweichungen und aggregierten Unterschiede nach Spalten
  • results.json: Strukturierter JSON-Bericht aller Validierungsergebnisse
  • queries.sql: die genauen SQL-Abfragen, die während der Validierung ausgeführt wurden

Führen Sie den folgenden Befehl aus, um den Zusammenfassungsbericht für eine Ausführung auszugeben:

gcloud storage cat gs://BUCKET/PREFIX/validationOutputs/SOURCE_TABLE_PATH/RUN_ID/validation_summary.txt

Validierungsergebnisse interpretieren

Bei jeder Validierungsausführung in validation_results.run_history wird einer der folgenden Ausführungsstatuswerte oder status-Werte gemeldet:

Status Beschreibung Empfohlene Maßnahmen
IN_PROGRESS Der Validierungsworkflow wird noch in BigQuery ausgeführt. Warten Sie, bis finished_at ausgefüllt ist, und fragen Sie dann run_history noch einmal ab.
COMPLETED Die Validierungspipeline wurde ohne Abweichungen bei Daten auf Zeilenebene oder Aggregaten abgeschlossen. Die Details zur Kompatibilität des Schematyps werden separat in validation_summary.txt und column_history aufgezeichnet. Es sind keine weiteren Schritte erforderlich. Die Tabelle wurde validiert.
HEALED Die Validierungspipeline wurde ohne fehlende Zeilen abgeschlossen. Alle erkannten Wertunterschiede waren minimale Abweichungen bei der Gleitkommadarstellung (< 1e-4 für Vergleiche auf Zellebene und < 1e-6 für Aggregate), die vom Validator automatisch abgeglichen wurden. Wird als bestandener Lauf behandelt. Optional können Sie einen expliziten numerischen tolerance konfigurieren, wenn Sie Jitter vorgelagert unterdrücken möchten.
COMPLETED_WITH_MISMATCHES Die Validierungspipeline wurde vollständig ausgeführt und hat fehlende Zeilen, fehlende Zielspalten, aggregierte Unterschiede oder Datenunterschiede auf Zellebene zwischen den Quell- und Zieltabellen gefunden. Dies weist auf einen abgeschlossenen Validierungslauf hin, nicht auf einen Systemabsturz. Prüfen Sie column_details.txt, run_metrics und run_RUN_ID_mismatches_details, um die nicht übereinstimmenden Spalten und Zeilen zu sehen. Weitere Informationen finden Sie unter Nichtübereinstimmungstypen auf Spaltenebene.
ERROR Die Validierungspipeline konnte aufgrund eines System- oder Konfigurationsfehlers nicht abgeschlossen werden. Beispielsweise aufgrund einer fehlenden Zieltabelle, eines Berechtigungsfehlers oder eines ungültigen SQL-Codes in einem benutzerdefinierten whereClause oder transformExpression. Sehen Sie sich die Spalte error_message in run_history an. Weitere Informationen zum Beheben häufiger Fehler finden Sie unter Fehlerbehebung.

Arten von Abweichungen auf Spaltenebene

Wenn eine Ausführung mit COMPLETED_WITH_MISMATCHES abgeschlossen wird, wird jeder Spaltenvergleich in den Tabellen mit Abweichungen pro Ausführung mit einem der folgenden Ergebnisse klassifiziert:

  • EXACT_MATCH: Die verglichenen Zellenwerte für die Spalte stimmen innerhalb der konfigurierten Toleranzen überein.
  • DATA_DRIFT: Zeilen stimmten bei comparisonKeys überein, aber die Zellenwerte unterschieden sich über die konfigurierte Toleranz hinaus
  • SCHEMA: Die Spalte ist in der Quelltabelle vorhanden, fehlt aber in der Zieltabelle.
  • ROW: Quellzeilen fehlten in der Zieltabelle oder Zielzeilen fehlten in der Quelltabelle, wenn sie mit comparisonKeys verknüpft wurden.

Häufige Fehler beheben

In der folgenden Tabelle sind häufige Befehlszeilen- und Workflowfehler sowie deren Behebung aufgeführt:

Fehlermeldung oder Problem Ursache Lösung
Failed to load or parse YAML Ein partitioning-, columnSettings- oder googleCloudStorage-Block enthält einen nicht erkannten Schlüssel oder einen ungültigen Enum-Wert, z. B. SAMPLING anstelle von SAMPLE. Prüfen Sie die YAML-Einrückung und die Feldnamen anhand der Optionen für Tabelleneinstellungen.
Connection name '...' is invalid. Must be alphanumeric. Ein Profilname unter connections: enthält Unterstriche oder Bindestriche. Beispiel: my_source. Benennen Sie die Verbindungsprofile in alphanumerische Namen wie source und target um.
googleCloudStorage cannot be null googleCloudStorage.gcsPath fehlt in validation_config/settings.yaml und --gcs-path wurde nicht übergeben. Legen Sie googleCloudStorage.gcsPath: gs://BUCKET/PREFIX ohne abschließenden Schrägstrich in validation_config/settings.yaml fest.
Target discovery directory 'validation_config/' is non-empty generate-config wurde ohne --update, --force oder --clean ausgeführt, obwohl validation_config/ bereits YAML-Dateien enthielt. Übergeben Sie --update, um erkannte Tabellen zusammenzuführen und gleichzeitig Ihre vorhandenen connections.yaml und settings.yaml beizubehalten.
tables is required beim Ausführen von validate Im Arbeitsverzeichnis ist eine Legacy-validation-config.yaml-Datei ohne tables:-Liste vorhanden, die Vorrang vor validation_config/ hat, oder unter validation_config/ sind keine YAML-Dateien für Tabellen vorhanden. Löschen Sie alle verbleibenden validation-config.yaml-Dateien in Ihrem Arbeitsverzeichnis, damit validate die Datei validation_config/ lädt.
Preflight-Fehler bei einem einzelnen Vergleichsschlüssel mit niedriger Kardinalität Eine Tabelle mit mehr als 1.000 gefilterten Zeilen ist mit einem einzelnen Vergleichsschlüssel mit geringer Kardinalität konfiguriert, was zu einer Many-to-Many-Join-Explosion führen würde. Geben Sie alle Spalten an, die einen eindeutigen zusammengesetzten Schlüssel in comparisonKeys bilden, oder legen Sie useAllColumnsAsKey: true unter sourceTable fest.
Failed to initialize MemoryUtil oder InaccessibleObjectException: Unable to make field long java.nio.Buffer.address accessible Die JVM ist Java 17 oder höher und wurde ohne --add-opens=java.base/java.nio=ALL-UNNAMED gestartet, in der Regel, weil die Befehlszeile über einen benutzerdefinierten Wrapper oder direkt mit java -jar gestartet wurde. Legen Sie JDK_JAVA_OPTIONS="--add-opens=java.base/java.nio=ALL-UNNAMED" in der Umgebung fest oder verwenden Sie den Befehl gcloud bq migration validate.
WARNING: Failed to trigger validation workflow Die Quellextraktion war erfolgreich, aber der Aufruf von CreateMigrationWorkflow ist aufgrund fehlender IAM-Berechtigungen, einer nicht aktivierten API oder eines nicht unterstützten Standorts fehlgeschlagen. Prüfen Sie, ob bigquerymigration.googleapis.com aktiviert ist, Ihr Konto roles/bigquerymigration.editor hat und BQMS_VALIDATION_LOCATION mit dem Standort Ihres Datasets übereinstimmt.

Validierungsartefakte bereinigen

So verwalten Sie die Speicherkosten, nachdem Sie die Validierungsergebnisse überprüft haben:

  • Löschen Sie in Cloud Storage alte Ausführungsverzeichnisse unter dem Präfix gcsPath in Ihrem Staging-Bucket oder konfigurieren Sie eine Regel für die Verwaltung des Objektlebenszyklus für den Bucket.
  • In BigQuery laufen die Vergleichstabellen pro Ausführung in Ihrem Ergebnis-Dataset (standardmäßig validation_results) automatisch nach resultTtlHours (standardmäßig 168.0 Stunden oder 7 Tage) ab. Passen Sie resultTtlHours in settings.yaml an, um die Aufbewahrungsdauer zu verkürzen oder zu verlängern, oder löschen Sie die Tabellen pro Ausführung manuell, während die freigegebenen Verlaufstabellen und Ansichten (run_history, run_metrics und column_history) intakt bleiben.
  • Wenn Sie mit lokalen Dateien arbeiten, entfernen Sie das lokale Arbeitsverzeichnis, das vom Validierungstool unter --output-dir geschrieben wurde. Das Standardverzeichnis ist /tmp/validation_outputs.

Preise

Der Validierungsdienst verwendet die folgenden Ressourcen in Ihrem Projekt:

  • BigQuery-Computing und -Speicher: Zielaggregatabfragen, Zeilenvergleichs-Joins und Speicher für Tabellen im Dataset validation_results werden Ihrem Projekt Google Cloud oder billingProjectId in Rechnung gestellt, wenn dies für die Verbindung target konfiguriert ist, gemäß den standardmäßigen BigQuery-Preisen.
  • Cloud Storage-Speicher und -Netzwerk: Bereitgestellte Parquet- oder CSV-Beispieldateien und Ergebnisberichte in Ihrem Bucket werden gemäß den standardmäßigen Cloud Storage-Preisen abgerechnet.
  • Quelldatenbanklast: Extraktionsabfragen werden direkt in der Quelldatenbank ausgeführt. Wenn Sie die Last auf großen Quelltabellen minimieren möchten, verwenden Sie strategy: SAMPLE, filtern Sie mit whereClause oder legen Sie skipRandomization: true fest, wenn der Aufwand für die zufällige Sortierung unerwünscht ist.

Nächste Schritte