Probleme bei der Migration beheben
In diesem Dokument erfahren Sie, wie Sie häufige Probleme bei der Migration Ihres Data Warehouse (z. B. Teradata, Amazon Redshift, Oracle oder Apache Hive) zu BigQuery beheben können. Dazu gehören Probleme mit der Migrationsbewertung, der interaktiven und Batch-SQL-Übersetzung sowie der Metadatengenerierung mit dem Befehlszeilen-Extraktionstool dwh-migration-dumper.
Wenn Sie Details zur Jobausführung, Fehlercodes und die Slotnutzung für migrierte
Abfragen und Jobs prüfen möchten, können Sie auch die
INFORMATION_SCHEMA.JOBS Ansicht abfragen.
Migrationsbewertung
In den folgenden Abschnitten werden häufige Probleme und Techniken zur Fehlerbehebung bei der Migration Ihres Data Warehouse zu BigQuery erläutert.
Fehler im dwh-migration-dumper-Tool
Informationen zur Fehlerbehebung bei Fehlern und Warnungen in der dwh-migration-dumper Tool-Terminal
ausgabe, die bei der Extraktion von Metadaten oder Abfragelogs aufgetreten sind, finden Sie unter
Fehlerbehebung bei der Metadatengenerierung.
Fehler bei der Hive-Migration
In den folgenden Abschnitten werden häufige Probleme beschrieben, die bei der Migration Ihres Data Warehouse von Hive zu BigQuery auftreten können.
Der Logging-Hook für die Extraktion von Abfragelogs hadoop-migration-assessment schreibt Debugging-Logeinträge in Ihre hive-server2-Logs. Überprüfen Sie bei Problemen die Logging-Hook-Debugging-Logs, die den String MigrationAssessmentLoggingHook enthalten.
Fehler ClassNotFoundException beheben
Dieser Fehler tritt auf, wenn der hive-server2-Prozess com.google.cloud.bigquery.dwhassessment.hooks.MigrationAssessmentLoggingHook während der Abfragekompilierung nicht finden kann.
Prüfen Sie, ob Sie die
JAR-Datei für den Logging-Hook dem Ordner auxlib im
Hive-Cluster hinzugefügt haben oder ob Sie den vollständigen Pfad zur JAR-Datei
im Attribut hive.aux.jars.path angegeben haben, z. B.
file://AUXLIB_PATH/HiveMigrationAssessmentQueryLogsHooks_deploy.jar.
Wenn der Fehler weiterhin auftritt, gehen Sie so vor:
JAR-Speicherort in Cloudera (CDP oder CDH) prüfen : In Cloudera-Umgebungen werden Hilfs-JAR-Attribute (
hive.aux.jars.path) möglicherweise nicht zuverlässig in den Classloader für die Kompilierung der Stammabfrage geladen. Kopieren Sie die JAR-Datei für den Logging-Hook direkt in das Hive-Kernbibliotheksverzeichnis auf allen HiveServer2-Hosts, z. B./opt/cloudera/parcels/CDH/lib/hive/lib/.Konfigurationsbereich prüfen:Wenn Sie Cloudera Manager verwenden, prüfen Sie, ob Sie die Konfigurationseigenschaften für den Logging-Hook (z. B.
hive.exec.pre.hooks,hive.exec.post.hooks,hive.exec.failure.hooksunddwhassessment.hook.base-directory) in das aktive Konfigurations-Snippet der Ausführungs-Engine eingefügt haben. Wenn Ihr Cluster beispielsweise die Tez-Ausführung verwendet, fügen Sie die XML-Attribute den Feldern für das erweiterte Konfigurations-Snippet (Sicherheitsventil) von Hive on Tez fürhive-site.xmloder dem dienstweiten Hive-Sicherheitsventil hinzu, anstatt in den eigenständigen HiveServer2-Konfigurations-Snippets. Nachdem Sie die Änderungen gespeichert haben, starten Sie den Hive-Dienst neu, einschließlich der HiveServer2- und Hive-Metastore-Rollen.
Unterordner werden nicht im konfigurierten Ordner angezeigt
Dieses Problem kann durch eine fehlerhafte Konfiguration oder Probleme bei der Logging-Hook-Initialisierung verursacht werden.
Suchen Sie in den hive-server2-Debugging-Logs nach den folgenden Logging-Hook-Einträgen:
Unable to initialize logger, logging disabled
Log dir configuration key 'dwhassessment.hook.base-directory' is not set, logging disabled.
Error while trying to set permission
Sehen Sie sich die Problemdetails an und prüfen Sie, ob Sie etwas korrigieren müssen, um das Problem zu beheben.
Dateien werden nicht im Ordner angezeigt
Dieses Problem kann durch Probleme verursacht werden, die während der Ereignisverarbeitung oder beim Schreiben in eine Datei aufgetreten sind.
Suchen Sie in den hive-server2-Debugging-Logs nach den folgenden Logging-Hook-Einträgen:
Failed to close writer for file
Got exception while processing event
Error writing record for query
Sehen Sie sich die Problemdetails an und prüfen Sie, ob Sie etwas korrigieren müssen, um das Problem zu beheben.
Einige Abfrageereignisse fehlen
Dieses Problem kann durch einen Überlauf der Logging-Hook-Thread-Warteschlange verursacht werden.
Suchen Sie in den hive-server2-Debugging-Logs nach dem folgenden Logging-Hook-Eintrag:
Writer queue is full. Ignoring event
Wenn Sie diese Meldung finden, erhöhen Sie den Parameter dwhassessment.hook.queue.capacity.
Interaktiver SQL-Übersetzer
In den folgenden Abschnitten werden häufige Fehler bei der Verwendung des interaktiven SQL-Übersetzers beschrieben.
Übersetzungsprobleme RelationNotFound oder AttributeNotFound
Nachdem Sie eine Abfrage mit dem
interaktiven SQL-Übersetzer,
übersetzt haben, kann es zu einer fehlgeschlagenen Übersetzung mit dem RelationNotFound oder
AttributeNotFound Fehler kommen.
Fehlgeschlagene Übersetzungen finden Sie in BigQuery in der Google Cloud console auf der Seite Übersetzungsdetails. Öffnen Sie dort den Tab Logmeldungen.
Geben Sie die Anweisungen zur Datendefinitionssprache (Data Definition Language, DDL) für alle Tabellen ein, die in einer Abfrage vor der Abfrage selbst verwendet wurden, um eine möglichst genaue Übersetzung zu gewährleisten. Wenn Sie beispielsweise die Amazon Redshift-Abfrage select table1.field1, table2.field1 from table1, table2 where table1.id = table2.id; übersetzen möchten, geben Sie die folgenden SQL-Anweisungen in den interaktiven SQL-Übersetzer ein:
create table schema1.table1 (id int, field1 int, field2 varchar(16));
create table schema1.table2 (id int, field1 varchar(30), field2 date);
select table1.field1, table2.field1
from table1, table2
where table1.id = table2.id;
Übersetzungsprobleme mit Gemini beheben
Sie können auch Gemini verwenden, um fehlgeschlagene Übersetzungsjobs mit den Fehlern RelationNotFound oder AttributeNotFound zu beheben:
- Rufen Sie in BigQuery in der Google Cloud console die Seite Übersetzungsdetails auf und öffnen Sie den Tab Logeinträge.
- Klicken Sie in der Spalte Kategorie auf die Abfrage mit der Meldung
RelationNotFoundoderAttributeNotFound. - Klicken Sie auf Vorgeschlagene Korrektur.
- Klicken Sie auf Übernehmen.
- Klicken Sie auf Übersetzen, um die Abfrage noch einmal zu übersetzen.
Batch-SQL-Übersetzer
In den folgenden Abschnitten werden häufige Fehler bei der Verwendung des Batch-SQL-Übersetzers beschrieben.
Übersetzungsprobleme RelationNotFound oder AttributeNotFound
Nachdem Sie eine Abfrage mit dem
Batch-SQL-Übersetzer,
übersetzt haben, kann es zu einer fehlgeschlagenen Übersetzung mit dem RelationNotFound oder
AttributeNotFound Fehler kommen.
Fehlgeschlagene Übersetzungen finden Sie in BigQuery in der Google Cloud console auf der Seite Übersetzungsdetails. Öffnen Sie dort den Tab Logmeldungen.
Übersetzung funktioniert am besten mit Metadaten-DDLs. Wenn SQL-Objektdefinitionen nicht gefunden werden können, gibt die Übersetzungs-Engine Probleme vom Typ RelationNotFound oder AttributeNotFound aus. Wir empfehlen die Verwendung des Metadaten-Extrahierers zum Generieren von Metadatenpaketen, um dafür zu sorgen, dass alle Objektdefinitionen vorhanden sind. Das Hinzufügen von Metadaten ist der empfohlene erste Schritt zur Behebung der meisten Übersetzungsfehler, da dadurch oft viele andere Fehler behoben werden, die indirekt durch fehlende Metadaten verursacht werden.
Weitere Informationen finden Sie unter Metadaten für Übersetzung und Bewertung generieren.
Übersetzungsprobleme mit Gemini beheben
Sie können auch Gemini verwenden, um fehlgeschlagene Übersetzungsjobs mit den Fehlern RelationNotFound oder AttributeNotFound zu beheben:
- Rufen Sie die Seite Übersetzungsdetails auf und öffnen Sie den Tab Logmeldungen.
- Klicken Sie in der Spalte Kategorie auf die Abfrage mit der Meldung
RelationNotFoundoderAttributeNotFound. Klicken Sie auf die Fehlermeldung, um zur Datei und Zeile mit dem Fehler auf dem Tab „Code“ zu wechseln.
Fehlermeldung.
Klicken Sie in der Spalte Aktion auf Vorgeschlagene Korrektur.
Wählen Sie eine der folgenden Optionen aus: Übernehmen oder Übernehmen und noch einmal ausführen.
- Klicken Sie auf Übernehmen, um die generierte Schemadatei aus dem Ausgabeverzeichnis in das Eingabeverzeichnis zu kopieren.
- Klicken Sie auf Übernehmen und noch einmal ausführen, um die generierte Schemadatei aus dem Ausgabeverzeichnis in das Eingabeverzeichnis zu kopieren und ein Fenster für die erneute Ausführung zu öffnen.
Metadaten für Übersetzung und Bewertung generieren
In den folgenden Abschnitten werden einige häufige Probleme und Techniken zur Fehlerbehebung für das dwh-migration-dumper-Tool erläutert.
Out of Memory-Fehler
Der Fehler java.lang.OutOfMemoryError in der Terminalausgabe des dwh-migration-dumper-Tools ist häufig auf unzureichenden Speicher für die Verarbeitung abgerufener Daten zurückzuführen.
Erhöhen Sie den verfügbaren Speicher oder reduzieren Sie die Anzahl der Verarbeitungsthreads, um dieses Problem zu beheben.
Sie können den maximalen Arbeitsspeicher erhöhen. Exportieren Sie dazu die Umgebungsvariable JAVA_OPTS:
Linux
export JAVA_OPTS="-Xmx4G"
Windows
set JAVA_OPTS="-Xmx4G"
Sie können die Anzahl der Verarbeitungsthreads reduzieren (Standard ist 32), indem Sie den Wert des Flags --thread-pool-size einfügen. Diese Option wird nur für hiveql- und redshift*-Connectors unterstützt:
dwh-migration-dumper --thread-pool-size=1
Umgang mit dem Fehler WARN...Task failed
Manchmal wird in der Terminalausgabe des dwh-migration-dumper-Tools der Fehler WARN [main] o.c.a.d.MetadataDumper [MetadataDumper.java:107] Task failed: … angezeigt. Das Extraktionstool sendet mehrere Abfragen an das Quellsystem und die Ausgabe jeder Abfrage wird in eine eigene Datei geschrieben. Dieses Problem zeigt an, dass eine dieser Abfragen fehlgeschlagen ist. Das Fehlschlagen einer Abfrage verhindert jedoch nicht die Ausführung der anderen Abfragen. Wenn mehrere WARN-Fehler angezeigt werden, prüfen Sie die Problemdetails und prüfen Sie, ob Sie etwas korrigieren müssen, damit die Abfrage ordnungsgemäß ausgeführt wird. Wenn der beim Ausführen des Extraktionstools angegebene Datenbanknutzer beispielsweise nicht berechtigt ist, alle Metadaten zu lesen, versuchen Sie es mit einem Nutzer mit den richtigen Berechtigungen noch einmal.
Beschädigte ZIP-Datei
Laden Sie die Datei
SHA256SUMS.txt herunter
und führen Sie den folgenden Befehl aus, um die ZIP-Datei des dwh-migration-dumper-Tools zu validieren:
Bash
sha256sum --check SHA256SUMS.txt
Das Ergebnis OK bestätigt die erfolgreiche Prüfsummenverifizierung. Jede andere Meldung weist auf einen Verifizierungsfehler hin:
FAILED: computed checksum did NOT match: Die ZIP-Datei ist beschädigt und muss noch einmal heruntergeladen werden.FAILED: listed file could not be read: Die Version der ZIP-Datei kann nicht gefunden werden. Laden Sie die Prüfsumme und die ZIP-Dateien aus derselben Releaseversion herunter und speichern Sie sie im selben Verzeichnis.
Windows PowerShell
(Get-FileHash RELEASE_ZIP_FILENAME).Hash -eq ((Get-Content SHA256SUMS.txt) -Split " ")[0]
Ersetzen Sie RELEASE_ZIP_FILENAME durch den heruntergeladenen ZIP-Dateinamen des dwh-migration-dumper-Befehlszeilen-Extraktionstools, z. B. dwh-migration-tools-v1.0.52.zip.
Das Ergebnis True bestätigt die erfolgreiche Prüfsummenverifizierung.
Das Ergebnis False weist auf einen Verifizierungsfehler hin. Laden Sie die Prüfsumme und die ZIP-Dateien aus derselben Releaseversion herunter und speichern Sie sie im selben Verzeichnis.
Die Extraktion von Teradata-Abfragelogs ist langsam
Zur Verbesserung der Leistung von Join-Tabellen, die mit den Flags -Dteradata-logs.query-logs-table und -Dteradata-logs.sql-logs-table angegeben werden, können Sie eine zusätzliche Spalte vom Typ DATE in die JOIN-Bedingung einfügen.
Diese Spalte muss in beiden Tabellen definiert und Teil des partitionierten Primärindex sein. Verwenden Sie das Flag -Dteradata-logs.log-date-column, um diese Spalte einzufügen.
Im folgenden Beispiel wird die Verwendung des Flags -Dteradata-logs.log-date-column gezeigt:
Bash
dwh-migration-dumper \ -Dteradata-logs.query-logs-table=historicdb.ArchivedQryLogV \ -Dteradata-logs.sql-logs-table=historicdb.ArchivedDBQLSqlTbl \ -Dteradata-logs.log-date-column=ArchiveLogDate
Windows PowerShell
dwh-migration-dumper ` "-Dteradata-logs.query-logs-table=historicdb.ArchivedQryLogV" ` "-Dteradata-logs.sql-logs-table=historicdb.ArchivedDBQLSqlTbl" ` "-Dteradata-logs.log-date-column=ArchiveLogDate"
Größenbeschränkung für Teradata-Zeilen überschritten
Teradata Version 15 hat eine Zeilengröße von 64 KB. Wenn das Limit überschritten wird, schlägt das Extraktionstool mit der folgenden Meldung fehl:
[Error 9804] [SQLState HY000] Response Row size or Constant Row size overflow
Zur Behebung dieses Fehlers erweitern Sie entweder das Zeilenlimit auf 1 MB oder teilen die Zeilen in mehrere Zeilen auf:
- Installieren und aktivieren Sie das Feature „1MB Perm and Response Rows“ und die aktuelle TTU-Software. Weitere Informationen finden Sie unter Teradata-Datenbanknachricht 9804.
- Teilen Sie den langen Abfragetext mithilfe der Flags
-Dteradata.metadata.max-text-lengthund-Dteradata-logs.max-sql-lengthin mehrere Zeilen auf.
Der folgende Befehl zeigt, wie Sie das Flag -Dteradata.metadata.max-text-length verwenden, um langen Abfragetext in mehrere Zeilen mit jeweils maximal 10.000 Zeichen aufzuteilen:
Bash
dwh-migration-dumper \ --connector teradata \ -Dteradata.metadata.max-text-length=10000
Windows PowerShell
dwh-migration-dumper ` --connector teradata ` "-Dteradata.metadata.max-text-length=10000"
Der folgende Befehl zeigt, wie Sie das Flag -Dteradata-logs.max-sql-length verwenden, um langen Abfragetext in mehrere Zeilen mit jeweils maximal 10.000 Zeichen aufzuteilen:
Bash
dwh-migration-dumper \ --connector teradata-logs \ -Dteradata-logs.max-sql-length=10000
Windows PowerShell
dwh-migration-dumper ` --connector teradata-logs ` "-Dteradata-logs.max-sql-length=10000"
Oracle-Verbindungsproblem
In häufigen Fällen wie einem ungültigen Passwort oder Hostnamen gibt das dwh-migration-dumper-Tool eine aussagekräftige Fehlermeldung aus, die das zugrunde liegende Problem beschreibt. In einigen Fällen kann die vom Oracle-Server zurückgegebene Fehlermeldung jedoch allgemein gehalten und schwer zu untersuchen sein.
Eines dieser Probleme ist IO Error: Got minus one from a read call. Dieser Fehler gibt an, dass die Verbindung zum Oracle-Server hergestellt wurde, der Server den Client jedoch nicht akzeptiert und die Verbindung geschlossen hat.
Dieses Problem tritt in der Regel auf, wenn der Server nur TCPS-Verbindungen akzeptiert. Standardmäßig verwendet das dwh-migration-dumper-Tool das TCP-Protokoll. Um dieses Problem zu beheben, müssen Sie die Oracle JDBC-Verbindungs-URL überschreiben.
Anstatt die Flags oracle-service, host und port anzugeben, können Sie
dieses Problem beheben, indem Sie das Flag url im folgenden Format angeben:
jdbc:oracle:thin:@tcps://HOST_NAME:PORT/ORACLE_SERVICE.
In der Regel ist die vom Oracle-Server verwendete TCPS-Portnummer 2484.
Im folgenden Beispiel wird gezeigt, wie Sie die Verbindungs-URL im Befehl angeben:
dwh-migration-dumper \
--connector oracle-stats \
--url "jdbc:oracle:thin:@tcps://HOST_NAME:PORT/ORACLE_SERVICE" \
--assessment \
--driver "JDBC_DRIVER_PATH" \
--user "USER" \
--password
Neben dem Ändern des Verbindungsprotokolls in TCPS müssen Sie möglicherweise auch die trustStore-SSL-Konfiguration angeben, die zum Überprüfen des Oracle-Serverzertifikats erforderlich ist. Eine fehlende SSL-Konfiguration führt zu einer Fehlermeldung Unable to find valid certification path. Um dieses Problem zu beheben, legen Sie die Umgebungsvariable JAVA_OPTS fest:
set JAVA_OPTS=-Djavax.net.ssl.trustStore="JKS_FILE_LOCATION" -Djavax.net.ssl.trustStoreType=JKS -Djavax.net.ssl.trustStorePassword="PASSWORD"
Je nach Konfiguration Ihres Oracle-Servers müssen Sie möglicherweise auch die keyStore-Konfiguration angeben. Weitere Informationen zu Konfigurationsoptionen finden Sie unter SSL With Oracle JDBC Driver.
Nächste Schritte
- Weitere Informationen zur Migration
- Migrationsbewertung ausführen
- Abfragen mit dem interaktiven SQL-Übersetzer übersetzen
- Code mit dem Batch-SQL-Übersetzer migrieren
- Metadaten für Übersetzung und Bewertung generieren lernen, wie man .