Risolvere i problemi di migrazione

Questo documento ti aiuta a risolvere i problemi comuni durante la migrazione del data warehouse (ad esempio Teradata, Amazon Redshift, Oracle o Apache Hive) a BigQuery, inclusi i problemi relativi alla valutazione della migrazione, alla traduzione SQL interattiva e batch e alla generazione di metadati utilizzando lo strumento di estrazione da riga di comando dwh-migration-dumper.

Per esaminare i dettagli di esecuzione dei job, i codici di errore e l'utilizzo degli slot per le query e i job sottoposti a migrazione , puoi anche eseguire query sulla visualizzazione INFORMATION_SCHEMA.JOBS.

Valutazione della migrazione

Le sezioni seguenti illustrano i problemi comuni e le tecniche di risoluzione dei problemi per la migrazione del data warehouse a BigQuery.

Errori dello strumento dwh-migration-dumper

Per risolvere gli errori e gli avvisi nell'output del terminale dello strumento dwh-migration-dumper che si sono verificati durante l'estrazione dei metadati o dei log delle query, consulta Risoluzione dei problemi relativi alla generazione dei metadati.

Errori di migrazione di Hive

Le sezioni seguenti descrivono i problemi comuni che potresti riscontrare quando pianifichi la migrazione del data warehouse da Hive a BigQuery.

L'hook di logging di estrazione dei log delle query hadoop-migration-assessment scrive i messaggi di log di debug nei log hive-server2. Se riscontri problemi, esamina i log di debug dell'hook di logging, che contengono la stringa MigrationAssessmentLoggingHook.

Gestire l'errore ClassNotFoundException

Questo errore si verifica quando il processo hive-server2 non riesce a trovare com.google.cloud.bigquery.dwhassessment.hooks.MigrationAssessmentLoggingHook durante la compilazione della query.

Assicurati di aver aggiunto il file JAR dell'hook di logging alla cartella auxlib nel cluster Hive o di aver specificato il percorso completo del file JAR nella proprietà hive.aux.jars.path—ad esempio, file://AUXLIB_PATH/HiveMigrationAssessmentQueryLogsHooks_deploy.jar.

Se l'errore persiste:

  • Verifica la posizione del file JAR su Cloudera (CDP o CDH): negli ambienti Cloudera, le proprietà JAR ausiliarie (hive.aux.jars.path) potrebbero non essere caricate in modo affidabile nel classloader di compilazione delle query root. Per risolvere il problema, copia il file JAR dell'hook di logging direttamente nella directory della libreria Hive principale su tutti gli host HiveServer2, ad esempio /opt/cloudera/parcels/CDH/lib/hive/lib/.

  • Verifica l'ambito della configurazione: se utilizzi Cloudera Manager, assicurati di inserire le proprietà di configurazione dell'hook di logging (ad esempio hive.exec.pre.hooks, hive.exec.post.hooks, hive.exec.failure.hooks e dwhassessment.hook.base-directory) nello snippet di configurazione del motore di esecuzione attivo. Ad esempio, se il cluster utilizza l'esecuzione di Tez, aggiungi le proprietà XML ai campi dello snippet di configurazione avanzata di Hive su Tez (valvola di sicurezza) per hive-site.xml o alla valvola di sicurezza di Hive a livello di servizio, anziché negli snippet di configurazione di HiveServer2 autonomi. Dopo aver salvato le modifiche, riavvia il servizio Hive, inclusi i ruoli HiveServer2 e Hive Metastore.

Le sottocartelle non vengono visualizzate nella cartella configurata

Questo problema potrebbe essere causato da una configurazione errata o da problemi durante l'inizializzazione dell'hook di logging.

Cerca i seguenti messaggi dell'hook di logging nei log di debug hive-server2:

Unable to initialize logger, logging disabled
Log dir configuration key 'dwhassessment.hook.base-directory' is not set,
logging disabled.
Error while trying to set permission

Esamina i dettagli del problema e verifica se devi correggere qualcosa per risolvere il problema.

I file non vengono visualizzati nella cartella

Questo problema potrebbe essere causato da problemi riscontrati durante l'elaborazione degli eventi o durante la scrittura in un file.

Cerca i seguenti messaggi dell'hook di logging nei log di debug hive-server2:

Failed to close writer for file
Got exception while processing event
Error writing record for query

Esamina i dettagli del problema e verifica se devi correggere qualcosa per risolvere il problema.

Alcuni eventi di query non vengono rilevati

Questo problema potrebbe essere causato da un overflow della coda dei thread dell'hook di logging.

Cerca il seguente messaggio dell'hook di logging nei log di debug hive-server2:

Writer queue is full. Ignoring event

Se trovi questo messaggio, valuta la possibilità di aumentare il parametro dwhassessment.hook.queue.capacity.

Traduttore SQL interattivo

Le sezioni seguenti descrivono gli errori più comuni che si verificano quando si utilizza il traduttore SQL interattivo.

Problemi di traduzione RelationNotFound o AttributeNotFound

Dopo aver tradotto una query utilizzando il traduttore SQL interattivo, potresti riscontrare una traduzione non riuscita con l'errore RelationNotFound o AttributeNotFound.

Puoi trovare le traduzioni non riuscite andando alla pagina Dettagli traduzione in BigQuery nella Google Cloud console e aprendo la Messaggi di log scheda.

Per garantire la traduzione più accurata, puoi inserire le istruzioni del linguaggio di definizione dei dati (DDL) per tutte le tabelle utilizzate in una query prima della query stessa. Ad esempio, se vuoi tradurre la query Amazon Redshift select table1.field1, table2.field1 from table1, table2 where table1.id = table2.id;, inserisci le seguenti istruzioni SQL nel traduttore SQL interattivo:

create table schema1.table1 (id int, field1 int, field2 varchar(16));
create table schema1.table2 (id int, field1 varchar(30), field2 date);

select table1.field1, table2.field1
from table1, table2
where table1.id = table2.id;

Risolvere i problemi di traduzione con Gemini

Per correggere i job di traduzione non riusciti con gli errori RelationNotFound o AttributeNotFound, puoi anche utilizzare Gemini per risolvere questi problemi:

  1. In BigQuery nella Google Cloud console, vai alla pagina Dettagli traduzione e apri la scheda Messaggi di log.
  2. Fai clic sulla query che contiene il messaggio RelationNotFound o AttributeNotFound nella colonna Categoria.
  3. Fai clic su Correzione suggerita.
  4. Fai clic su Applica.
  5. Per tradurre di nuovo la query, fai clic su Traduci.

Traduttore SQL batch

Le sezioni seguenti descrivono gli errori più comuni che si verificano quando si utilizza il traduttore SQL batch.

Problemi di traduzione RelationNotFound o AttributeNotFound

Dopo aver tradotto una query utilizzando il traduttore SQL batch, potresti riscontrare una traduzione non riuscita con l'errore RelationNotFound o AttributeNotFound.

Puoi trovare le traduzioni non riuscite andando alla pagina Dettagli traduzione in BigQuery nella Google Cloud console e aprendo la scheda Messaggi di log.

La traduzione funziona meglio con i DDL dei metadati. Quando non è possibile trovare le definizioni degli oggetti SQL, il motore di traduzione genera problemi RelationNotFound o AttributeNotFound. Ti consigliamo di utilizzare l'estrattore di metadati per generare pacchetti di metadati per assicurarti che siano presenti tutte le definizioni degli oggetti. L'aggiunta di metadati è il primo passo consigliato per risolvere la maggior parte degli errori di traduzione, perché spesso corregge molti altri errori causati indirettamente dalla mancanza di metadati.

Per ulteriori informazioni, consulta Generare metadati per la traduzione e la valutazione.

Risolvere i problemi di traduzione con Gemini

Per correggere i job di traduzione non riusciti con gli errori RelationNotFound o AttributeNotFound, puoi anche utilizzare Gemini per risolvere questi problemi:

  1. Vai alla pagina Dettagli traduzione e apri la scheda Messaggi di log.
  2. Fai clic sulla query che contiene il messaggio RelationNotFound o AttributeNotFound nella colonna Categoria.
  3. Per andare al file e alla riga contenenti l'errore nella scheda del codice, fai clic sul

    messaggio di errore.

  4. Nella colonna Azione, fai clic su Correzione suggerita.

  5. Seleziona una delle seguenti opzioni: Applica o Applica ed esegui di nuovo:

    • Per copiare il file dello schema generato dalla directory di output alla directory di input, fai clic su Applica.
    • Per copiare il file dello schema generato dalla directory di output alla directory di input e aprire una finestra di esecuzione di nuovo, fai clic su Applica ed esegui di nuovo.

Generare metadati per la traduzione e la valutazione

Le sezioni seguenti illustrano alcuni problemi comuni e tecniche di risoluzione dei problemi per lo strumento dwh-migration-dumper.

Errore di memoria insufficiente

L'errore java.lang.OutOfMemoryError nell'output del terminale dello strumento dwh-migration-dumper è spesso correlato a una memoria insufficiente per l'elaborazione dei dati recuperati. Per risolvere il problema, aumenta la memoria disponibile o riduci il numero di thread di elaborazione.

Puoi aumentare la memoria massima esportando la variabile di ambiente JAVA_OPTS:

Linux

export JAVA_OPTS="-Xmx4G"

Windows

set JAVA_OPTS="-Xmx4G"

Puoi ridurre il numero di thread di elaborazione (il valore predefinito è 32) includendo il valore del flag --thread-pool-size. Questa opzione è supportata solo per i connettori hiveql e redshift*:

dwh-migration-dumper --thread-pool-size=1

Gestire un errore WARN...Task failed

A volte potresti visualizzare un errore WARN [main] o.c.a.d.MetadataDumper [MetadataDumper.java:107] Task failed: … nell'output del terminale dello strumento dwh-migration-dumper. Lo strumento di estrazione invia più query al sistema di origine e l'output di ogni query viene scritto nel proprio file. Questo problema indica che una di queste query non è riuscita. Tuttavia, l'errore di una query non impedisce l'esecuzione delle altre query. Se visualizzi più di un paio di errori WARN, esamina i dettagli del problema e verifica se devi correggere qualcosa per l'esecuzione corretta della query. Ad esempio, se l'utente del database specificato durante l'esecuzione dello strumento di estrazione non dispone delle autorizzazioni per leggere tutti i metadati, riprova con un utente con le autorizzazioni corrette.

File ZIP danneggiato

Per convalidare il file ZIP dello strumento dwh-migration-dumper, scarica il SHA256SUMS.txt file ed esegui il comando seguente:

Bash

sha256sum --check SHA256SUMS.txt

Il risultato OK conferma la verifica riuscita del checksum. Qualsiasi altro messaggio indica un errore di verifica:

  • FAILED: computed checksum did NOT match: il file ZIP è danneggiato e deve essere scaricato di nuovo.
  • FAILED: listed file could not be read: non è possibile trovare la versione del file ZIP. Scarica i file di checksum e ZIP dalla stessa versione di rilascio e inseriscili nella stessa directory.

Windows PowerShell

(Get-FileHash RELEASE_ZIP_FILENAME).Hash -eq ((Get-Content SHA256SUMS.txt) -Split " ")[0]

Sostituisci RELEASE_ZIP_FILENAME con il nome del file ZIP scaricato della release dello strumento di estrazione da riga di comando dwh-migration-dumper, ad esempio dwh-migration-tools-v1.0.52.zip.

Il risultato True conferma la verifica riuscita del checksum.

Il risultato False indica un errore di verifica. Scarica i file di checksum e ZIP dalla stessa versione di rilascio e inseriscili nella stessa directory.

L'estrazione dei log delle query di Teradata è lenta

Per migliorare le prestazioni dell'unione delle tabelle specificate dai flag -Dteradata-logs.query-logs-table e -Dteradata-logs.sql-logs-table, puoi includere una colonna aggiuntiva di tipo DATE nella condizione JOIN. Questa colonna deve essere definita in entrambe le tabelle e deve far parte dell'indice primario partizionato. Per includere questa colonna, utilizza il flag -Dteradata-logs.log-date-column.

L'esempio seguente mostra come utilizzare il flag -Dteradata-logs.log-date-column:

Bash

dwh-migration-dumper \
  -Dteradata-logs.query-logs-table=historicdb.ArchivedQryLogV \
  -Dteradata-logs.sql-logs-table=historicdb.ArchivedDBQLSqlTbl \
  -Dteradata-logs.log-date-column=ArchiveLogDate

Windows PowerShell

dwh-migration-dumper `
  "-Dteradata-logs.query-logs-table=historicdb.ArchivedQryLogV" `
  "-Dteradata-logs.sql-logs-table=historicdb.ArchivedDBQLSqlTbl" `
  "-Dteradata-logs.log-date-column=ArchiveLogDate"

Limite di dimensioni delle righe di Teradata superato

La versione 15 di Teradata ha un limite di dimensioni delle righe di 64 kB. Se il limite viene superato, lo strumento di estrazione non riesce a eseguire l'operazione e viene visualizzato il seguente messaggio:

[Error 9804] [SQLState HY000] Response Row size or Constant Row size overflow

Per risolvere questo errore, estendi il limite delle righe a 1 MB o dividi le righe in più righe:

  • Installa e attiva la funzionalità 1 MB Perm and Response Rows e il software TTU attuale. Per ulteriori informazioni, consulta il messaggio del database Teradata 9804.
  • Dividi il testo della query lunga in più righe utilizzando i flag -Dteradata.metadata.max-text-length e -Dteradata-logs.max-sql-length.

Il comando seguente mostra come utilizzare il flag -Dteradata.metadata.max-text-length per dividere il testo della query lunga in più righe di massimo 10.000 caratteri ciascuna:

Bash

dwh-migration-dumper \
  --connector teradata \
  -Dteradata.metadata.max-text-length=10000

Windows PowerShell

dwh-migration-dumper `
  --connector teradata `
  "-Dteradata.metadata.max-text-length=10000"

Il comando seguente mostra come utilizzare il flag -Dteradata-logs.max-sql-length per dividere il testo della query lunga in più righe di massimo 10.000 caratteri ciascuna:

Bash

dwh-migration-dumper \
  --connector teradata-logs \
  -Dteradata-logs.max-sql-length=10000

Windows PowerShell

dwh-migration-dumper `
  --connector teradata-logs `
  "-Dteradata-logs.max-sql-length=10000"

Problema di connessione a Oracle

Nei casi comuni, ad esempio una password o un nome host non validi, lo strumento dwh-migration-dumper stampa un messaggio di errore significativo che descrive il problema principale. Tuttavia, in alcuni casi, il messaggio di errore restituito dal server Oracle potrebbe essere generico e difficile da esaminare.

Uno di questi problemi è IO Error: Got minus one from a read call. Questo errore indica che la connessione al server Oracle è stata stabilita, ma il server non ha accettato il client e ha chiuso la connessione. Questo problema si verifica in genere quando il server accetta solo connessioni TCPS. Per impostazione predefinita, lo strumento dwh-migration-dumper utilizza il protocollo TCP. Per risolvere il problema, devi sostituire l'URL di connessione JDBC di Oracle.

Anziché fornire i flag oracle-service, host e port, puoi risolvere il problema fornendo il flag url nel seguente formato: jdbc:oracle:thin:@tcps://HOST_NAME:PORT/ORACLE_SERVICE. In genere, il numero di porta TCPS utilizzato dal server Oracle è 2484.

L'esempio seguente mostra come specificare l'URL di connessione nel comando:

dwh-migration-dumper \
  --connector oracle-stats \
  --url "jdbc:oracle:thin:@tcps://HOST_NAME:PORT/ORACLE_SERVICE" \
  --assessment \
  --driver "JDBC_DRIVER_PATH" \
  --user "USER" \
  --password

Oltre a modificare il protocollo di connessione in TCPS, potresti dover fornire la configurazione SSL trustStore necessaria per verificare il certificato del server Oracle. Una configurazione SSL mancante genera un messaggio di errore Unable to find valid certification path. Per risolvere il problema, imposta la variabile di ambiente JAVA_OPTS:

set JAVA_OPTS=-Djavax.net.ssl.trustStore="JKS_FILE_LOCATION" -Djavax.net.ssl.trustStoreType=JKS -Djavax.net.ssl.trustStorePassword="PASSWORD"

A seconda della configurazione del server Oracle, potresti anche dover fornire la configurazione keyStore. Per ulteriori informazioni sulle opzioni di configurazione, consulta SSL With Oracle JDBC Driver.

Passaggi successivi