Best practice per l'importazione e l'esportazione dei dati

Questa pagina fornisce le best practice per l'importazione e l'esportazione dei dati con Cloud SQL. Per istruzioni passo passo su come importare i dati in Cloud SQL, consulta Importazione dei dati. Per istruzioni passo passo su come esportare i dati, sia in Cloud SQL sia in un'istanza gestita, consulta Esportazione dei dati.

Best practice per l'importazione e l'esportazione

Di seguito sono riportate le best practice da considerare quando importi ed esporti i dati:

Non utilizzare i bucket Cloud Storage con la funzionalità Richiedi pagamento al richiedente

Non puoi utilizzare un bucket Cloud Storage con la funzionalità Richiedi pagamento al richiedente abilitata per le importazioni e le esportazioni da Cloud SQL.

Riduci al minimo l'impatto sulle prestazioni delle esportazioni

Per un'esportazione standard da Cloud SQL, l'esportazione viene eseguita mentre il database è online. Quando i dati esportati sono più piccoli, l'impatto è probabilmente minimo. Tuttavia, quando sono presenti database di grandi dimensioni o oggetti di grandi dimensioni, come i BLOB nel database, è possibile che l'esportazione possa peggiorare le prestazioni del database. Ciò potrebbe influire sul tempo necessario per eseguire query e operazioni di database sul database. Dopo aver avviato un'esportazione, non è possibile interromperla se il database inizia a rispondere lentamente.

Per evitare risposte lente durante un'esportazione, puoi:

  1. Esegui l'esportazione da una replica di lettura. Questa potrebbe essere una buona opzione se esegui esportazioni di frequente (ogni giorno o più spesso), ma la quantità di dati esportati è piccola. Per eseguire un'esportazione da una replica di lettura, utilizza le Google Cloud funzioni di esportazione della console, gcloud, o dell'API REST sull'istanza della replica di lettura. Per ulteriori informazioni su come creare e gestire le repliche di lettura, consulta Creare repliche di lettura.

  2. Utilizza l'esportazione serverless. Con l'esportazione serverless, Cloud SQL crea un'istanza temporanea separata per trasferire l'operazione di esportazione. Il trasferimento dell'operazione di esportazione consente ai database sull'istanza principale di continuare a gestire le query ed eseguire le operazioni alla velocità di prestazioni abituale. Al termine dell'esportazione dei dati, l'istanza temporanea viene eliminata automaticamente. Questa potrebbe essere una buona opzione se stai eseguendo un'esportazione una tantum di un database di grandi dimensioni. Utilizza le Google Cloud Console, gcloud, o l'API REST funzioni di esportazione, con il flag offload, per eseguire un'operazione di esportazione serverless.

    Durante un'operazione di esportazione serverless puoi eseguire altre operazioni, come la modifica dell'istanza, l'importazione e il failover. Tuttavia, se selezioni delete, l'operazione di esportazione si interrompe dopo un po' di tempo dall'eliminazione dell'istanza e non esporta alcun dato.

    Consulta la seguente tabella per scoprire le operazioni che possono essere bloccate durante l'esecuzione di un'operazione di esportazione serverless:
    Operazione corrente Nuova operazione Bloccata?
    Qualsiasi operazione Esportazione serverless Sì
    Esportazione serverless Qualsiasi operazione tranne l'esportazione serverless No
    Qualsiasi operazione tranne l'esportazione serverless Qualsiasi operazione tranne l'esportazione serverless Sì

    Un'esportazione serverless richiede più tempo di un'esportazione standard, perché è necessario del tempo per creare l'istanza temporanea. Richiede almeno più di cinque minuti, ma per i database più grandi potrebbe essere più lungo. Prima di determinare il tipo di esportazione da utilizzare, valuta l'impatto su tempo, prestazioni e costi.

Utilizza i flag corretti quando crei un file di dump SQL

Se non utilizzi la procedura corretta quando esporti i dati in un file di dump SQL, l'importazione potrebbe non riuscire. Per informazioni sulla creazione di un file di dump SQL per l'importazione in Cloud SQL, consulta Esportazione dei dati.

Comprimi i dati per ridurre i costi

Cloud SQL supporta l'importazione e l'esportazione di file compressi e non compressi. La compressione può consentire di risparmiare spazio di archiviazione significativo su Cloud Storage e ridurre i costi di archiviazione, soprattutto quando esporti istanze di grandi dimensioni.

Quando esporti un file di dump SQL o CSV, utilizza un'estensione del file .gz per comprimere i dati. Quando importi un file con estensione .gz, questo viene decompresso automaticamente.

Riduci i processi di importazione ed esportazione a lunga esecuzione

L'importazione in Cloud SQL e l'esportazione da Cloud SQL possono richiedere molto tempo, a seconda delle dimensioni dei dati elaborati. Questo può avere i seguenti impatti:

  • Non puoi interrompere un'operazione di istanza Cloud SQL a lunga esecuzione.
  • Puoi eseguire una sola operazione di importazione o esportazione alla volta per ogni istanza e un'importazione o un'esportazione a lunga esecuzione blocca altre operazioni, come i backup automatici giornalieri. Le esportazioni serverless ti consentono di eseguire altre operazioni, tra cui la modifica delle istanze, l'importazione, il failover e lo sblocco dei backup automatici giornalieri.

Puoi ridurre il tempo necessario per completare ogni operazione utilizzando la funzionalità di importazione o esportazione di Cloud SQL con batch di dati più piccoli.

Per le esportazioni, puoi eseguire l'esportazione da una replica di lettura o utilizzare esportazione serverless per ridurre al minimo l'impatto sulle prestazioni del database e consentire l'esecuzione di altre operazioni sull'istanza durante l'esecuzione di un'esportazione.

Per altri suggerimenti, consulta Diagnostica dei problemi con le istanze Cloud SQL.

Verifica il database importato

Al termine di un'operazione di importazione, connettiti al database ed esegui i comandi di database appropriati per assicurarti che i contenuti siano corretti. Ad esempio, connettiti ed elenca i database, le tabelle e le voci specifiche.

Limitazioni note

Per un elenco delle limitazioni note, consulta Problemi con l'importazione e l'esportazione dei dati.

Automatizzare le operazioni di esportazione

Sebbene Cloud SQL non fornisca un modo integrato per automatizzare le esportazioni di database, puoi creare il tuo strumento di automazione utilizzando diversi Google Cloud componenti. Per saperne di più, consulta questo tutorial.

Risoluzione dei problemi

Le seguenti sezioni riguardano la risoluzione dei problemi relativi alle operazioni di importazione ed esportazione.

Risoluzione dei problemi relativi alle operazioni di importazione

Problema Risoluzione dei problemi
Messaggio di errore: permission denied for schema public Per le versioni di PostgreSQL 15 e successive, se il database di destinazione viene creato da template0, l'importazione dei dati potrebbe non riuscire. Per risolvere il problema, fornisci i privilegi dello schema pubblico all'utente cloudsqlsuperuser eseguendo il comando SQL GRANT ALL ON SCHEMA public TO cloudsqlsuperuser.
HTTP Error 409: Operation failed because another operation was already in progress. È già in corso un'operazione in attesa per la tua istanza. È consentita una sola operazione alla volta. Riprova la richiesta al termine dell'operazione corrente completa.
L'operazione di importazione richiede troppo tempo. Un numero eccessivo di connessioni attive può interferire con le operazioni di importazione.

Chiudi le operazioni inutilizzate. Controlla l'utilizzo di CPU e memoria utilizzata della tua istanza Cloud SQL per assicurarti che siano disponibili molte risorse. Il modo migliore per garantire le risorse massime per l'importazione è riavviare l'istanza prima di avviare l'operazione.

Un riavvio:

  • Chiude tutte le connessioni.
  • Termina tutte le attività che potrebbero consumare risorse.
Un'operazione di importazione può non riuscire quando uno o più utenti a cui viene fatto riferimento nel file di dump non esistono. Prima di importare un file di dump, tutti gli utenti del database proprietari di oggetti o a cui sono state concesse autorizzazioni sugli oggetti nel database di cui è stato eseguito il dump devono esistere nel database di destinazione. In caso contrario, l'operazione di importazione non riesce a ricreare gli oggetti con la proprietà o le autorizzazioni originali.

Crea gli utenti del database prima dell'importazione.
Dopo l'importazione dei dati, le dimensioni dell'utilizzo del disco dati sono molto più elevate.

Potrebbe verificarsi un utilizzo del disco imprevisto dopo l'importazione dei dati. Questo utilizzo potrebbe essere dovuto all'utilizzo del recupero point-in-time.

Per risolvere il problema, dopo aver importato i dati, disattiva il recupero point-in-time se vuoi eliminare i log e recuperare lo spazio di archiviazione. Tieni presente che la riduzione dello spazio di archiviazione utilizzato non riduce le dimensioni dello spazio di archiviazione di cui è stato eseguito il provisioning per l'istanza.
Messaggio di errore: GRANT stderr: ERROR: must be member of role ROLE_NAME

Questo messaggio di errore viene visualizzato se provi a importare un file di dump SQL caricato in Cloud Storage in un database Cloud SQL e il job di importazione è in esecuzione da circa quattro giorni.

ROLE_NAME è un ruolo di database personalizzato definito nel database PostgreSQL di origine. L'utente cloudsqlsuperuser predefinito importa il file di dump SQL. Tuttavia, questo utente potrebbe non appartenere al ruolo ROLE_NAME.

Per risolvere questo problema, completa i seguenti passaggi:

  1. Crea il ruolo ROLE_NAME nel database di destinazione in cui stai importando il file di dump SQL.

  2. Non utilizzare l'utente cloudsqlsuperuser per importare il file. Specifica invece un utente membro del ruolo ROLE_NAME nel database di destinazione. Per specificare l'utente, esegui il seguente comando:

    gcloud sql import sql INSTANCE URI [--async]
    [--database=DATABASE, -d DATABASE] [--user=USER] [GCLOUD_WIDE_FLAG …]

Risoluzione dei problemi relativi alle operazioni di esportazione

Problema Risoluzione dei problemi
HTTP Error 409: Operation failed because another operation was already in progress. È già in corso un'operazione in attesa per la tua istanza. È consentita una sola operazione alla volta. Riprova la richiesta al termine dell'operazione corrente completa.
HTTP Error 403: The service account does not have the required permissions for the bucket. Assicurati che il bucket esista e che il account di servizio per l'istanza Cloud SQL che esegue l'esportazione abbia il Storage Object Creator ruolo (roles/storage.objectCreator) per consentire l'esportazione nel bucket. Consulta Ruoli IAM per Cloud Storage.
L'esportazione CSV è riuscita, ma l'esportazione SQL non è riuscita. I formati CSV e SQL vengono esportati in modo diverso. Il formato SQL esporta l' intero database e probabilmente richiede più tempo per essere completato. Il formato CSV ti consente di definire gli elementi del database da includere nell'esportazione.

Utilizza le esportazioni CSV per esportare solo ciò di cui hai bisogno.
L'esportazione richiede troppo tempo. Cloud SQL non supporta le operazioni sincrone simultanee.

Utilizza trasferimento dell'esportazione. A livello generale, nel trasferimento dell'esportazione, anziché emettere un'esportazione sull'istanza di origine, Cloud SQL avvia un' istanza di trasferimento per eseguire l'esportazione. Il trasferimento dell'esportazione presenta diversi vantaggi, tra cui un aumento delle prestazioni sull'istanza di origine e lo sblocco delle operazioni amministrative durante l'esecuzione dell'esportazione. Con il trasferimento dell'esportazione, la latenza totale può aumentare in base al tempo necessario per avviare l'istanza di trasferimento. In genere, per le esportazioni di dimensioni ragionevoli, la latenza non è significativa. Tuttavia, se l'esportazione è abbastanza piccola, allora potresti notare l'aumento della latenza.
Errore di creazione dell'estensione. Il file di dump contiene riferimenti a un'estensione non supportata.

Modifica il file di dump per rimuovere i riferimenti.
Errore durante l'utilizzo di pg_dumpall. L'utilizzo dell'utilità pg_dumpall con il flag --global richiede il ruolo di superutente, ma questo ruolo non è supportato in Cloud SQL per PostgreSQL. Per evitare che si verifichino errori durante l'esecuzione di operazioni di esportazione che includono nomi utente, utilizza anche il --no-role-passwords flag.
L'operazione di esportazione va in timeout prima di esportare qualsiasi elemento e viene visualizzato il messaggio di errore Could not receive data from client: Connection reset by peer. Se Cloud Storage non riceve dati entro un determinato periodo di tempo, in genere circa sette minuti, la connessione viene reimpostata. È possibile che la query di esportazione iniziale richieda troppo tempo per essere eseguita.

Esegui un'esportazione manuale utilizzando lo pg_dump strumento.
Vuoi che le esportazioni siano automatizzate. Cloud SQL non fornisce un modo per automatizzare le esportazioni.

Puoi creare il tuo sistema di esportazione automatizzato utilizzando Google Cloud prodotti come Cloud Scheduler, Pub/Sub e funzioni Cloud Run, in modo simile a questo articolo sull' automazione dei backup.

Passaggi successivi