Pianificare le esportazioni di dati
Questa pagina descrive come pianificare le esportazioni dei dati di Firestore. Per eseguire le esportazioni in base a una pianificazione, ti consigliamo di utilizzare le funzioni Cloud Run e Cloud Scheduler.
Prima di iniziare
Prima di pianificare le esportazioni di dati gestiti, devi completare le seguenti attività:
- Abilita la fatturazione per il tuo Google Cloud progetto. Solo i progetti con la fatturazione abilitata possono utilizzare la funzionalità di esportazione e importazione. Google Cloud
- Le operazioni di esportazione richiedono un bucket Cloud Storage di destinazione. Crea un bucket Cloud Storage in una località vicina alla località del database Firestore. Non puoi utilizzare un bucket con pagamento a carico del richiedente per le operazioni di esportazione.
Creare una Cloud Function e un job Cloud Scheduler
Segui i passaggi riportati di seguito per creare una Cloud Function Node.js che avvia un'esportazione dei dati di Firestore e un job Cloud Scheduler per chiamare la funzione:
Interfaccia a riga di comando di Firebase
-
Installa l'interfaccia a riga di comando di Firebase. In una nuova directory, inizializza l'interfaccia a riga di comando per Cloud Run functions:
firebase init functions --project PROJECT_ID
- Seleziona JavaScript come linguaggio.
- (Facoltativo) Abilita ESLint.
- Inserisci
yper installare le dipendenze.
-
Sostituisci il codice nel file
functions/index.jscon il seguente:const functions = require('firebase-functions'); const firestore = require('@google-cloud/firestore'); const client = new firestore.v1.FirestoreAdminClient(); // Replace BUCKET_NAME const bucket = 'gs://BUCKET_NAME'; exports.scheduledFirestoreExport = functions.pubsub .schedule('every 24 hours') .onRun((context) => { const projectId = process.env.GCP_PROJECT; const databaseName = client.databasePath(projectId, '(default)'); return client.exportDocuments({ name: databaseName, outputUriPrefix: bucket, // Leave collectionIds empty to export all collections // or set to a list of collection IDs to export, // collectionIds: ['users', 'posts'] collectionIds: [] }) .then(responses => { const response = responses[0]; console.log(`Operation Name: ${response['name']}`); }) .catch(err => { console.error(err); throw new Error('Export operation failed'); }); });
-
Nel codice riportato sopra, modifica quanto segue:
- Sostituisci
BUCKET_NAMEcon il nome del tuo bucket. - Sostituisci
YOUR_PROJECT_IDcon l'ID del progetto - Modifica
every 24 hoursper impostare la pianificazione dell'esportazione. Utilizza la sintassi cron.yaml di App Engine o il formato cron di Unix (* * * * *). -
Modifica
collectionIds: []per esportare solo i gruppi di raccolte specificati Lascia invariato per esportare tutti i gruppi di raccolte.
- Sostituisci
-
Esegui il deployment della funzione pianificata:
firebase deploy --only functions
Google Cloud Console
Creare una Cloud Function
-
Vai alla pagina Cloud Functions nella Google Cloud console:
- Fai clic su Scrivi una funzione.
- Inserisci un nome della funzione, ad esempio
firestore-export. - In Trigger, seleziona Cloud Pub/Sub.
- In Argomento, seleziona Crea nuovo argomento. Inserisci un nome per
l'argomento Pub/Sub, ad esempio
initiateFirestoreExport. Prendi nota del nome dell'argomento perché ti servirà per creare il job Cloud Scheduler. - In Codice sorgente, seleziona Editor incorporato. Inserisci il
seguente codice in
index.js: Nel codice riportato sopra, modifica quanto segue:const firestore = require('@google-cloud/firestore'); const client = new firestore.v1.FirestoreAdminClient(); // Replace BUCKET_NAME const bucket = 'gs://BUCKET_NAME' exports.scheduledFirestoreExport = (event, context) => { const databaseName = client.databasePath( YOUR_PROJECT_ID, '(default)' ); return client .exportDocuments({ name: databaseName, outputUriPrefix: bucket, // Leave collectionIds empty to export all collection groups // or define a list of collection group IDs: // collectionIds: ['users', 'posts'] collectionIds: [], }) .then(responses => { const response = responses[0]; console.log(`Operation Name: ${response['name']}`); return response; }) .catch(err => { console.error(err); }); };
- Sostituisci
BUCKET_NAMEcon il nome del tuo bucket. -
Modifica
collectionIds: []per esportare solo i gruppi di raccolte specificati Lascia invariato per esportare tutti i gruppi di raccolte.
- Sostituisci
- In
package.json, aggiungi la seguente dipendenza:{ "dependencies": { "@google-cloud/firestore": "^1.3.0" } } - In Funzione da eseguire, inserisci
scheduledFirestoreExport, il nome della funzione inindex.js. - Fai clic su Crea per eseguire il deployment della Cloud Function.
Creare un job Cloud Scheduler
Poi, crea un job Cloud Scheduler che chiama la Cloud Function:
-
Vai alla pagina Cloud Scheduler nella Google Cloud console:
- Fai clic su Crea job.
- Inserisci un Nome per il job, ad esempio
scheduledFirestoreExport. - Inserisci una Frequenza, ad esempio
every 24 hours. - Seleziona un Fuso orario.
- In Target, seleziona Pub/Sub. Nel campo Argomento, inserisci il nome dell'argomento Pub/Sub che hai definito insieme alla Cloud Function,
initiateFirestoreExportnell'esempio precedente. - Nel campo Payload, inserisci
start export. Il job richiede un payload definito, ma la Cloud Function riportata sopra non utilizza questo valore. - Fai clic su Crea.
Configurare le autorizzazioni di accesso
Poi, concedi alla Cloud Function l'autorizzazione per avviare le operazioni di esportazione e scrivere nel bucket GCS.
Questa funzione Cloud Functions utilizza il account di servizio predefinito del progetto per autenticare e autorizzare le operazioni di esportazione. Quando crei un progetto, viene creato un account di servizio predefinito con il seguente nome:
PROJECT_ID@appspot.gserviceaccount.com
Questo account di servizio richiede l'autorizzazione per avviare un'operazione di esportazione e scrivere nel bucket Cloud Storage. Per concedere queste autorizzazioni, assegna i seguenti ruoli IAM al account di servizio predefinito:
Cloud Datastore Import Export Admin-
Ruolo
OwneroStorage Adminnel bucket
Puoi utilizzare gli strumenti a riga di comando gcloud e gsutil
per assegnare questi ruoli.
Se non sono già installati, puoi accedere a questi
strumenti da Cloud Shell nella Google Cloud console:
Avvia Cloud Shell
-
Assegna il ruolo Cloud Datastore Import Export Admin. Sostituisci PROJECT_ID, ed esegui il seguente comando:
gcloud projects add-iam-policy-binding PROJECT_ID \ --member serviceAccount:PROJECT_ID@appspot.gserviceaccount.com \ --role roles/datastore.importExportAdmin
-
Assegna il ruolo Amministratore Storage nel bucket. Sostituisci PROJECT_ID e BUCKET_NAME, ed esegui il seguente comando:
gsutil iam ch serviceAccount:PROJECT_ID@appspot.gserviceaccount.com:admin \ gs://BUCKET_NAME
Se disabiliti o elimini il account di servizio predefinito di App Engine, la tua app App Engine perderà l'accesso al database Firestore. Se hai disabilitato il account di servizio App Engine, puoi riattivarlo. Per maggiori informazioni, consulta la sezione relativa all'abilitazione di un service account. Se hai eliminato il account di servizio App Engine negli ultimi 30 giorni, puoi ripristinarlo. Per maggiori informazioni, consulta la sezione relativa all'annullamento dell'eliminazione di un service account.
Testare il job Cloud Scheduler e la Cloud Function
Puoi testare il job Cloud Scheduler nella pagina Cloud Scheduler di the Google Cloud console.
Vai alla pagina Cloud Scheduler nella Google Cloud console.
Vai a Cloud SchedulerNella riga del nuovo job Cloud Scheduler, fai clic su Esegui ora.
Dopo alcuni secondi, il job Cloud Scheduler dovrebbe aggiornare la colonna dei risultati a Successo e Ultima esecuzione all'ora corrente. Potrebbe essere necessario fare clic su Aggiorna.
La pagina Cloud Scheduler conferma solo che il job ha chiamato la Cloud Function. Apri la pagina della Cloud Function per visualizzare i log della funzione.
Visualizzare i log della funzione Cloud Function
Per verificare se la Cloud Function ha avviato correttamente un'operazione di esportazione, apri i log della funzione:
Console Firebase
Nella console Firebase, vai a Hosting e serverless > Funzioni.
Console di GCP
Vai alla pagina Funzioni Cloud Run nella Google Cloud console.
Visualizzare lo stato di avanzamento dell'esportazione
Puoi utilizzare il comando gcloud firestore operations list per visualizzare lo
stato di avanzamento delle operazioni di esportazione. Per maggiori informazioni, consulta la sezione
relativa alla gestione delle operazioni di esportazione e importazione.
Una volta completata un'operazione di esportazione, puoi visualizzare i file di output nel bucket Cloud Storage:
Apri il browser di Cloud Storage