Escribe datos en la base de datos de Firestore

En esta página, se describe la segunda etapa del proceso de migración, en la que configuras una canalización de Dataflow y comienzas una transferencia de datos simultánea desde el bucket de Cloud Storage a tu base de datos de Firestore con compatibilidad con MongoDB de destino. Esta operación se ejecutará de forma simultánea con la transmisión de Datastream.

Inicia la canalización de Dataflow

El siguiente comando inicia una canalización de Dataflow nueva con un nombre único.

Se aceptan los siguientes formatos:

  • inputFilePattern=gs://bucket-name/migration/attempt_1/
  • inputFilePattern=gs://bucket-name/migration/
  • inputFilePattern=gs://bucket-name/

No compatibles:

  • inputFilePattern=gs://bucket-name/**/*
DATAFLOW_START_TIME="$(date +'%Y%m%d%H%M%S')"

gcloud dataflow flex-template run "dataflow-mongodb-to-firestore-$DATAFLOW_START_TIME" \
--template-file-gcs-location gs://dataflow-templates-us-central1/latest/flex/Cloud_Datastream_MongoDB_to_Firestore \
--region $LOCATION \
--num-workers $NUM_WORKERS \
--temp-location $TEMP_OUTPUT_LOCATION \
--additional-user-labels "" \
--parameters inputFilePattern=$INPUT_FILE_LOCATION,\
inputFileFormat=avro,\
fileReadConcurrency=10,\
connectionUri=$FIRESTORE_CONNECTION_URI,\
databaseName=$FIRESTORE_DATABASE_NAME,\
shadowCollectionPrefix=shadow_,\
batchSize=500,\
deadLetterQueueDirectory=$DLQ_LOCATION,\
dlqRetryMinutes=10,\
dlqMaxRetryCount=500,\
processBackfillFirst=false,\
useShadowTablesForBackfill=true,\
runMode=regular,\
directoryWatchDurationInMinutes=20,\
streamName=$DATASTREAM_NAME,\
stagingLocation=$STAGING_LOCATION,\
autoscalingAlgorithm=THROUGHPUT_BASED,\
maxNumWorkers=$MAX_WORKERS,\
workerMachineType=$WORKER_TYPE

Para obtener más información sobre cómo supervisar la canalización de Dataflow, consulta Solución de problemas.

¿Qué sigue?

Continúa con Migrar el tráfico a Firestore.