Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Plantilla de Bigtable a Cloud Storage en SequenceFile

La plantilla de Bigtable a Cloud Storage en SequenceFile es una canalización que lee datos de una tabla de Bigtable y escribe los datos en un bucket de Cloud Storage en formato SequenceFile. Puedes usar la plantilla para copiar datos de Bigtable a Cloud Storage.

Requisitos de la canalización

La tabla de Bigtable debe existir.
El bucket de Cloud Storage de salida debe existir antes de ejecutar la canalización.

Parámetros de la plantilla

Parámetros obligatorios

bigtableProject: El ID del proyecto de Google Cloud, el cual contiene la instancia de Bigtable de la que deseas leer datos.
bigtableInstanceId: El ID de la instancia de Bigtable que contiene la tabla.
bigtableTableId: El ID de la tabla de Bigtable que se exportará.
destinationPath: La ruta de Cloud Storage en la que se escriben los datos. Por ejemplo, gs://your-bucket/your-path/.
filenamePrefix: El prefijo del nombre del archivo SequenceFile. Por ejemplo, output-.

Parámetros opcionales

bigtableAppProfileId: El ID del perfil de la aplicación de Bigtable que se usará para la exportación. Si no especificas un perfil de aplicación, Bigtable usa el perfil de aplicación predeterminado de la instancia: https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile.
bigtableStartRow: La fila desde la que se iniciará la exportación. La configuración predeterminada es la primera fila.
bigtableStopRow: La fila en la que se detendrá la exportación. La configuración predeterminada es la última fila.
bigtableMaxVersions: Es la cantidad máxima de versiones de celdas. La configuración predeterminada es 2147483647.
bigtableFilter: Es una cadena de filtro. Consulta: http://hbase.apache.org/book.html#thrift. La configuración predeterminada es vacía.
bigtableReadRpcTimeoutMs: Es el tiempo de espera de RPC de lectura de Bigtable en milisegundos.
bigtableReadRpcAttemptTimeoutMs: Es el tiempo de espera de intento de RPC de lectura de Bigtable en milisegundos.

Ejecuta la plantilla

Console

Ve a la página Crear un trabajo a partir de una plantilla de Dataflow.

Ir a Crear un trabajo a partir de una plantilla

En el campo Nombre del trabajo, ingresa un nombre de trabajo único.
Opcional: Para Extremo regional, selecciona un valor del menú desplegable. La región predeterminada es us-central1.
Para obtener una lista de regiones en las que puedes ejecutar un trabajo de Dataflow, consulta Ubicaciones de Dataflow.
En el menú desplegable Plantilla de Dataflow, selecciona la plantilla Cloud Bigtable to SequenceFile Files on Cloud Storage .
En los campos de parámetros proporcionados, ingresa los valores de tus parámetros.
Haga clic en Ejecutar trabajo.

gcloud

En tu shell o terminal, ejecuta la plantilla:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/ \
    --region REGION_NAME \
    --parameters \
bigtableProject=BIGTABLE_PROJECT_ID,\
bigtableInstanceId=INSTANCE_ID,\
bigtableTableId=TABLE_ID,\
bigtableAppProfileId=APPLICATION_PROFILE_ID,\
destinationPath=DESTINATION_PATH,\
filenamePrefix=FILENAME_PREFIX

Reemplaza lo siguiente:

JOB_NAME: Es el nombre del trabajo que elijas
VERSION: Es la versión de la plantilla que deseas usar.
Puedes usar los siguientes valores:
- latest para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/
- el nombre de la versión, como 2023-09-12-00_RC00, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
Precaución: La versión más reciente de las plantillas podría actualizarse con cambios rotundos. Los entornos de producción deben usar plantillas que se conserven en la carpeta superior con la fecha más reciente para evitar que estos cambios rotundos afecten los flujos de trabajo de producción.
REGION_NAME: la región en la que deseas implementar tu trabajo de Dataflow, por ejemplo, us-central1
BIGTABLE_PROJECT_ID: Es el ID del Google Cloud proyecto de la instancia de Bigtable del que deseas leer los datos.
INSTANCE_ID: Es el ID de la instancia de Bigtable que contiene la tabla.
TABLE_ID: Es el ID de la tabla de Bigtable que se exportará.
APPLICATION_PROFILE_ID: Es el ID del perfil de la aplicación de Bigtable que se usará para la exportación.
DESTINATION_PATH: La ruta de Cloud Storage en la que se escriben los datos, por ejemplo, gs://mybucket/somefolder
FILENAME_PREFIX: Es el prefijo del nombre del archivo SequenceFile, por ejemplo, output-

API

Para ejecutar la plantilla con la API de REST, envía una solicitud POST HTTP. Para obtener más información de la API y sus permisos de autorización, consulta projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/
{
   "jobName": "JOB_NAME",
   "parameters": {
       "bigtableProject": "BIGTABLE_PROJECT_ID",
       "bigtableInstanceId": "INSTANCE_ID",
       "bigtableTableId": "TABLE_ID",
       "bigtableAppProfileId": "APPLICATION_PROFILE_ID",
       "destinationPath": "DESTINATION_PATH",
       "filenamePrefix": "FILENAME_PREFIX",
   },
   "environment": { "zone": "us-central1-f" }
}