Usa la plantilla de flujos de cambios de Bigtable a BigQuery

En esta guía de inicio rápido, aprenderás a configurar una tabla de Bigtable con un flujo de cambios habilitado, ejecutar una canalización de flujo de cambios, realizar cambios en tu tabla y, luego, ver los cambios transmitidos.

Antes de comenzar

En la Google Cloud consola de, en la página del selector de proyectos, selecciona o crea un Google Cloud proyecto de.
Roles necesarios para seleccionar o crear un proyecto
- Seleccionar un proyecto: Para seleccionar un proyecto, no se requiere un rol de IAM específico. Puedes seleccionar cualquier proyecto en el que se te haya otorgado un rol.
- Crear un proyecto: Para crear un proyecto, necesitas el rol de creador de proyectos (roles/resourcemanager.projectCreator), que contiene el resourcemanager.projects.create permiso. Obtén más información para otorgar roles.
Ir al selector de proyectos
Verifica que la facturación esté habilitada para tu Google Cloud proyecto.
Habilita las APIs de Dataflow, Cloud Bigtable, API de Cloud Bigtable Admin y BigQuery.
Roles necesarios para habilitar las APIs
Para habilitar las APIs, necesitas el rol de IAM de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin), que contiene el permiso serviceusage.services.enable. Obtén más información para otorgar roles.
Habilitar las API

En la Google Cloud consola de, activa Cloud Shell.

Activa Cloud Shell

Crea un conjunto de datos de BigQuery

Usa la Google Cloud consola de para crear un conjunto de datos que almacene los datos.

En la Google Cloud consola de, ve a la página BigQuery.

Ir a BigQuery
En el panel Explorador, haz clic en el nombre de tu proyecto.
Expande la opción Acciones y haz clic en Crear conjunto de datos.
En la página Crear conjunto de datos, haz lo siguiente:
1. En ID del conjunto de datos, ingresa bigtable_bigquery_quickstart.
2. Deja la configuración predeterminada restante como está y haz clic en Crear conjunto de datos.

Crea una tabla con un flujo de cambios habilitado

En la Google Cloud consola de, ve a la página Instancias de Bigtable.

Ir a Instancias
Haz clic en el ID de la instancia que usas para esta guía de inicio rápido.

Si no tienes una instancia disponible, crea una con las configuraciones predeterminadas en una región cercana.
En el panel de navegación izquierdo, haz clic en Tablas.
Haz clic en Crea una tabla.
Asigna el nombre bigquery-changestream-quickstart a la tabla.
Agrega una familia de columnas con el nombre cf.
Selecciona Habilitar flujo de cambios.
Haz clic en Crear.
En la página Tablas de Bigtable, busca tu tabla bigquery-changestream-quickstart.
En la columna Flujo de cambios, haz clic en Conectar.
En el diálogo, selecciona BigQuery.
Haz clic en Crear trabajo de Dataflow.
En los campos de parámetros proporcionados, ingresa los valores de tus parámetros. No es necesario que proporciones ningún parámetro opcional.
1. Establece el ID de perfil de la aplicación de Bigtable en default.
2. Establece el conjunto de datos de BigQuery en bigtable_bigquery_quickstart.
Haga clic en Ejecutar trabajo.
Espera a que el estado del trabajo sea Iniciando o En ejecución antes de continuar. Tarda unos 5 minutos una vez que el trabajo está en cola.
Mantén el trabajo abierto en una pestaña para que puedas detenerlo cuando limpies tus recursos.

Escribe algunos datos en Bigtable

En Cloud Shell, escribe algunas filas en Bigtable para que el registro de cambios pueda escribir algunos datos en BigQuery. Siempre que escribas los datos después de que se cree el trabajo, aparecerán los cambios. No tienes que esperar a que el estado del trabajo se convierta en running.

Nota: Para instalar la CLI de cbt si aún no está instalada, consulta Instala la CLI de cbt.
```
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user123 cf:col1=abc
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user546 cf:col1=def
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user789 cf:col1=ghi
```
Reemplaza lo siguiente:
- PROJECT_ID: Es el ID del proyecto que usas.
- BIGTABLE_INSTANCE_ID: Es el ID de la instancia que contiene la tabla bigquery-changestream-quickstart.

Visualiza los registros de cambios en BigQuery

En la Google Cloud consola de, ve a la BigQueryBigQuery.

Ir a BigQuery
En el panel Explorador, expande tu proyecto y el conjunto de datos bigtable_bigquery_quickstart.
Haz clic en la tabla bigquery-changestream-quickstart_changelog.
Para ver el registro de cambios, haz clic en Vista previa.

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu Google Cloud cuenta de por los recursos que usaste en esta página.

Inhabilita el flujo de cambios en la tabla:

gcloud bigtable instances tables update bigquery-changestream-quickstart \
--project=PROJECT_ID --instance=BIGTABLE_INSTANCE_ID \
--clear-change-stream-retention-period

Borra la tabla bigquery-changestream-quickstart:

cbt --instance=BIGTABLE_INSTANCE_ID --project=PROJECT_ID deletetable bigquery-changestream-quickstart

Detén la canalización de flujo de cambios:
1. En la Google Cloud consola de, ve a la página Trabajos de Dataflow.
  
  Ir a Trabajos
2. Selecciona tu trabajo de transmisión en la lista de trabajos.
3. En la navegación, haz clic en Detener.
4. En el diálogo Detener trabajo, selecciona Cancelar y, luego, haz clic en Detener trabajo.
Borra el conjunto de datos de BigQuery:
1. En la Google Cloud consola de, ve a la página BigQuery.
  
  Ir a BigQuery
2. En el panel Explorador, busca el conjunto de datos bigtable_bigquery_quickstart y haz clic en él.
3. Haz clic en Borrar, escribe delete y, luego, haz clic en Borrar para confirmar.
Opcional: Borra la instancia si creaste una nueva para esta guía de inicio rápido:
```
cbt deleteinstance BIGTABLE_INSTANCE_ID
```