Usa la plantilla de flujos de cambios de Bigtable a BigQuery
En esta guía de inicio rápido, aprenderás a configurar una tabla de Bigtable con un flujo de cambios habilitado, ejecutar una canalización de flujo de cambios, realizar cambios en tu tabla y, luego, ver los cambios transmitidos.
Antes de comenzar
-
En la consola de Google Cloud , en la página del selector de proyectos, selecciona o crea un proyecto de Google Cloud .
Roles necesarios para seleccionar o crear un proyecto
- Selecciona un proyecto: Seleccionar un proyecto no requiere un rol de IAM específico. Puedes seleccionar cualquier proyecto en el que se te haya otorgado un rol.
-
Crea un proyecto: Para crear un proyecto, necesitas el rol de Creador de proyectos (
roles/resourcemanager.projectCreator), que contiene el permisoresourcemanager.projects.create. Obtén más información para otorgar roles.
-
Verifica que la facturación esté habilitada para tu proyecto de Google Cloud .
Habilita las APIs de Dataflow, Cloud Bigtable, API de Cloud Bigtable Admin y BigQuery si alguna aún no está habilitada.
Roles necesarios para habilitar las APIs
Para habilitar APIs, necesitas el permiso
serviceusage.services.enable. Si creaste el proyecto, es probable que ya tengas este permiso a través del rol de propietario (roles/owner). De lo contrario, puedes obtener este permiso a través del rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin). Obtén más información para otorgar roles.-
En la consola de Google Cloud , activa Cloud Shell.
Crea un conjunto de datos de BigQuery
Usa la consola de Google Cloud para crear un conjunto de datos que almacene los datos.
En la consola de Google Cloud , ve a la página BigQuery.
En el panel Explorador, haz clic en el nombre de tu proyecto.
Expande la opción Acciones y haz clic en Crear conjunto de datos.
En la página Crear conjunto de datos, haz lo siguiente:
- En ID del conjunto de datos, ingresa
bigtable_bigquery_quickstart. - Deja la configuración predeterminada restante como está y haz clic en Crear conjunto de datos.
- En ID del conjunto de datos, ingresa
Crea una tabla con un flujo de cambios habilitado
En la consola de Google Cloud , ve a la página Instancias de Bigtable.
Haz clic en el ID de la instancia que usas para esta guía de inicio rápido.
Si no tienes una instancia disponible, crea una con las configuraciones predeterminadas en una región cercana.
En el panel de navegación izquierdo, haz clic en Tablas.
Haz clic en Crea una tabla.
Asigna el nombre
bigquery-changestream-quickstarta la tabla.Agrega una familia de columnas llamada
cf.Selecciona Habilitar el flujo de cambios.
Haz clic en Crear.
En la página Tablas de Bigtable, busca tu tabla
bigquery-changestream-quickstart.En la columna Change stream, haz clic en Connect.
En el diálogo, selecciona BigQuery.
Haz clic en Crear trabajo de Dataflow.
En los campos de parámetros proporcionados, ingresa los valores de tus parámetros. No es necesario que proporciones ningún parámetro opcional.
- Establece el ID del perfil de aplicación de Bigtable en
default. - Establece el conjunto de datos de BigQuery en
bigtable_bigquery_quickstart.
- Establece el ID del perfil de aplicación de Bigtable en
Haga clic en Ejecutar trabajo.
Espera a que el estado del trabajo sea Iniciando o En ejecución antes de continuar. Tarda alrededor de 5 minutos una vez que el trabajo se pone en cola.
Mantén el trabajo abierto en una pestaña para que puedas detenerlo cuando limpies tus recursos.
Escribe algunos datos en Bigtable
En Cloud Shell, escribe algunas filas en Bigtable para que el registro de cambios pueda escribir algunos datos en BigQuery. Siempre y cuando escribas los datos después de que se cree el trabajo, aparecerán los cambios. No es necesario que esperes a que el estado del trabajo sea
running.cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \ set bigquery-changestream-quickstart user123 cf:col1=abc cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \ set bigquery-changestream-quickstart user546 cf:col1=def cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \ set bigquery-changestream-quickstart user789 cf:col1=ghiReemplaza lo siguiente:
- PROJECT_ID: Es el ID del proyecto que usas.
- BIGTABLE_INSTANCE_ID: Es el ID de la instancia que contiene la tabla
bigquery-changestream-quickstart.
Consulta los registros de cambios en BigQuery
En la consola de Google Cloud , ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y el conjunto de datos
bigtable_bigquery_quickstart.Haz clic en la tabla
bigquery-changestream-quickstart_changelog.Para ver el registro de cambios, haz clic en Vista previa.
Realiza una limpieza
Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.
Inhabilita el flujo de cambios en la tabla:
gcloud bigtable instances tables update bigquery-changestream-quickstart \ --project=PROJECT_ID --instance=BIGTABLE_INSTANCE_ID \ --clear-change-stream-retention-periodBorra la tabla
bigquery-changestream-quickstart:cbt --instance=BIGTABLE_INSTANCE_ID --project=PROJECT_ID deletetable bigquery-changestream-quickstartDetén la canalización de flujos de cambios:
En la consola de Google Cloud , ve a la página Trabajos de Dataflow.
Selecciona tu trabajo de transmisión en la lista de trabajos.
En la navegación, haz clic en Detener.
En el cuadro de diálogo Detener trabajo, selecciona Cancelar y, luego, haz clic en Detener trabajo.
Borra el conjunto de datos de BigQuery:
En la consola de Google Cloud , ve a la página BigQuery.
En el panel Explorador, busca el conjunto de datos
bigtable_bigquery_quickstarty haz clic en él.Haz clic en Borrar, escribe
deletey, luego, haz clic en Borrar para confirmar.
Opcional: Borra la instancia si creaste una nueva para esta guía de inicio rápido:
cbt deleteinstance BIGTABLE_INSTANCE_ID