Usa la plantilla de flujos de cambios de Bigtable a BigQuery

En esta guía de inicio rápido, aprenderás a configurar una tabla de Bigtable con un flujo de cambios habilitado, ejecutar una canalización de flujo de cambios, realizar cambios en tu tabla y, luego, ver los cambios transmitidos.

Antes de comenzar

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, and BigQuery APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  4. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    Crea un conjunto de datos de BigQuery

    Usa la consola de Google Cloud para crear un conjunto de datos que almacene los datos.

    1. En la consola de Google Cloud , ve a la página BigQuery.

      Ir a BigQuery

    2. En el panel Explorador, haz clic en el nombre de tu proyecto.

    3. Expande la opción Acciones y haz clic en Crear conjunto de datos.

    4. En la página Crear conjunto de datos, haz lo siguiente:

      1. En ID del conjunto de datos, ingresa bigtable_bigquery_quickstart.
      2. Deja la configuración predeterminada restante como está y haz clic en Crear conjunto de datos.

    Crea una tabla con una transmisión de cambios habilitada

    1. En la consola de Google Cloud , ve a la página Instancias de Bigtable.

      Ir a Instancias

    2. Haz clic en el ID de la instancia que usas para esta guía de inicio rápido.

      Si no tienes una instancia disponible, crea una con las configuraciones predeterminadas en una región cercana.

    3. En el panel de navegación izquierdo, haz clic en Tablas.

    4. Haz clic en Crea una tabla.

    5. Asígnale el nombre bigquery-changestream-quickstart a la tabla.

    6. Agrega una familia de columnas llamada cf.

    7. Selecciona Habilitar el flujo de cambios.

    8. Haz clic en Crear.

    9. En la página Tablas de Bigtable, busca tu tabla bigquery-changestream-quickstart.

    10. En la columna Change stream, haz clic en Connect.

    11. En el diálogo, selecciona BigQuery.

    12. Haz clic en Crear trabajo de Dataflow.

    13. En los campos de parámetros proporcionados, ingresa los valores de tus parámetros. No es necesario que proporciones ningún parámetro opcional.

      1. Establece el ID del perfil de aplicación de Bigtable en default.
      2. Establece el conjunto de datos de BigQuery en bigtable_bigquery_quickstart.

    14. Haga clic en Ejecutar trabajo.

    15. Espera a que el estado del trabajo sea Starting o Running antes de continuar. Tarda alrededor de 5 minutos una vez que el trabajo se pone en cola.

    16. Mantén el trabajo abierto en una pestaña para que puedas detenerlo cuando limpies tus recursos.

    Escribe algunos datos en Bigtable

    1. En Cloud Shell, escribe algunas filas en Bigtable para que el registro de cambios pueda escribir algunos datos en BigQuery. Siempre y cuando escribas los datos después de que se cree el trabajo, aparecerán los cambios. No tienes que esperar a que el estado del trabajo sea running.

      cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user123 cf:col1=abc
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user546 cf:col1=def
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user789 cf:col1=ghi

      Reemplaza lo siguiente:

      • PROJECT_ID: Es el ID del proyecto que usas.
      • BIGTABLE_INSTANCE_ID: Es el ID de la instancia que contiene la tabla bigquery-changestream-quickstart.

    Consulta los registros de cambios en BigQuery

    1. En la consola de Google Cloud , ve a la página BigQuery.

      Ir a BigQuery

    2. En el panel Explorador, expande tu proyecto y el conjunto de datos bigtable_bigquery_quickstart.

    3. Haz clic en la tabla bigquery-changestream-quickstart_changelog.

    4. Para ver el registro de cambios, haz clic en Vista previa.

      Vista previa del registro de cambios en BigQuery

    Limpia

    Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.

    1. Inhabilita el flujo de cambios en la tabla:

      gcloud bigtable instances tables update bigquery-changestream-quickstart \
--project=PROJECT_ID --instance=BIGTABLE_INSTANCE_ID \
--clear-change-stream-retention-period

    2. Borra la tabla bigquery-changestream-quickstart:

      cbt --instance=BIGTABLE_INSTANCE_ID --project=PROJECT_ID deletetable bigquery-changestream-quickstart

    3. Detén la canalización de flujos de cambios:

      1. En la consola de Google Cloud , ve a la página Trabajos de Dataflow.

        Ir a Trabajos

      2. Selecciona tu trabajo de transmisión en la lista de trabajos.

      3. En la navegación, haz clic en Detener.

      4. En el cuadro de diálogo Detener trabajo, selecciona Cancelar y, luego, haz clic en Detener trabajo.

    4. Borra el conjunto de datos de BigQuery:

      1. En la consola de Google Cloud , ve a la página BigQuery.

        Ir a BigQuery

      2. En el panel Explorador, busca el conjunto de datos bigtable_bigquery_quickstart y haz clic en él.

      3. Haz clic en Borrar, escribe delete y, luego, haz clic en Borrar para confirmar.

    5. Opcional: Borra la instancia si creaste una nueva para esta guía de inicio rápido:

      cbt deleteinstance BIGTABLE_INSTANCE_ID

    ¿Qué sigue?