Enviar cambios a Pub/Sub mediante un activador de función de Cloud Run opcional

En este tutorial se muestra cómo usar la plantilla Bigtable change streams to Pub/Sub (Flujos de cambios de Bigtable a Pub/Sub), incluido cómo configurar un tema y la plantilla. También puedes crear una función de Cloud Run en el lenguaje de programación que elijas que se active con el flujo de eventos.

Este tutorial está dirigido a usuarios técnicos que estén familiarizados con Bigtable, la escritura de código y los servicios de streaming de eventos.

Objetivos

En este tutorial te explicamos cómo hacer lo siguiente:

  • Crea una tabla de Bigtable con un flujo de cambios habilitado.
  • Crea un tema de Pub/Sub con el esquema de flujo de cambios de Bigtable.
  • Despliega un flujo de cambios de Bigtable en una canalización de Pub/Sub en Dataflow mediante la plantilla.
  • Consulta el flujo de eventos en Pub/Sub directamente o en los registros de una función de Cloud Run.

Costes

En este documento, se utilizan los siguientes componentes facturables de Google Cloud:

Para generar una estimación de costes basada en el uso previsto, utiliza la calculadora de precios.

Los usuarios nuevos pueden disfrutar de una prueba gratuita. Google Cloud

Cuando termines las tareas que se describen en este documento, puedes evitar que se te siga facturando eliminando los recursos que hayas creado. Para obtener más información, consulta la sección Limpiar.

Antes de empezar

    Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

    In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

    Verify that billing is enabled for your Google Cloud project.

    Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Run functions, and Cloud Storage APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

    Verify that billing is enabled for your Google Cloud project.

    Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Run functions, and Cloud Storage APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  1. Actualiza e instala la CLI de cbt . 
    gcloud components update
gcloud components install cbt

    2. Crear un tema de Pub/Sub

    1. En la Google Cloud consola, ve a la página Temas de Pub/Sub.

      Ir a Temas

    2. Haz clic en Crear tema.

    3. Define el ID como bigtable-change-stream-topic.

    4. Selecciona Usar un esquema.

    5. En el menú desplegable Select a Pub/Sub schema (Seleccionar un esquema de Pub/Sub), haga clic en Create new schema (Crear esquema). Se abrirá una pestaña nueva donde podrás definir el esquema.

      1. Define el ID de esquema como bigtable-change-stream-schema.
      2. Asigna el valor Avro al tipo de esquema.
      3. Pegue lo siguiente como definición de esquema. Puedes consultar más información sobre el esquema en la página de documentación de la plantilla.
        {
      "name" : "ChangelogEntryMessage",
      "type" : "record",
      "namespace" : "com.google.cloud.teleport.bigtable",
      "fields" : [
        { "name" : "rowKey", "type" : "bytes"},
        {
          "name" : "modType",
          "type" : {
            "name": "ModType",
            "type": "enum",
            "symbols": ["SET_CELL", "DELETE_FAMILY", "DELETE_CELLS", "UNKNOWN"]}
        },
        { "name": "isGC", "type": "boolean" },
        { "name": "tieBreaker", "type": "int"},
        { "name": "columnFamily", "type": "string"},
        { "name": "commitTimestamp", "type" : "long"},
        { "name" : "sourceInstance", "type" : "string"},
        { "name" : "sourceCluster", "type" : "string"},
        { "name" : "sourceTable", "type" : "string"},
        { "name": "column", "type" : ["null", "bytes"]},
        { "name": "timestamp", "type" : ["null", "long"]},
        { "name": "timestampFrom", "type" : ["null", "long"]},
        { "name": "timestampTo", "type" : ["null", "long"]},
        { "name" : "value", "type" : ["null", "bytes"]}
    ]
  }
      1. Haga clic en Crear para crear el esquema.

    6. Cierra la pestaña Crear esquema, actualiza la lista de esquemas y selecciona el esquema que acabas de definir.

    7. Haz clic en Crear para crear el tema.

    Opcional: Crear una función de Cloud Run

    Puede que quieras procesar el flujo de Pub/Sub con una función de Cloud Run.

    1. En la página Detalles del tema bigtable-change-stream-topic, haz clic en Activar función de Cloud .
    2. En el campo Nombre de la función, introduce el nombre bt-ps-tutorial-function.
    3. En la sección Código fuente, haz clic en el desplegable Tiempo de ejecución y, a continuación, selecciona el tiempo de ejecución y el lenguaje de programación que quieras. Se genera un hello world que imprime el flujo de cambios a medida que se recibe. Consulta la documentación para obtener más información sobre cómo escribir funciones de Cloud Run.
    4. Usa los valores predeterminados del resto de los campos.
    5. Haz clic en Desplegar función.

    Crear una tabla con un flujo de cambios habilitado

    1. En la Google Cloud consola, ve a la página de Bigtable Instancias.

      Ve a Instancias

    2. Haga clic en el ID de la instancia que esté usando en este tutorial.

      Si no tienes ninguna instancia disponible, crea una con las configuraciones predeterminadas en una región cercana.

    3. En el panel de navegación de la izquierda, haga clic en Tablas.

    4. Haz clic en Crear tabla.

    5. Asigna un nombre a la tabla change-streams-pubsub-tutorial.

    6. Añade una familia de columnas llamada cf.

    7. Selecciona Habilitar flujo de cambios.

    8. Haz clic en Crear.

    Inicializar un flujo de procesamiento de datos para capturar el flujo de cambios

    1. En la página Tablas de Bigtable, busca tu tabla. change-streams-pubsub-tutorial
    2. En la columna Cambio de flujo, haga clic en Conectar.
    3. En el cuadro de diálogo, selecciona Pub/Sub.
    4. Haz clic en Crear tarea de Dataflow.
    5. En la página Crear tarea de Dataflow, asigna el nombre del tema de salida de Pub/Sub: bigtable-change-stream-topic.
    6. Asigna el ID de perfil de aplicación de Bigtable a default.
    7. Haz clic en Ejecutar trabajo.
    8. Espera a que el estado del trabajo sea Iniciando o En curso antes de continuar. Tarda unos 5 minutos una vez que se pone en cola.

    Escribir datos en Bigtable

    1. En Cloud Shell, escribe algunas filas en Bigtable para que el registro de cambios pueda escribir algunos datos en el flujo de Pub/Sub. Siempre que escribas los datos después de crear el trabajo, los cambios aparecerán. No tienes que esperar a que el estado del trabajo sea running.

      cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
    set change-streams-pubsub-tutorial user123 cf:col1=abc
cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
    set change-streams-pubsub-tutorial user546 cf:col1=def
cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
    set change-streams-pubsub-tutorial user789 cf:col1=ghi

    Ver los registros de cambios en Pub/Sub

    1. En la Google Cloud consola, ve a la página Suscripciones de Pub/Sub .

      Ir a Suscripciones

    2. Haz clic en la suscripción creada automáticamente para tu tema. bigtable-change-stream-topic Debe llamarse bigtable-change-stream-topic-sub.

    3. Ve a la pestaña Mensajes.

    4. Haz clic en Extraer.

    5. Consulta la lista de mensajes y los datos que has escrito.

      Mensajes del registro de cambios en Pub/Sub

    Opcional: Ver los cambios en los registros de Cloud Run Functions

    Si has creado una función de Cloud Run Functions, puedes ver los cambios en los registros.

    1. En la Google Cloud consola, ve a Cloud Run functions.

      Ir a Cloud Run Functions

    2. Haz clic en tu función bt-ps-tutorial-function.

    3. Ve a la pestaña Registros.

    4. Asegúrate de que Gravedad esté configurado como Información como mínimo para poder ver los registros.

    5. Explora los registros y consulta los datos que has escrito.

    El resultado es similar al siguiente:

    Pub/Sub message: {"rowKey":"user789","modType":"SET_CELL","isGC":false,"tieBreaker":0,"columnFamily":"cf","commitTimestamp":1695653833064548,"sourceInstance":"YOUR-INSTANCE","sourceCluster":"YOUR-INSTANCE-c1","sourceTable":"change-streams-pubsub-tutorial","column":{"bytes":"col1"},"timestamp":{"long":1695653832278000},"timestampFrom":null,"timestampTo":null,"value":{"bytes":"ghi"}}

    Limpieza

    Para evitar que los recursos utilizados en este tutorial se cobren en tu cuenta de Google Cloud, elimina el proyecto que contiene los recursos o conserva el proyecto y elimina los recursos.

    Eliminar la tabla de Bigtable

    1. En la Google Cloud consola, ve a la página de Bigtable Instancias.

      Ve a Instancias

    2. Haga clic en el ID de la instancia que esté usando en este tutorial.

    3. En el panel de navegación de la izquierda, haga clic en Tablas.

    4. Busca la tabla change-streams-pubsub-tutorial.

    5. Haz clic en Editar.

    6. Desmarca Habilitar flujo de cambios.

    7. Haz clic en Guardar.

    8. Abre el menú adicional de la tabla.

    9. Haz clic en Eliminar e introduce el nombre de la tabla para confirmar la acción.

    Detener el flujo de procesamiento de cambios

    1. En la Google Cloud consola, ve a la página Trabajos de Dataflow.

      Ir a Tareas

    2. Selecciona el trabajo de streaming en la lista de trabajos.

    3. En la navegación, haz clic en Detener.

    4. En el cuadro de diálogo Detener tarea, cancela tu canalización y, a continuación, haz clic en Detener tarea.

    Eliminar el tema y la suscripción de Pub/Sub

    1. En la Google Cloud consola, ve a la página Temas de Pub/Sub.

      Ir a Temas

    2. Selecciona el tema bigtable-change-stream-topic.

    3. Haz clic en Eliminar y confirma la acción.

    4. En la barra lateral, haz clic en Suscripciones.

    5. Selecciona la suscripción a bigtable-change-stream-topic-sub.

    6. Haz clic en Eliminar y confirma la acción.

    Eliminar la función de Cloud Run

    1. En la Google Cloud consola, ve a Cloud Run functions.

      Ir a Cloud Run Functions

    2. Selecciona la función bt-ps-tutorial-function.

    3. Haz clic en Eliminar y confirma la acción.

    Siguientes pasos