Publica eventos en una tabla de BigQuery

Avanzado

En esta guía de inicio rápido, se muestra cómo publicar y recibir mensajes de eventos creando un bus de Eventarc Advanced y una inscripción en tu proyecto de Google Cloud.

Un bus actúa como un enrutador central que recibe mensajes de fuentes de eventos o que publican los proveedores.
Una inscripción enruta los mensajes que recibe el bus a uno o más destinos a través de una canalización de procesamiento.

En esta guía de inicio rápido, podrás hacer lo siguiente:

Crea una tabla de BigQuery.
Crea un bus de Eventarc Advanced.
Crea una inscripción de Eventarc Advanced.
Publica un mensaje de evento en el bus.
Visualiza los datos del evento en la tabla de BigQuery.

Puedes completar esta guía de inicio rápido con gcloud CLI y la herramienta de línea de comandos de bq.

Antes de comenzar

Es posible que las restricciones de seguridad que define tu organización no te permitan completar los siguientes pasos. Para obtener información sobre la solución de problemas, consulta Desarrolla aplicaciones en un entorno de Google Cloud restringido.

Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

Instala Google Cloud CLI.

Si usas un proveedor de identidad externo (IdP), primero debes acceder a la gcloud CLI con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

Crea o selecciona un Google Cloud proyecto.

Roles necesarios para seleccionar o crear un proyecto

Selecciona un proyecto: Para seleccionar un proyecto, no se requiere un rol de IAM específico. Puedes seleccionar cualquier proyecto en el que se te haya otorgado un rol.
Crear un proyecto: Para crear un proyecto, necesitas el rol de Creador de proyectos (roles/resourcemanager.projectCreator), que contiene el permiso resourcemanager.projects.create. Obtén más información para otorgar roles.

Crea un proyecto de Google Cloud :
```
gcloud projects create PROJECT_ID
```
Reemplaza PROJECT_ID por un nombre para el proyecto Google Cloud que estás creando.
Selecciona el proyecto Google Cloud que creaste:
```
gcloud config set project PROJECT_ID
```
Reemplaza PROJECT_ID por el nombre de tu Google Cloud proyecto.

Verifica que la facturación esté habilitada para tu proyecto de Google Cloud .

Habilita las APIs de BigQuery y Eventarc:

Roles necesarios para habilitar las APIs

Para habilitar las APIs, necesitas el rol de IAM de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin), que contiene el permiso serviceusage.services.enable. Obtén más información para otorgar roles.

gcloud services enable bigquery.googleapis.com eventarc.googleapis.com eventarcpublishing.googleapis.com

Instala Google Cloud CLI.

Si usas un proveedor de identidad externo (IdP), primero debes acceder a la gcloud CLI con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

Crea o selecciona un Google Cloud proyecto.

Roles necesarios para seleccionar o crear un proyecto

Selecciona un proyecto: Para seleccionar un proyecto, no se requiere un rol de IAM específico. Puedes seleccionar cualquier proyecto en el que se te haya otorgado un rol.
Crear un proyecto: Para crear un proyecto, necesitas el rol de Creador de proyectos (roles/resourcemanager.projectCreator), que contiene el permiso resourcemanager.projects.create. Obtén más información para otorgar roles.

Crea un proyecto de Google Cloud :
```
gcloud projects create PROJECT_ID
```
Reemplaza PROJECT_ID por un nombre para el proyecto Google Cloud que estás creando.
Selecciona el proyecto Google Cloud que creaste:
```
gcloud config set project PROJECT_ID
```
Reemplaza PROJECT_ID por el nombre de tu Google Cloud proyecto.

Verifica que la facturación esté habilitada para tu proyecto de Google Cloud .

Habilita las APIs de BigQuery y Eventarc:

Roles necesarios para habilitar las APIs

gcloud services enable bigquery.googleapis.com eventarc.googleapis.com eventarcpublishing.googleapis.com

Actualiza los componentes de gcloud:
```
gcloud components update
```

Accede con tu cuenta:
```
gcloud auth login
```

Establece la variable de configuración que se usa en esta guía de inicio rápido:
```
REGION=REGION
```
Reemplaza REGION por una ubicación compatible para el autobús, por ejemplo, us-central1.

Si eres el creador del proyecto, se te otorga el rol de propietario básico (roles/owner). De forma predeterminada, este rol de Identity and Access Management (IAM) incluye los permisos necesarios para obtener acceso completo a la mayoría de los recursos de Google Cloud y puedes omitir este paso.

Si no eres el creador del proyecto, se deben otorgar los permisos necesarios en el proyecto a la principal correspondiente. Por ejemplo, una principal puede ser una Cuenta de Google (para usuarios finales) o una cuenta de servicio (para aplicaciones y cargas de trabajo de procesamiento).
Permisos necesarios

Si quieres obtener los permisos que necesitas para completar esta guía de inicio rápido, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto:
- Editor de datos de BigQuery (roles/bigquery.dataEditor)
- Desarrollador de Eventarc (roles/eventarc.developer)
- Administrador de buses de mensajes de Eventarc (roles/eventarc.messageBusAdmin)
- Descriptor de acceso de vista de registros (roles/logging.viewAccessor)
- Administrador de IAM de proyecto (roles/resourcemanager.projectIamAdmin)
- Administrador de cuenta de servicio (roles/iam.serviceAccountAdmin)
- Usuario de la cuenta de servicio (roles/iam.serviceAccountUser)
- Administrador de Service Usage (roles/serviceusage.serviceUsageAdmin)
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Para otorgarle a Eventarc Advanced los permisos necesarios para actualizar las propiedades de las tablas de BigQuery, pídele a tu administrador que otorgue el rol de IAM de Editor de datos de BigQuery (roles/bigquery.dataEditor) en tu proyecto Google Cloud a una cuenta de servicio:
1. Crea una cuenta de servicio. Para realizar pruebas, conectarás esta cuenta de servicio a una canalización de Eventarc Advanced para representar la identidad de la canalización.
```
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
```
  Reemplaza SERVICE_ACCOUNT_NAME por un nombre para tu cuenta de servicio.
2. Otorga el rol de IAM roles/bigquery.dataEditor a la cuenta de servicio:
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" \
    --role=roles/bigquery.dataEditor
```

Crea una tabla de BigQuery

Crea una tabla de BigQuery como destino de eventos. Se admiten otros destinos de eventos, como un tema de Pub/Sub, Workflows o algún otro extremo HTTP. Para obtener más información, consulta Proveedores y destinos de eventos.

Antes de crear una tabla de BigQuery, crea un conjunto de datos que actúe como contenedor de nivel superior para la tabla y un esquema de tabla.

Para crear un conjunto de datos nuevo, usa el comando bq mk con la marca --dataset.
```
bq --location=$REGION mk --dataset DATASET_ID
```
Reemplaza DATASET_ID por un nombre único para el conjunto de datos de BigQuery, por ejemplo, my_dataset.
En la terminal, crea un archivo nuevo llamado my-schema.json.

Copia y pega el siguiente esquema en el archivo nuevo y, luego, guárdalo.

[
    {
        "name": "name",
        "type": "STRING",
        "mode": "REQUIRED"
    },
    {
        "name": "age",
        "type": "INTEGER",
        "mode": "NULLABLE"
    }
]

Para crear una tabla, usa el comando bq mk con la marca --table.
```
bq mk --table PROJECT_ID:DATASET_ID.TABLE_ID my-schema.json
```
Reemplaza TABLE_ID por un nombre único para la tabla de BigQuery, por ejemplo, my-table.

Crea un bus de Eventarc Advanced

Un bus recibe mensajes de eventos de una fuente de mensajes o publicados por un proveedor y actúa como un enrutador de mensajes.

Para obtener más información, consulta Crea un bus para enrutar mensajes.

Crea un bus de Eventarc Advanced en tu proyecto con el comando gcloud eventarc message-buses create:

gcloud eventarc message-buses create BUS_NAME \
    --location=$REGION

Reemplaza BUS_NAME por el ID de tu colectivo o un nombre completamente calificado, por ejemplo, my-bus.

Crea una inscripción en Eventarc Advanced

Una inscripción determina qué mensajes se enrutan a un destino y también especifica la canalización que se usa para configurar un destino para los mensajes de eventos. En este caso, el destino es un extremo de la API de BigQuery.

Para obtener más información, consulta Cómo crear un registro para recibir eventos.

Cuando usas gcloud CLI, primero creas una canalización y, luego, creas una inscripción:

Crea una canalización con el comando gcloud eventarc pipelines create:
```
gcloud eventarc pipelines create PIPELINE_NAME \
    --destinations=http_endpoint_uri='https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID/insertAll',http_endpoint_message_binding_template='{"headers": headers.merge({"content-type":"application/json"}), "body": {"rows":[{"json":message.data}]}}',oauth_token_authentication_service_account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com \
    --input-payload-format-json= \
    --location=$REGION
```
Reemplaza PIPELINE_NAME por el ID de la canalización o un nombre completamente calificado, por ejemplo, my-pipeline.

Ten en cuenta lo siguiente:
- La clave http_endpoint_message_binding_template transforma el evento en el formato que espera la API. Cuando defines una vinculación de mensajes, debes configurar un formato de entrada para acceder a la carga útil.
- La clave oauth_token_authentication_service_account especifica un correo electrónico de cuenta de servicio. Este correo electrónico se usa para generar un token de OAuth que, por lo general, solo se debe usar cuando se llama a las APIs de Google alojadas en *.googleapis.com.
- La marca input-payload-format-json especifica que el formato de carga útil de entrada de la canalización es JSON. Los mensajes que no coincidan con este formato se tratan como errores persistentes.
Crea una inscripción con el comando gcloud eventarc enrollments create:
```
gcloud eventarc enrollments create ENROLLMENT_NAME \
    --cel-match=MATCH_EXPRESSION \
    --destination-pipeline=PIPELINE_NAME \
    --message-bus=BUS_NAME \
    --message-bus-project=PROJECT_ID \
    --location=$REGION
```
Reemplaza lo siguiente:
- ENROLLMENT_NAME: Es el ID de la inscripción o un nombre completamente calificado, por ejemplo, my-enrollment.
- MATCH_EXPRESSION: Es la expresión de coincidencia para esta inscripción con CEL. Por ejemplo:
```
"message.type == 'hello-world-type'"
```

Publica un mensaje de evento en el bus

Para publicar un mensaje directamente en tu bus, puedes usar el comando gcloud eventarc message-buses publish o enviar una solicitud a la API de REST de Eventarc Publishing. Para obtener más información, consulta Cómo publicar eventos directamente.

El mensaje debe estar en formato CloudEvents, que es una especificación para describir los datos de eventos de una manera común. El elemento data es la carga útil de tu evento y, en última instancia, debe coincidir con el esquema de tu tabla de BigQuery. En este campo, se puede incluir cualquier JSON bien formado. Para obtener más información sobre los atributos de contexto de CloudEvents, consulta Formato de evento.

A continuación, se muestran ejemplos de cómo publicar directamente un evento en un bus de Eventarc Advanced:

Ejemplo 1

Puedes publicar un evento en un bus con gcloud CLI y una marca --event-data, además de otras marcas de atributos de eventos:

gcloud eventarc message-buses publish BUS_NAME \
    --event-data='{"name": "my-name", "age": "20"}' \
    --event-id=hello-world-id-1234 \
    --event-source=hello-world-source \
    --event-type=hello-world-type \
    --event-attributes="datacontenttype=application/json" \
    --location=$REGION

Ejemplo 2

Puedes publicar un evento en un bus como un mensaje JSON con gcloud CLI y una marca --json-message:

gcloud eventarc message-buses publish BUS_NAME \
    --location=$REGION \
    --json-message='{"id": "hello-world-id-1234", "type":
 "hello-world-type", "source":
 "hello-world-source", "specversion": "1.0", "data":
 {"name": "my-name", "age": "20"}}'

Después de publicar un evento, deberías recibir un mensaje que diga "Se publicó el evento correctamente".

Visualiza los datos del evento en la tabla de BigQuery

Después de publicar un evento en tu bus de Eventarc Advanced, puedes usar el comando bq query para confirmar que se agregó una fila nueva a tu tabla de BigQuery.

bq query \
    --use_legacy_sql=false \
    'SELECT
      *
    FROM
      `PROJECT_ID.DATASET_ID.TABLE_ID`
    LIMIT
      10;'

Creaste correctamente un bus y una inscripción de Eventarc Advanced, publicaste un mensaje de evento en el bus y verificaste el resultado esperado consultando la tabla de BigQuery.

Realiza una limpieza

Cuando finalices las tareas que se describen en esta guía de inicio rápido, puedes borrar los recursos que creaste para evitar que continúe la facturación:

Borra una tabla de BigQuery.
Borra un conjunto de datos de BigQuery.
Borra los recursos de Eventarc Advanced:

Como alternativa, puedes borrar el proyecto Google Cloud para evitar que se generen cargos. Si borras tu proyecto de Google Cloud , se detendrá la facturación de todos los recursos que se usaron en él.

Precaución: Borrar un proyecto tiene las siguientes consecuencias:

Se borra todo su contenido. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
Se pierden los IDs personalizados de los proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID personalizado del proyecto que desees utilizar en el futuro. Para conservar las URLs que usan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto, en lugar de todo el proyecto.

Si planeas explorar varios instructivos, arquitecturas o guías de inicio rápido, reutilizar proyectos puede ser útil para no exceder los límites de cuota de los proyectos.

Borra un Google Cloud proyecto:

gcloud projects delete PROJECT_ID

Publica eventos en una tabla de BigQuery

Antes de comenzar

Permisos necesarios

Crea una tabla de BigQuery

Crea un bus de Eventarc Advanced

Crea una inscripción en Eventarc Advanced

Publica un mensaje de evento en el bus

Ejemplo 1

Ejemplo 2

Visualiza los datos del evento en la tabla de BigQuery

Realiza una limpieza

¿Qué sigue?