Guía de Deployment

En esta página, se te guiará por los pasos de implementación de Cortex Framework para las implementaciones de ruta de producción.

Antes de comenzar

Asegúrate de haber completado los requisitos previos que se describen en la página Requisitos previos antes de continuar con la implementación.

Antes de implementar Cortex Framework, elige y prepara la integración del sistema de origen.

Configura los roles de IAM

Configura los permisos necesarios de Identity and Access Management (IAM) para implementar el contenido de Cortex Framework en los proyectos requeridos Google Cloud .

Roles para el proyecto de compilación

Para obtener los permisos que necesitas para compilar Cortex Framework, pídele a tu administrador que te otorgue el rol de IAM de BigQuery Data JobUser (roles/bigquery.jobUser) en tu proyecto de compilación. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Para otorgar los roles solicitados a un usuario, puedes usar la secuencia de comandos:

      gcloud projects add-iam-policy-binding BUILD_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.jobUser"

Roles para el proyecto de origen

Para obtener los permisos que necesitas para implementar Cortex Framework, pídele a tu administrador que te otorgue el rol de IAM de BigQuery Data Viewer (roles/bigquery.dataViewer) en tu proyecto de origen. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido. 

      gcloud projects add-iam-policy-binding SOURCE_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataViewer"

Roles para proyectos de destino

Para obtener los permisos que necesitas para implementar Cortex Framework, pídele a tu administrador que te otorgue los siguientes roles de IAM en tus proyectos de destino:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Para otorgar los roles solicitados a un usuario, puedes usar la secuencia de comandos:

gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataEditor"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/dataform.admin"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/serviceusage.serviceUsageConsumer"

Configuración de la implementación

Antes de la implementación, las capas de base de datos y de productos de datos se configuran a través de un enfoque centralizado de configuración como código. Cortex Framework usa un archivo config/config.yaml para configurar la implementación de Cortex Framework. Te recomendamos que hagas una copia de config/config.yaml.example como punto de partida. Este archivo contiene la asignación esencial entre tus datos de origen y el entorno Google Cloud de destino. La configuración adecuada garantiza que Cortex Framework sepa exactamente dónde encontrar tus datos sin procesar y dónde materializar las capas resultantes.

Para una implementación exitosa de Cortex Framework, se deben agregar estos valores obligatorios:

  • YOUR_BUILD_PROJECT_ID: Es el proyecto en el que se ejecutan la organización de la implementación y las secuencias de comandos uv.
  • YOUR_SOURCE_PROJECT_ID: Es el proyecto que contiene tus datos de origen sin procesar.
  • YOUR_TARGET_PROJECT_ID: Es el proyecto de destino en el que residirán los productos de datos procesados y los conjuntos de datos de BigQuery.
  • YOUR_REPO_PROJECT_ID: Es el proyecto que aloja el repositorio de Dataform y los artefactos de implementación.

Para obtener información detallada sobre el archivo de configuración, consulta Configuración de la implementación.

Ejecuta la implementación

Ejecuta el siguiente comando para activar la implementación de Cortex Framework. Este proceso realizará las siguientes acciones:

  • Verifica que se hayan completado todos los requisitos previos.
  • Se conecta al conjunto de datos sin procesar y, según la información del esquema, compila y compila las secuencias de comandos .sqlx.
  • Crea el repositorio y el espacio de trabajo de Dataform y, luego, sincroniza los artefactos compilados con el repositorio.
uv run cortex-build-and-deploy --config config/config.yaml

Parámetros de la CLI de uv run cortex-build-and-deploy: De manera opcional, puedes mostrar una lista de los parámetros posibles compatibles con la secuencia de comandos cortex-demo ejecutando el comando uv run cortex-build-and-deploy -h. Para obtener más información, consulta CLI de Cortex Framework uv run cortex-build-and-deploy.

Opciones de línea de comandos

La interfaz de línea de comandos (CLI) uv run admite estas acciones:

  • uv run cortex-build: Ejecuta la compilación del espacio de trabajo de Dataform, traduciendo las configuraciones de YAML y las plantillas SQLX/JS en recursos de Dataform implementables. Para obtener más información, consulta CLI de Cortex build.
  • uv run cortex-deploy: Envía los recursos compilados al espacio de trabajo de Dataform de destino. Para obtener más información, consulta CLI de Cortex deploy.
  • uv run cortex-build-and-deploy: Combina la compilación y el envío de los recursos de compilación al espacio de trabajo de Dataform. Para obtener más información, consulta CLI de Cortex build and deploy.

Próximos pasos