Implementación de demostración

La implementación de demostración ofrece una experiencia optimizada con un conjunto de datos de muestra predefinido. Proporciona un flujo de trabajo de extremo a extremo para implementar las canalizaciones de Dataform del Cortex Framework para la organización y para inicializar los conjuntos de datos de BigQuery correspondientes con datos de muestra.

Antes de comenzar

Antes de continuar con la implementación de la demostración, asegúrate de haber completado los requisitos previos que se describen en la página Requisitos previos.

Obtén los roles y permisos de IAM necesarios

Obtén los permisos necesarios de Identity and Access Management (IAM) para implementar contenido de Cortex Framework en el proyecto Google Cloud de destino.

Roles para el proyecto de destino

Para obtener los permisos que necesitas para implementar Cortex Framework, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto de destino:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Opcional: Obtén los roles de IAM necesarios para una implementación de demostración con una cuenta de servicio

Los siguientes roles solo son necesarios en el caso de una implementación de demostración con el parámetro opcional --service_account habilitado. Proporcionar una cuenta de servicio durante la implementación de la demostración simplifica la ejecución posterior a la implementación de las canalizaciones de datos, ya que se crea una configuración de programación de la ejecución de flujos de trabajo. Estos roles no son necesarios para las implementaciones sin la configuración de --service_account.

Para obtener los permisos que necesitas para implementar la demostración del Cortex Framework, pídele a tu administrador que te otorgue el rol de IAM de Creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator) en tu proyecto de origen y destino. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Implementación

Sigue estos pasos para crear un entorno virtual de Python, sincronizar las dependencias y activar las canalizaciones de datos. Recuerda usar los secuencias de comandos uv de Cortex Framework para compilar y enviar tus recursos de datos a tu proyecto de Google Cloud , lo que transformará tus configuraciones locales en una arquitectura de datos escalable y activa. Para obtener más información, consulta la instalación de uv en la sección Requisitos previos.

Ejecuta la implementación de demostración

Ejecuta el siguiente comando para activar la implementación. Este proceso realizará las siguientes acciones:

  • Verifica que se hayan completado todos los requisitos previos.
  • Carga datos de muestra en un conjunto de datos de BigQuery para que sirvan como capa sin procesar a los fines de la demostración.
  • Compila canalizaciones de Dataform para procesar los datos de muestra a través de las capas de datos de Cortex Framework.
  • Crea el repositorio y el espacio de trabajo de Dataform y, luego, sincroniza los artefactos compilados con el repositorio.
  • Crear la programación del flujo de trabajo y activar la ejecución inicial del flujo de trabajo de Dataform

Para la implementación de demostración sin una cuenta de servicio, ejecuta el siguiente comando:

uv run cortex-demo --project_id=PROJECT_ID

Para la implementación de demostración con una cuenta de servicio, ejecuta el siguiente comando:

uv run cortex-demo --project_id=PROJECT_ID \
    --service_account="SA_DF_RUN@PROJECT_ID.iam.gserviceaccount.com"

Para obtener más información, consulta Ubicaciones compatibles con BigQuery y Regiones compatibles con Dataform.

Implementación de demostración de la CLI: De manera opcional, puedes mostrar una lista de los parámetros posibles si ejecutas el comando uv run cortex-demo -h. Para obtener más información, consulta Implementación de demostración de CLI de Cortex Framework.

Verificación

Una vez que se complete la implementación, haz lo siguiente:

  1. Abre Dataform para inspeccionar el código nuevo creado en el repositorio:

    1. Se creó el repositorio de Dataform.
    2. Se creó el espacio de trabajo de desarrollo de Dataform.
    3. Código compilado y sincronizado.

  2. Ejecuta acciones de Dataform:

    1. Abre el espacio de trabajo de Dataform.
    2. Haz clic en Iniciar ejecución.
    3. Haz clic en Ejecutar acciones.
    4. Haz clic en Todas las acciones.

    5. Haz clic en Iniciar ejecución.

    6. Supervisa la ejecución correcta de todas las acciones en tu repositorio de Dataform.

  3. Navega a la consola de BigQuery para ver los conjuntos de datos creados y verificar el esquema y los datos. Conjuntos de datos creados:

    • cortex_demo_sap_ecc_raw: Este conjunto de datos contiene los datos sin procesar del sistema de origen (en este ejemplo, SAP S/4HANA).
    • cortex_demo_sap_ecc_data_foundation: Este conjunto de datos representa la capa de base de datos, en la que se procesan los datos sin procesar de la capa sin procesar con la CDC.
    • cortex_demo_data_product: Este conjunto de datos contiene los productos de datos de demostración refinados, vistas o tablas de alto rendimiento diseñadas para el consumo del usuario final.