Implementación de demostración

La implementación de demostración ofrece una experiencia optimizada con un conjunto de datos de muestra predefinido. Proporciona un flujo de trabajo de extremo a extremo para implementar las canalizaciones de Dataform de Cortex Framework para la organización y para inicializar los conjuntos de datos de BigQuery correspondientes con datos de muestra.

Precaución: La implementación de demostración no es adecuada para entornos de producción. Para las implementaciones de producción, consulta Implementación de Cortex Framework.

Antes de comenzar

Asegúrate de haber completado los requisitos previos que se describen en la página Requisitos previos antes de continuar con la implementación de demostración.

Obtén los roles y permisos de IAM necesarios

Obtén los permisos necesarios de Identity and Access Management (IAM) para implementar el contenido de Cortex Framework en el target Google Cloud project.

Roles para el proyecto de destino

Para obtener los permisos que necesitas para implementar Cortex Framework, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto de destino:

• Usuario de trabajo de BigQuery (roles/bigquery.jobUser)
• Editor de datos de BigQuery (roles/bigquery.dataEditor)
• Editor de Dataform (roles/dataform.editor)
• Administrador de Service Usage (roles/serviceusage.serviceUsageAdmin)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Nota: El rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin) se usa durante la ejecución de la secuencia de comandos de implementación de Cortex Framework para habilitar automáticamente las siguientes Google Cloud APIs: dataform.googleapis.com, bigquery.googleapis.com y cloudresourcemanager.googleapis.com. Si las políticas de la organización no permiten otorgar este privilegio a los usuarios, puedes habilitar las APIs mencionadas de forma manual antes de ejecutar la secuencia de comandos de implementación de Cortex Framework.

Opcional: Obtén los roles de IAM necesarios para una implementación de demostración con una cuenta de servicio

Los siguientes roles solo son necesarios en caso de una implementación de demostración con el parámetro opcional --service_account habilitado. Proporcionar una cuenta de servicio durante la implementación de demostración simplifica la ejecución posterior a la implementación de las canalizaciones de datos mediante la creación de la configuración de programación de ejecución de flujos de trabajo. Estos roles no son necesarios para las implementaciones sin la configuración --service_account.

Para obtener los permisos que necesitas para implementar la demostración de Cortex Framework, pídele a tu administrador que te otorgue el rol de IAM Creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator) en tu proyecto de origen y de destino. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Deployment

Sigue estos pasos para crear un entorno virtual de Python, sincronizar las dependencias y activar las canalizaciones de datos. Recuerda usar las secuencias de comandos uv de Cortex Framework para compilar y enviar tus recursos de datos a tu Google Cloud proyecto, y transformar tus configuraciones locales en una arquitectura de datos activa y escalable. Para obtener más información, consulta la uv instalación en la sección Requisitos previos.

Ejecuta la implementación de demostración

Ejecuta el siguiente comando para activar la implementación. Este proceso realizará las siguientes acciones:

• Verifica que se hayan completado todos los requisitos previos.
• Carga datos de muestra en un conjunto de datos de BigQuery para que sirvan como capa sin procesar con fines de demostración.
• Compila canalizaciones de Dataform para procesar los datos de muestra a través de las capas de datos de Cortex Framework.
• Crea el repositorio y el espacio de trabajo de Dataform y, luego, sincroniza los artefactos compilados con el repositorio.
• Crea la programación del flujo de trabajo y activa la ejecución inicial del flujo de trabajo de Dataform.

Para la implementación de demostración sin una cuenta de servicio, ejecuta el siguiente comando:

uv run cortex-demo --project_id=PROJECT_ID

Para la implementación de demostración con una cuenta de servicio, ejecuta el siguiente comando:

Nota: --service_account es un parámetro opcional.

uv run cortex-demo --project_id=PROJECT_ID \
    --service_account="SA_DF_RUN@PROJECT_ID.iam.gserviceaccount.com"

Para obtener más información, consulta Ubicaciones compatibles con BigQuery y Regiones compatibles con Dataform.

Implementación de demostración de la CLI: De manera opcional, puedes mostrar una lista de los parámetros posibles si ejecutas el comando uv run cortex-demo -h. Para obtener más información, consulta Implementación de demostración de Cortex Framework de la CLI.

Verificación

Una vez que se complete la implementación, haz lo siguiente:

1. Abre Dataform para inspeccionar el código nuevo creado en el repositorio:

   1. Se creó el repositorio de Dataform.
   2. Se creó el espacio de trabajo de desarrollo de Dataform.
   3. Se compiló y sincronizó el código.

2. Ejecuta las acciones de Dataform:

   Nota: Este paso es opcional si se ha usado el parámetro --service_account durante la implementación.
   1. Abre el espacio de trabajo de Dataform.
   2. Haz clic en Iniciar ejecución.
   3. Haz clic en Ejecutar acciones.
   4. Haz clic en Todas las acciones.

   5. Haz clic en Iniciar ejecución.

   6. Supervisa la ejecución correcta de todas las acciones en tu repositorio de Dataform.

3. Navega a la consola de BigQuery para ver los conjuntos de datos creados y verificar el esquema y los datos. Conjuntos de datos creados:

   • cortex_demo_sap_ecc_raw: Este conjunto de datos contiene los datos sin procesar del sistema de origen (en este ejemplo, SAP S/4HANA).
   • cortex_demo_sap_ecc_data_foundation: Este conjunto de datos representa la capa de base de datos, en la que se procesan los datos sin procesar de la capa sin procesar con la CDC.
   • cortex_demo_data_product: Este conjunto de datos contiene los productos de datos de demostración: vistas o tablas refinadas y de alto rendimiento diseñadas para el consumo del usuario final.