Descripción general
Google Cloud Cortex Framework proporciona aceleradores de productos de datos diseñados para transformar los datos sin procesar de los sistemas empresariales estratégicos en recursos de datos confiables y de alta calidad listos para la IA y las estadísticas avanzadas.
Google Cloud Cortex Framework se entrega como código de código abierto personalizable que se puede implementar de forma segura en tu propio entorno deGoogle Cloud . Ofrece un modelo de ejecución sin servidores y nativo de BigQuery con tecnología deGoogle Cloud Dataform.
Al optimizar la forma en que los equipos compilan, organizan e implementan las canalizaciones de datos, Cortex Framework acelera el tiempo de obtención de valor y proporciona una base de alta fidelidad para la próxima generación de agentes de IA empresariales.
Arquitectura de datos
Cortex Framework estandariza el procesamiento de datos dentro de BigQuery en tres capas arquitectónicas distintas con una metodología de extracción, carga y transformación (ELT). Esta estrategia estandarizada de capas de datos se alinea con los conceptos de la malla de datos empresarial.
Sistema de origen
Los sistemas de origen son los orígenes de los datos que se transfieren. Los sistemas fuente pueden incluir varias aplicaciones, bases de datos o plataformas empresariales de las que se extraen datos. Para ver todos los sistemas de origen compatibles, consulta Sistemas de origen compatibles.
Capa sin procesar
La capa sin procesar representa el conjunto de datos de la zona de destino inmutable en BigQuery para los datos de origen, ya sean registros de captura de datos modificados (CDC) o extracciones por lotes. Si bien suele almacenar registros de CDC (por ejemplo, de SAP ECC o S/4HANA con herramientas de replicación como BigQuery Connector para SAP o BigQuery Toolkit para SAP), está diseñado para representar cualquier formato sin procesar. En el caso de las fuentes que no proporcionan registros de CDC, como Salesforce o los feeds de APIs externas, esta capa representa las extracciones por lotes completas o las cargas útiles de eventos sin procesar exactamente como llegan, con alteraciones estructurales mínimas o nulas. Esta capa alimenta la capa de base de datos.
Capa de base de datos
La capa de base de datos es una representación limpia y estandarizada de los registros más recientes de los datos de origen y alimenta la capa de productos de datos. Esta capa se actualiza de forma incremental para las fuentes habilitadas para CDC y usa vistas para las fuentes no habilitadas para CDC, así como para las fuentes de CDC implementadas de forma externa. La implementación se adapta a las capacidades del sistema fuente. Para obtener más información, consulta Fundamentos de los datos.
Capa de productos de datos
La capa de productos de datos proporciona agregaciones, cálculos de KPI, lógica empresarial y lógica de conexión entre aplicaciones. Las vistas y las tablas que expone la capa de productos de datos están diseñadas para el consumo directo por parte de los agentes de Conversational Analytics de BigQuery, Gemini Enterprise, los modelos de aprendizaje automático, los informes y los paneles de IE, así como las integraciones de aplicaciones. Para obtener más información, consulta Productos de datos.
Administración de datos
Cortex Framework usa Dataform para administrar el ciclo de vida de los datos. Dataform te permite administrar la transformación de datos para la integración de datos. Proporciona un servicio para que los analistas de datos desarrollen, prueben, controlen versiones y programen flujos de trabajo complejos para la transformación de datos en BigQuery. Para adaptarse de forma dinámica a las personalizaciones y extensiones, Cortex Framework crea el código de Dataform durante la fase de compilación y lo organiza en el repositorio de Dataform en Google Cloud.
Cuando activas una ejecución de las canalizaciones en la IU de Dataform, se crean las tablas y las vistas de BigQuery de las capas de la base de datos y del producto de datos, y se completan con datos.
Próximos pasos
¿Todo listo para compilar e implementar? Consulta las siguientes guías para poner en funcionamiento tu entorno:
- Implementación de demostración: Implementa el contenido de la solución de muestra en minutos para ver Cortex Framework en acción.
- Implementación: Sigue las instrucciones paso a paso para configurar e implementar Cortex Framework para los datos de tu empresa.