Bases de datos
La capa de base de datos de Cortex Framework es una representación estandarizada y limpia de los registros más recientes de los datos fuente y alimenta la capa de productos de datos. Esta capa se actualiza de forma incremental para las fuentes habilitadas para CDC y usa vistas para las fuentes habilitadas para CDC y las fuentes de CDC implementadas de forma externa. La implementación se adapta a las capacidades del sistema fuente:
Para las fuentes habilitadas para CDC (CDC administrada por Cortex Framework): Una canalización de Dataform dedicada procesa de forma incremental los registros de la capa sin procesar en una tabla de "estado actual" persistente y actualizada de forma continua del conjunto de datos del sistema de origen, lo que potencia los productos de datos, el análisis de nivel inferior y los agentes de IA.
Más allá del procesamiento de CDC, la arquitectura flexible permite omitir el procesamiento de CDC integrado y conectar otras canalizaciones de CDC establecidas directamente a la capa de base.
Para fuentes que no tienen habilitada la CDC (CDC externa): Para las fuentes en las que la herramienta de replicación o el sistema de origen realizan la CDC, Cortex Framework omitirá las canalizaciones de CDC y usará el conjunto de datos de la zona de destino como fuente para alimentar los productos de datos. Actúa como una capa de abstracción semántica basada en vistas y aplica limpieza sobre la marcha, lo que protege los productos de datos descendentes de los cambios de esquema.
La capa de base de datos de Cortex Framework también admite esquemas de tablas dinámicas, lo que permite la transferencia automática de campos personalizados presentes en la capa sin procesar sin necesidad de realizar cambios manuales en el código de los modelos SQL subyacentes.
Además, para cerrar la brecha entre los datos técnicos y los usuarios empresariales, la capa de base de datos de Cortex Framework utiliza una extensa biblioteca de anotaciones (src/data_foundation/{foundation_name}/annotations/) para mejorar la usabilidad agregando descripciones legibles para las personas al esquema de la tabla. Por ejemplo, durante el proceso de compilación, Cortex Framework agrega para una columna de tabla de SAP críptica, como bukrs, la descripción con una semántica comercial legible, como Company Code.
Sistemas de origen compatibles
La capa de base de datos de Cortex Framework admite los siguientes sistemas fuente:
Datos replicados sin procesar del ERP de SAP:
- SAP ECC
- SAP S/4HANA
Para obtener más información, consulta la documentación sobre cómo preparar los datos de origen para SAP ERP.