Bases de los datos
La capa de bases de los datos de Cortex Framework es una representación estandarizada y limpia de los registros más recientes de los datos de origen y alimenta la capa de productos de datos. Esta capa se actualiza de forma incremental para las fuentes habilitadas para CDC y usa vistas para las fuentes no habilitadas para CDC, así como para las fuentes de CDC implementadas de forma externa. La implementación se adapta a las capacidades del sistema de origen:
Para las fuentes habilitadas para CDC (CDC administrado por Cortex Framework): Una canalización de Dataform dedicada procesa de forma incremental los registros de la capa sin procesar en una tabla "Estado actual" persistente y actualizada de forma continua. La capa de bases de los datos transforma estos cambios incrementales en filas que representan el estado actual del conjunto de datos del sistema de origen, lo que potencia los productos de datos, los análisis posteriores y los agentes de IA.
Además del procesamiento de CDC, la arquitectura flexible permite omitir el procesamiento de CDC integrado y conectar otras canalizaciones de CDC establecidas directamente a la capa de bases.
Para las fuentes no habilitadas para CDC (CDC externo): Para las fuentes en las que la herramienta de replicación o el sistema de origen realizan la CDC, Cortex Framework omitirá las canalizaciones de CDC y usará el conjunto de datos de la zona de destino como fuente para alimentar los productos de datos. Actúa como una capa de abstracción semántica basada en vistas y aplica la limpieza sobre la marcha, lo que protege los productos de datos posteriores de los cambios de esquema.
La capa de bases de los datos de Cortex Framework también admite esquemas de tablas dinámicas, lo que permite la ingesta automática de campos personalizados presentes en la capa sin procesar sin requerir cambios de código manuales en los modelos de SQL subyacentes.
Además, para cerrar la brecha entre los datos técnicos y los usuarios empresariales, la capa de bases de los datos de Cortex Framework usa una extensa biblioteca de anotaciones (src/data_foundation/{foundation_name}/annotations/) para mejorar la usabilidad agregando descripciones legibles para humanos al esquema de la tabla. Por ejemplo, durante el proceso de compilación, Cortex Framework agrega para una columna de tabla de SAP encriptada como bukrs la descripción con semántica empresarial legible como Company Code.
Sistemas de origen compatibles
La capa de bases de los datos de Cortex Framework admite los siguientes sistemas de origen:
Datos replicados sin procesar de SAP ERP:
- SAP ECC
- SAP S/4HANA
Para obtener más información, consulta la documentación sobre cómo preparar datos de origen para SAP ERP.