Base de dados
A camada de base de dados do Cortex Framework é uma representação limpa e padronizada dos registros mais recentes dos dados de origem e alimenta a camada de produtos de dados. Essa camada é atualizada de forma incremental para fontes ativadas para CDC e usa visualizações para fontes não ativadas para CDC, bem como fontes de CDC implementadas externamente. A implementação se adapta aos recursos do sistema de origem:
Para fontes ativadas para CDC (CDC gerenciado pelo Cortex Framework): um pipeline dedicado do Dataform processa incrementalmente os registros da camada bruta em uma tabela de "estado atual" atualizada continuamente e persistente. A camada de base de dados transforma essas mudanças incrementais em linhas que representam o estado atual do conjunto de dados do sistema de origem, alimentando produtos de dados, análises downstream e agentes de IA.
Além do processamento de CDC, a arquitetura flexível permite ignorar o processamento de CDC integrado e conectar outros pipelines de CDC estabelecidos diretamente à camada de base.
Para fontes não ativadas para CDC (CDC externo): para fontes em que a ferramenta de replicação ou o sistema de origem faz a CDC, o Cortex Framework ignora os pipelines de CDC e usa o conjunto de dados da zona de destino como a fonte para alimentar os produtos de dados. Ele atua como uma camada de abstração semântica baseada em visualização e aplica a limpeza em tempo real, protegendo os produtos de dados downstream contra mudanças de esquema.
A camada de base de dados do Cortex Framework também oferece suporte a esquemas de tabelas dinâmicos, permitindo a ingestão automática de campos personalizados presentes na camada bruta sem exigir mudanças manuais de código nos modelos SQL subjacentes.
Além disso, para preencher a lacuna entre dados técnicos e usuários de negócios, a camada de base de dados do Cortex Framework usa uma biblioteca extensa de anotações (src/data_foundation/{foundation_name}/annotations/) para melhorar a usabilidade, adicionando descrições legíveis ao esquema da tabela. Por exemplo, durante o processo de build, o Cortex Framework adiciona uma descrição com semântica de negócios legível, como Company Code, para uma coluna de tabela SAP enigmática, como bukrs.
Sistemas de origem com suporte
A camada de base de dados do Cortex Framework oferece suporte aos seguintes sistemas de origem:
Dados replicados brutos do SAP ERP:
- SAP ECC
- SAP S/4HANA
Para mais informações, consulte a documentação sobre como preparar dados de origem para SAP ERP.