Visão geral da base de dados

A camada de base de dados do Cortex Framework serve como uma representação padronizada e limpa dos registros mais recentes dos seus sistemas de origem. Ele preenche a lacuna entre os sistemas de registro corporativos replicados brutos e os dados de consumo analítico de alto valor, fornecendo tabelas e visualizações reutilizáveis e de alta fidelidade no BigQuery.

Embora a camada de base de dados alimente a camada de produto de dados, ela pode ser usada sozinha e inclui as seguintes funcionalidades:

  • Implantação independente: as organizações que querem estabelecer um repositório de dados operacionais (ODS, na sigla em inglês) limpo, em conformidade e padronizado no BigQuery podem implantar apenas os módulos de base de dados. Não é necessário implantar a camada de produtos de dados para usar a base de dados.
  • Consumo direto: as tabelas de base de dados independente servem como uma fonte de verdade centralizada e altamente otimizada que pode impulsionar diretamente as arquiteturas de malha de dados empresariais, os pipelines de ETL downstream personalizados, as ferramentas de BI de terceiros, os modelos de ML personalizados e os agentes de IA independentes sem dependências dos produtos de dados fornecidos pelo Cortex Framework.
  • Alta extensibilidade: o framework reconhece e adiciona colunas de tabela personalizadas (por exemplo, colunas com prefixo "Z" ou "Y") automaticamente durante a criação e a compilação do módulo de fundação. É possível estender com outras tabelas (personalizadas ou padrão não incluídas na base) com pouco esforço.

Fontes de dados compatíveis

A camada de base de dados oferece suporte a dados brutos replicados de sistemas SAP ERP, incluindo:

Para mais informações, consulte a documentação de Integração do sistema de origem.

Recursos principais

O objetivo principal dessa camada é padronizar, limpar e adequar os dados brutos de origem em tabelas de alta fidelidade usando os seguintes métodos:

  • Proteção de esquema: os esquemas transacionais brutos, como os da SAP, mudam com frequência e são difíceis de navegar. A camada de base protege os consumidores downstream de complexidades de tabelas brutas e alterações de esquema subjacentes, fornecendo estruturas de destino estáveis e padronizadas.
  • Metadados e anotações prontos para uso comercial: para ajudar os usuários comerciais a entender modelos de dados técnicos, a camada de base de dados usa uma extensa biblioteca de anotações (src/data_modules/{namespace}/{system}/data_foundation/{foundation_name}/annotations/). Durante o processo de build, a estrutura enriquece as colunas técnicas do sistema de origem com descrições comerciais legíveis por humanos nos metadados da tabela do BigQuery. Por exemplo, traduzindo uma coluna do SAP como bukrs para Company Code. Esses metadados avançados tornam as tabelas imediatamente utilizáveis para analistas de negócios, painéis de BI e agentes de IA corporativa.
  • Adaptação dinâmica de esquema: compatível com esquemas de tabelas dinâmicas. Ele ingere e propaga automaticamente campos personalizados (como Z* ou Y* no SAP ou atributos personalizados em outras fontes) da camada bruta sem exigir mudanças manuais no código dos modelos SQL subjacentes.
  • Conformidade e remoção de dados duplicados automatizadas: seja com registros de mudanças ou snapshots completos, a camada de base lida automaticamente com a remoção de dados duplicados, a conversão de tipos de dados e a reconstrução de estado. Isso garante que você sempre consulte o estado atual e preciso de cada registro.

Fontes de CDC e não CDC

Para pipelines gerenciados nativamente pelo Cortex Framework, a configuração é aplicada no nível da tabela individual. É possível configurar como cada tabela é processada com base na chegada dos dados de origem brutos como registros de mudanças incrementais ou snapshots de tabela completa. Por exemplo, tabelas individuais em uma fonte de CDC podem ser declaradas como isCdc: false para serem tratadas como tabelas de snapshot:

  • Fontes ativadas para CDC: para dados brutos replicados como registros de captura de dados alterados (contendo flags de operação e carimbos de data/hora, como inserções, atualizações e exclusões de ferramentas como o BigQuery Connector para SAP ou o BigQuery Toolkit para SAP), o Cortex Framework gera pipelines dedicados do Dataform que processam incrementalmente registros brutos em uma tabela de "estado mais recente" persistente, atualizada continuamente e em conformidade.
  • Fontes não CDC (snapshot/lote completo): para fontes que não fornecem registros de mudanças de CDC ou em que as tabelas são replicadas periodicamente como extrações completas, o Cortex Framework instrui o pipeline a processar os dados como snapshots completos da tabela sem lógica de reconstrução de estado de CDC (consulte o atributo de configuração isCdc na base de dados, configuração de tabelas).

Princípios básicos de dados externos

Além de gerenciar o processamento de CDC de forma nativa no nível da tabela individual, o Cortex Framework oferece flexibilidade arquitetônica para integração com bases de dados externas no nível da base inteira. Toda a base pode ser declarada como externa. Nesse caso, o Cortex Framework pressupõe que todo o processamento de CDC já foi realizado:

  • Fundação de dados gerenciada pelo Cortex: o Cortex Framework cria e organiza os pipelines de transformação do Dataform, lendo da sua zona de destino bruta e materializando tabelas conformadas no conjunto de dados de base de destino.
  • Fundação de dados externa: se sua empresa já usa uma ferramenta de replicação externa, um pipeline de terceiros ou uma camada semântica pré-estabelecida que realiza a reconstrução de CDC e a limpeza de dados fora do Cortex Framework, é possível registrar como uma fundação de dados externa. Consulte a flag external na configuração da fundação do módulo de dados. Quando configurado como externo, o Cortex Framework ignora a geração de pipelines de transformação de base integrados e, em vez disso, aponta os produtos de dados downstream diretamente para o conjunto de dados de destino atual.

Opções de configurabilidade da base de dados

Enquanto as configurações globais e no nível do módulo são gerenciadas no arquivo config.yaml, as opções granulares no nível da tabela são configuradas por um arquivo table_settings.yaml específico da origem. Para sistemas SAP, ele é criado com base nas seções common, ecc e s4. Para informações detalhadas, consulte Estilo de configuração de implantação e configurações de tabela para SAP ERP. Esse arquivo oferece controle sobre opções de materialização, otimização de implantação e recursos de desempenho do BigQuery para tabelas individuais, tudo sem escrever ou modificar código SQL.

  • Resolução dinâmica de dependências: por padrão (deployAlways: false), o Cortex Framework otimiza a pegada de implantação e o custo de execução implantando e compilando apenas as tabelas da camada de base de dados que são ativamente necessárias como dependências pelos produtos de dados downstream ativados. Para substituir essa otimização e forçar a implantação de uma tabela de base (o que é particularmente útil ao executar a base de dados independente ou para cargas de trabalho downstream personalizadas), defina deployAlways: true.
  • Modo de ingestão: controla se a tabela é processada usando a reconstrução incremental do estado de CDC ou o processamento completo de snapshots.
  • Nomes e tags de destino: personalize o nome da tabela de destino em conformidade e anexe tags de metadados arbitrárias (por exemplo, [sap, finance, hourly]) diretamente às ações do Dataform para ativar execuções seletivas de pipeline (dataform run --tags ...).
  • Detalhes do clustering: colocalize dados relacionados classificando blocos de armazenamento em até quatro colunas alfanuméricas (por exemplo, bukrs, gjahr). O clustering melhora significativamente o desempenho da consulta e reduz os custos de verificação de dados para consultas que filtram ou combinam essas colunas.
  • Detalhes do particionamento: segmente tabelas históricas grandes por tempo (time ou DATE com timeGrain: day | month | year) ou intervalos de números inteiros (integer). O particionamento evita verificações completas da tabela quando as consultas solicitam intervalos de datas ou de ID específicos.

Extensão da base de dados

Para estender a camada de base de dados com outras tabelas, você tem várias opções:

Tabelas de base de dados disponíveis

A tabela a seguir lista as tabelas incluídas na camada de base de dados do Cortex Framework e os detalhes relacionados.

Área de atuação Módulo SAP Nome da tabela Descrição Fontes compatíveis Tags do Dataform Detalhes da partição Detalhes do cluster
SAP ECC SAP S/4HANA
Finanças CO bpge Valores de orçamento (geral) finance, sap_co, daily
bpja Valores de orçamento (anual) finance, sap_co, daily
bpvg Itens de linha do documento finance, sap_co, daily
cepc Tabela de dados principais da unidade de negócios finance, sap_co, daily
cepct Textos para dados principais da unidade de negócios finance, sap_co, daily
ckmlcr Razão auxiliar de materiais: valores de registros de totais do período finance, sap_co, daily
ckmlhd Livro razão de materiais: registro de cabeçalho finance, sap_co, daily
cobk Objeto de controle: cabeçalho do documento finanças, controle, diário
coep Objeto de controle: itens de linha (por período) finanças, controle, diário
cooi Gerenciamento de compromissos: itens de linha finanças, controle, diário
cosp Objeto de controle: totais de custos para lançamentos externos finanças, controle, diário
coss Objeto de controle: totais de custos para lançamentos internos finanças, controle, diário
cskb Elementos de custo (dados dependentes da área de controle) finance, sap_co, daily
csks Registro principal do centro de custo finance, sap_co, daily
cskt Textos do centro de custo finance, sap_co, daily
csku Textos de elementos de custo finance, sap_co, daily
jest Status de objetos individuais finance, sap_co, daily
sethanahier0101 Tabela de hierarquia para grupos de centros de custo finance, sap_co, monthly
sethanahier0106 Tabela de hierarquia para grupos de centros de lucro finance, sap_co, monthly
setheader Definir cabeçalho e diretório finance, sap_co, monthly
setheadert Breve descrição dos conjuntos finance, sap_co, monthly
setleaf Valores em conjuntos finance, sap_co, monthly
setnode Conjuntos de nível inferior em conjuntos finance, sap_co, monthly
tj02t Textos de status do sistema finance, sap_co, yearly
tka01 Áreas de controle finance, sap_co, yearly
tka02 Atribuição de área de controle finance, sap_co, yearly
Finlândia acdoca Itens de linha de lançamento contábil universal finance, sap_fi, hourly rclnt, rbukrs
acdocu Agrupar entradas de diário finance, sap_fi, hourly
adr6 Endereços de e-mail (serviços de endereço comercial) finance, sap_fi, daily
adrc Endereços (serviços de endereço comercial) finance, sap_fi, daily
adrct Textos de endereço (serviços de endereço comercial) finance, sap_fi, daily
anek Asset Posting Document Header finance, sap_fi, daily
anep Itens de linha de recursos finance, sap_fi, daily
ankt Classes de recursos: descrição finance, sap_fi, hourly
anla Segmento de registro principal de recursos finance, sap_fi, hourly
anlb Termos de depreciação finance, sap_fi, hourly
anlc Registro do valor do recurso: ano finance, sap_fi, yearly
anlh Número do recurso principal finance, sap_fi, hourly
anlz Alocações de ativos dependentes do tempo finance, sap_fi, hourly
atras Tabela de taxas da tesouraria finance, sap_fi, daily
bkpf Cabeçalho do documento contábil finance, sap_fi, hourly budat (horário/dia) bukrs, gjahr
bsad Tabela gerada para visualização finance, sap_fi, hourly
bsak Tabela gerada para visualização finance, sap_fi, hourly
bseg Segmento de documento fiscal finance, sap_fi, hourly mandt, bukrs, gjahr
bsid Tabela gerada para visualização finance, sap_fi, hourly
bsik Tabela gerada para visualização finance, sap_fi, hourly
but000 Bp: General Data I finance, sap_fi, daily
but020 Bp: Addresses finance, sap_fi, daily
mas0bk Bp: Bank Details finance, sap_fi, daily
faat_doc_it Contabilidade de ativos: itens de linha estatísticos finance, sap_fi, daily
faat_plan_values Valores dos recursos: valores planejados e reavaliações finance, sap_fi, daily
faat_ydda Valores dos recursos: dados dependentes do ano finance, sap_fi, yearly
fagl_011pc Fin Statement Version: Items in Financial Statement Version finance, sap_fi, monthly
fagl_011qt Estrutura das demonstrações financeiras: texto para itens das demonstrações financeiras finance, sap_fi, monthly
fagl_011zc Versão da demonstração financeira: atribuição de itens de demonstração financeira a contas do razão geral finance, sap_fi, monthly
faglflexa Contabilidade geral: itens de linha reais finance, sap_fi, hourly
fincs_ref_vers_r Relação de versão de referência finance, sap_fi, yearly
finsc_ld_cmp Configurações dependentes de CompCode para o livro razão de lançamentos contábeis universais finance, sap_fi, daily
finsc_ledger Razão de lançamento contábil universal finance, sap_fi, yearly
finsc_ledger_rep Razão de lançamentos unificada (tabela auxiliar para relatórios) finance, sap_fi, daily
finsc_ledger_t Texto do razão de lançamentos contábeis universais finance, sap_fi, yearly
ska1 Conta principal do razão geral (plano de contas) finance, sap_fi, daily
skat Registro principal da conta do razão geral (plano de contas: descrição) finance, sap_fi, daily
t001 Códigos da empresa finance, sap_fi, once
t002 Chaves de idioma (componente Bc-I18) finance, sap_fi, once
t002t Textos principais de idioma finance, sap_fi, once
t005 Países finance, sap_fi, yearly
t005k Comunicação: código de discagem do país configuração, anual
t005s Tributos: chave da região (província) configuração, anual
t005t Nomes de países configuração, anual
t005u Tributos: chave da região: textos configuração, anual
t009 Variantes de ano fiscal configuração, uma vez
t009b Períodos de variantes do ano fiscal configuração, uma vez
t090nat Textos de chave de depreciação finance, sap_fi, hourly
t093b Configurações de código da empresa para área de depreciação finance, sap_fi, hourly
t093c Configurações do código da empresa para contabilidade de ativos finance, sap_fi, hourly
t093t Textos da área de depreciação finance, sap_fi, hourly
t095t Nome da determinação da conta finance, sap_fi, hourly
t098t Motivo da descrição da avaliação manual finance, sap_fi, hourly
t881 Ledger Master finance, sap_fi, once
t881t Texto do livro razão Fi-Sl finance, sap_fi, once
tabw Tipos de transação de recursos finance, sap_fi, daily
tabwh Textos do grupo de tipo de transação de recurso finance, sap_fi, daily
tabwt Textos do tipo de transação de recurso finance, sap_fi, daily
tcurc Códigos de moedas finance, sap_fi, once
tcurf Fatores de conversão finance, sap_fi, once
tcurr Taxas de câmbio finance, sap_fi, daily
tcurt Nomes de códigos de moeda finance, sap_fi, daily
tcurx Casas decimais em moedas finance, sap_fi, daily
tf200 Versões de consolidação finance, sap_fi, yearly
tf201 Versions: Name finance, sap_fi, yearly
tvarvc Tabela de variáveis de variante (específicas do cliente) finance, sap_fi, daily
vwpanla Asset Master for Securities finance, sap_fi, daily
FSCM fdsb Registros de resumo de gestão e previsão de caixa finance, sap_fscm, hourly
fqm_flow Uma exposição de operações finance, sap_fscm, hourly
PS prhi Estrutura analítica do trabalho, arestas (ponteiro de hierarquia) finance, sap_ps, hourly
proj Definição do projeto finance, sap_ps, hourly
prps Dados principais do elemento da EAP finance, sap_ps, hourly
prte Dados de programação para item do projeto finance, sap_ps, hourly
rpsco Banco de dados de informações do projeto: custos, receitas, finanças finance, sap_ps, daily
TRM vtbfha Transação financeira (Vtbfha) finance, sap_trm, hourly
vtbfhapo Fluxo de transação (Vtbfhapo) finance, sap_trm, hourly
vtbfhazu Atividade de transação (Vtbfhazu) finance, sap_trm, hourly
vtvbar NPVs de transações de venda livre (Vtvbar) finance, sap_trm, hourly
RH HCM hrrp_directory Diretório de hierarquia hr, sap_hcm, monthly
hrrp_node Nó de hierarquia hr, sap_hcm, monthly
hrrp_nodet Textos de nós da hierarquia hr, sap_hcm, monthly
TI BASIS dd01l Domínios it, sap_basis, once
dd03l Campos da tabela it, sap_basis, once
dd04t R/3 Dd: textos de elementos de dados it, sap_basis, once
dd07l Valores de domínio it, sap_basis, once
dd07t Dd: textos para valores fixos de domínio (dependente de idioma) it, sap_basis, once
dd08l Definições de relacionamento it, sap_basis, once
Manufatura PP afko Dados do cabeçalho do pedido: pedidos de PP manufacturing, sap_pp, hourly
afpo Item do pedido manufacturing, sap_pp, hourly
aufk Dados mestres de pedidos manufacturing, sap_pp, hourly
mastro Material para link da BOM manufacturing, sap_pp, monthly
stas Boms - Item Selection manufacturing, sap_pp, monthly
stko Cabeçalho BOM manufacturing, sap_pp, monthly
stpo Bom Item manufacturing, sap_pp, monthly
Vendas SD kna1 Dados gerais no cadastro de clientes sales, sap_sd, daily
konv Condições (dados de transação) sales, sap_sd, daily kdatu (hora/dia) stunr
prcd_elements Elementos de preço vendas, sap_sd, hourly
t179 Materiais: hierarquias de produtos sales, sap_sd, once
t179t Materiais: hierarquias de produtos: textos sales, sap_sd, once
tspa Unidade organizacional: divisões de vendas vendas, sap_sd, yearly
tspat Unidade organizacional: divisões de vendas: textos vendas, sap_sd, yearly
tvfst Faturamento : textos sobre o motivo do bloqueio vendas, sap_sd, yearly
tvko Unidade organizacional: organizações de vendas vendas, sap_sd, yearly
tvkot Unidade organizacional: organizações de vendas: textos vendas, sap_sd, yearly
tvlst Entregas: motivos do bloqueio/escopo: textos vendas, sap_sd, yearly
tvtw Unidade organizacional: canais de distribuição vendas, sap_sd, yearly
tvtwt Unidade organizacional: canais de distribuição: textos vendas, sap_sd, yearly
vbak Documento de vendas: dados do cabeçalho vendas, sap_sd, hourly audat (hora/dia) vkorg
vbap Documento de vendas: dados do item vendas, sap_sd, hourly werks, lgort
vbep Documento de vendas: dados da linha de programação vendas, sap_sd, hourly
vbfa Fluxo de documentos de vendas vendas, sap_sd, hourly
vbpa Documento de vendas: parceiro vendas, sap_sd, hourly
vbrk Documento de faturamento: dados do cabeçalho vendas, sap_sd, hourly
vbrp Documento de faturamento: dados do item vendas, sap_sd, hourly
vbuk Documento de vendas: status do cabeçalho e dados administrativos vendas, sap_sd, hourly
vbup Documento de vendas: status do item vendas, sap_sd, hourly
wb2_d_bvdetail Ccs: Detailed Statement for Settlement sales, sap_sd, daily
wb2_d_settl_cal Reembolsos: agenda de liquidação sales, sap_sd, daily
wbrk Documento de liquidação da agência: cabeçalho vendas, sap_sd, hourly
wbrp Documento de liquidação da agência: item vendas, sap_sd, hourly
wcocoh Contrato de condição: cabeçalho sales, sap_sd, daily
wcocoi Contrato condicional: item sales, sap_sd, daily
Cadeia de suprimentos LE likp SD Document: Delivery Header Data supply_chain, sap_le, hourly erdat (tempo/mês) vkorg
lábios Documento SD: entrega: dados do item supply_chain, sap_le, hourly erdat (tempo/mês)
MÉD. ekbe Histórico de documentos de compras (EKBE) supply_chain, sap_mm, hourly budat (horário/dia) mandt, vgabe, ebeln, bwart
ekes Confirmações do fornecedor (Ekes) supply_chain, sap_mm, hourly
eket Linhas de programação do contrato de programação supply_chain, sap_mm, hourly eindt (horário/dia) mandt, ebeln
ekkn Atribuição de conta no documento de compra (Ekkn) supply_chain, sap_mm, hourly
ekko Cabeçalho do documento de compra supply_chain, sap_mm, hourly bedat (hora/dia) mandt, ebeln
ekpo Item do documento de compra supply_chain, sap_mm, hourly aedat (hora/dia) mandt, ebeln
lfa1 Registro mestre de fornecedor (seção geral) supply_chain, sap_mm, daily
makt Descrições de materiais supply_chain, sap_mm, daily spras
mara Dados gerais de materiais supply_chain, sap_mm, daily
marc Dados de planta para material supply_chain, sap_mm, hourly
mard Dados de local de armazenamento para material supply_chain, sap_mm, hourly
matdoc Documentos materiais supply_chain, sap_mm, hourly
mbew Avaliação de materiais supply_chain, sap_mm, daily
mbewh Avaliação de material: histórico supply_chain, sap_mm, daily
mch1 Lotes (se o gerenciamento de lotes for entre unidades) supply_chain, sap_mm, daily
mcha Lotes supply_chain, sap_mm, daily
mchb Lote de ações supply_chain, sap_mm, daily
mkol Estoque especial do fornecedor supply_chain, sap_mm, weekly
mseg Segmento do documento: material supply_chain, sap_mm, hourly
msfd Estoque de pedido de venda com fornecedor supply_chain, sap_mm, weekly
mska Estoque de pedidos de venda supply_chain, sap_mm, weekly
msku Ações especiais com o cliente supply_chain, sap_mm, weekly
mslb Estoque especial com o fornecedor supply_chain, sap_mm, weekly
rbco Item do documento, fatura recebida, atribuição de conta supply_chain, sap_mm, hourly
rbkp Cabeçalho do documento: recebimento da fatura supply_chain, sap_mm, hourly
rseg Item do documento: fatura recebida supply_chain, sap_mm, hourly
t001k Área de avaliação supply_chain, sap_mm, once
t001l Locais de armazenamento supply_chain, sap_mm, once
t001w Plantas/galhos supply_chain, sap_mm, once
t006 Unidades de medida supply_chain, sap_mm, yearly
t006a Atribuir "Internal" a "Language-Dependent Unit" configuração, uma vez
t006t Textos de dimensão configuração, uma vez
t023 Grupos de materiais supply_chain, sap_mm, once
t023t Descrições do grupo de materiais supply_chain, sap_mm, once
t024 Grupos de compra supply_chain, sap_mm, once
t024e Organizações compradoras supply_chain, sap_mm, once
t134 Tipos de materiais supply_chain, sap_mm, once
t134t Descrições de tipo de material supply_chain, sap_mm, once
t148t Descrições especiais de ações supply_chain, sap_mm, once
t156 Tipo de movimento supply_chain, sap_mm, once
t156t Texto do tipo de movimento configuração, uma vez
t157e Tabela de texto: motivo da movimentação configuração, uma vez
t161 Tipos de documentos de compra (T161) supply_chain, sap_mm, once
t161t Textos para tipos de documentos de compra supply_chain, sap_mm, once