Descripción general de la base de datos

La capa de base de datos de Cortex Framework sirve como una representación limpia y estandarizada de los registros más recientes de tus sistemas de origen. Proporciona tablas y vistas reutilizables y de alta fidelidad dentro de BigQuery, lo que cierra la brecha entre los sistemas de registros empresariales replicados sin procesar y los datos de consumo analítico de alto valor.

Si bien la capa de base de datos alimenta la capa de productos de datos, se puede usar de forma independiente y ofrece las siguientes funciones:

  • Implementación independiente: Las organizaciones que desean establecer un almacén de datos operativos (ODS) limpio, conforme y estandarizado dentro de BigQuery pueden implementar solo los módulos de la base de datos. No es necesario que implementes la capa de productos de datos para usar la base de datos.
  • Consumo directo: Las tablas de la base de datos independientes sirven como una fuente de verdad centralizada y altamente optimizada que puede potenciar directamente las arquitecturas de malla de datos empresariales existentes, las canalizaciones de ETL personalizadas posteriores, las herramientas de IE de terceros, los modelos de AA personalizados y los agentes de IA independientes sin dependencias de los productos de datos entregados por Cortex Framework.
  • Alta extensibilidad: El framework reconoce y agrega columnas de tabla personalizadas (por ejemplo, columnas con el prefijo "Z" o "Y") automáticamente durante la compilación del módulo de base. Es posible extender la base con tablas adicionales (tablas personalizadas o tablas estándar no incluidas en la base) con un esfuerzo mínimo.

Fuentes de datos compatibles

La capa de base de datos admite datos replicados sin procesar de los sistemas ERP de SAP, incluidos los siguientes:

Para obtener más información, consulta la documentación sobre la integración del sistema fuente.

Capacidades principales

El objetivo principal de esta capa es estandarizar, limpiar y adaptar los datos de origen sin procesar en tablas de alta fidelidad con los siguientes métodos:

  • Protección del esquema: Los esquemas transaccionales sin procesar, como los de SAP, cambian con frecuencia y son difíciles de navegar. La capa de base protege a los consumidores posteriores de las complejidades de las tablas sin procesar y las alteraciones del esquema subyacente, ya que proporciona estructuras de destino estables y estandarizadas.
  • Metadatos y anotaciones listos para la empresa: Para ayudar a los usuarios empresariales a comprender los modelos de datos técnicos, la capa de base de datos usa una extensa biblioteca de anotaciones (src/data_modules/{namespace}/{system}/data_foundation/{foundation_name}/annotations/). Durante el proceso de compilación, el framework enriquece las columnas técnicas del sistema fuente con descripciones comerciales legibles en los metadatos de la tabla de BigQuery (por ejemplo, traducir una columna de SAP como bukrs a Company Code). Estos metadatos enriquecidos hacen que las tablas sean utilizables de inmediato para los analistas empresariales, los paneles de IE y los agentes de IA empresariales.
  • Adaptación dinámica del esquema: Admite esquemas de tablas dinámicas. Ingiere y propaga automáticamente los campos personalizados (como los campos Z* o Y* en SAP, o los atributos personalizados en otras fuentes) desde la capa sin procesar sin necesidad de realizar cambios manuales en el código de los modelos de SQL subyacentes.
  • Adaptación y deduplicación de datos automatizadas: Ya sea que los datos sin procesar lleguen como registros de cambios o instantáneas completas, la capa de base controla automáticamente la deduplicación, la conversión de tipos de datos y la reconstrucción del estado. Esto garantiza que siempre consultes el estado actual y preciso de cada registro.

Fuentes de CDC frente a fuentes que no son de CDC

En el caso de las canalizaciones administradas de forma nativa por Cortex Framework, la configuración se aplica a nivel de la tabla individual. Puedes configurar cómo se procesa cada tabla según si los datos de origen sin procesar llegan como registros de cambios incrementales o como instantáneas de la tabla completa. Por ejemplo, las tablas individuales en una fuente de CDC pueden declararse como isCdc: false para tratarlas como tablas de instantáneas:

  • Fuentes habilitadas para CDC: Para los datos sin procesar replicados como registros de captura de datos modificados (que contienen marcas de tiempo y marcas de operación, como inserciones, actualizaciones y eliminaciones de herramientas como BigQuery Connector para SAP o BigQuery Toolkit para SAP), Cortex Framework genera canalizaciones de Dataform dedicadas que procesan de forma incremental los registros sin procesar en una tabla persistente y conforme de "estado más reciente" que se actualiza de forma continua.
  • Fuentes que no son de CDC (instantánea completa o por lotes): Para las fuentes que no proporcionan registros de cambios de CDC o en las que las tablas se replican periódicamente como extracciones completas, Cortex Framework indica a la canalización que procese los datos como instantáneas completas de la tabla sin lógica de reconstrucción del estado de CDC (consulta el atributo de configuración isCdc en la base de datos, configuración de la tabla).

Bases de datos externos

Además de administrar el procesamiento de CDC de forma nativa a nivel de la tabla individual, Cortex Framework proporciona la flexibilidad arquitectónica para integrarse con las bases de datos externas existentes a nivel de toda la base. Toda la base se puede declarar como externa, en cuyo caso Cortex Framework supone que ya se realizó todo el procesamiento de CDC:

  • Base de datos administrada por Cortex: Cortex Framework compila y coordina las canalizaciones de transformación de Dataform, lee desde tu zona de destino sin procesar y materializa tablas conformadas en tu conjunto de datos de base de destino.
  • Base de datos externa: Si tu empresa ya usa una herramienta de replicación externa, una canalización de terceros o una capa semántica preestablecida que realiza la reconstrucción de CDC y la limpieza de datos fuera de Cortex Framework, puedes registrarla como una base de datos externa (consulta la marca external en la configuración de la base del módulo de datos). Cuando se configura como externo, Cortex Framework omite la generación de canalizaciones de transformación integradas y, en cambio, dirige los productos de datos posteriores directamente a tu conjunto de datos de destino existente.

Opciones de configuración de la base de datos

Si bien las configuraciones globales y a nivel del módulo se administran en el archivo config.yaml, las opciones detalladas a nivel de la tabla se configuran a través de un archivo table_settings.yaml específico de la fuente (para los sistemas SAP, se compila a partir de las secciones common, ecc y s4; para obtener información detallada, consulta Implementación, estilo de configuración de los parámetros de configuración de la tabla para SAP ERP). Este archivo te permite controlar las opciones de materialización, la optimización de la implementación y las funciones de rendimiento de BigQuery para tablas individuales, todo sin escribir ni modificar código SQL.

  • Resolución dinámica de dependencias: De forma predeterminada (deployAlways: false), Cortex Framework optimiza la huella de implementación y el costo de ejecución implementando y compilando solo las tablas de la capa de la base de datos que se requieren de forma activa como dependencias de los productos de datos posteriores habilitados. Para anular esta optimización y forzar la implementación de una tabla de base siempre (lo que es particularmente útil cuando se ejecuta la base de datos de forma independiente o para cargas de trabajo personalizadas posteriores), establece deployAlways: true.
  • Modo de transferencia: Controla si la tabla se procesa con la reconstrucción incremental del estado de CDC o con el procesamiento completo de la instantánea.
  • Nombres y etiquetas de destino: Personaliza el nombre de la tabla de destino conforme y adjunta etiquetas de metadatos arbitrarias (p.ej., [sap, finance, hourly]) directamente a las acciones de Dataform para habilitar ejecuciones selectivas de la canalización (dataform run --tags ...).
  • Detalles del agrupamiento en clústeres: Coloca datos relacionados ordenando los bloques de almacenamiento en hasta cuatro columnas alfanuméricas (p.ej., bukrs, gjahr). El agrupamiento en clústeres mejora significativamente el rendimiento de las consultas y reduce los costos de análisis de datos para las consultas que filtran o unen en estas columnas.
  • Detalles de la partición: Segmenta tablas históricas grandes por tiempo (time o DATE con timeGrain: day | month | year) o rangos de números enteros (integer). La partición evita los análisis completos de la tabla cuando las consultas solicitan rangos de fechas o intervalos de IDs específicos.

Extensión de la infraestructura de datos

Para extender la capa de base de datos con tablas adicionales, tienes varias opciones:

Tablas de base de datos disponibles

En la siguiente tabla, se enumeran las tablas incluidas en la capa de base de datos del Cortex Framework y los detalles relacionados.

Línea de negocio Módulo de SAP Nombre de la tabla Descripción Fuentes admitidas Etiquetas de Dataform Detalles de la partición Detalles del clúster
SAP ECC SAP S/4HANA
Finanzas CO bpge Valores del presupuesto (generales) finance, sap_co, daily
bpja Valores del presupuesto (anual) finance, sap_co, daily
bpvg Líneas de pedido del documento finance, sap_co, daily
cepc Tabla de datos maestros del centro de ganancias finance, sap_co, daily
cepct Textos para los datos maestros del centro de ganancias finance, sap_co, daily
ckmlcr Material Ledger: Period Totals Records Values finance, sap_co, daily
ckmlhd Material Ledger: Header Record finance, sap_co, daily
cobk Objeto de control: Encabezado del documento finanzas, control, diario
coep Objeto de control: Líneas de pedido (por período) finanzas, control, diario
cooi Administración de compromisos: Líneas de pedido finanzas, control, diario
cosp Objeto de control: Totales de costos para publicaciones externas finanzas, control, diario
coss Objeto de control: Totales de costos para publicaciones internas finanzas, control, diario
cskb Elementos de costo (datos dependientes del área de control) finance, sap_co, daily
csks Registro principal del centro de costos finance, sap_co, daily
cskt Textos del centro de costos finance, sap_co, daily
csku Textos de elementos de costo finance, sap_co, daily
jest Estado de objeto individual finance, sap_co, daily
sethanahier0101 Tabla de jerarquía para los grupos de centros de costos finanzas, sap_co, mensual
sethanahier0106 Tabla de jerarquía para los grupos de centros de ganancias finanzas, sap_co, mensual
setheader Configura el encabezado y el directorio finanzas, sap_co, mensual
setheadert Descripción breve de los conjuntos finance, sap_co, monthly
setleaf Valores en conjuntos finanzas, sap_co, mensual
setnode Conjuntos de nivel inferior en Sets finance, sap_co, monthly
tj02t Textos de estado del sistema finance, sap_co, yearly
tka01 Áreas de control finance, sap_co, yearly
tka02 Asignación del área de control finance, sap_co, yearly
FI acdoca Líneas de asientos de diario universales finanzas, sap_fi, por hora rclnt, rbukrs
acdocu Entradas del diario grupal finanzas, sap_fi, por hora
adr6 Direcciones de correo electrónico (servicios de direcciones comerciales) finance, sap_fi, daily
adrc Direcciones (servicios de direcciones comerciales) finance, sap_fi, daily
adrct Textos de dirección (servicios de dirección de la empresa) finance, sap_fi, daily
anek Encabezado del documento de publicación de recursos finance, sap_fi, daily
anep Líneas de pedido de recursos finance, sap_fi, daily
ankt Clases de activos: Descripción finanzas, sap_fi, hourly
anla Segmento de registro maestro de activos finanzas, sap_fi, hourly
anlb Condiciones de Depreciación finanzas, sap_fi, hourly
anlc Registro del valor del activo: Año finance, sap_fi, yearly
anlh Número de activo principal finanzas, sap_fi, hourly
anlz Asignaciones de activos dependientes del tiempo finanzas, sap_fi, por hora
atras Tabla de tasas de Tesorería finance, sap_fi, daily
bkpf Encabezado del documento contable finanzas, sap_fi, por hora budat (hora/día) bukrs, gjahr
bsad Tabla generada para la vista finanzas, sap_fi, por hora
bsak Tabla generada para la vista finanzas, sap_fi, por hora
bseg Segmento de documento contable finanzas, sap_fi, por hora mandt, bukrs, gjahr
bsid Tabla generada para la vista finanzas, sap_fi, por hora
bsik Tabla generada para la vista finanzas, sap_fi, hourly
but000 Bp: General Data I finance, sap_fi, daily
but020 Bp: Addresses finance, sap_fi, daily
but0bk Bp: Bank Details finance, sap_fi, daily
faat_doc_it Contabilidad de activos: Líneas de pedido estadísticas finance, sap_fi, daily
faat_plan_values Valores de los activos: valores planificados y revaluaciones finance, sap_fi, daily
faat_ydda Valores de los activos: Datos dependientes del año finance, sap_fi, yearly
fagl_011pc Versión del estado financiero: Elementos en la versión del estado financiero finance, sap_fi, monthly
fagl_011qt Estructura del estado financiero: Texto para los elementos del estado financiero finance, sap_fi, monthly
fagl_011zc Versión de la declaración financiera: Asignación de elementos de FS a cuentas de GL finance, sap_fi, monthly
faglflexa Libro mayor: Líneas de pedido reales finanzas, sap_fi, hourly
fincs_ref_vers_r Relación de versión de referencia finance, sap_fi, yearly
finsc_ld_cmp Configuración dependiente de CompCode para el libro de asientos de diario de la universidad finance, sap_fi, daily
finsc_ledger Universal Journal Entry Ledger finance, sap_fi, yearly
finsc_ledger_rep Libro de asientos de diario unificado (tabla auxiliar para informes) finance, sap_fi, daily
finsc_ledger_t Texto del libro de contabilidad de la entrada de diario universal finance, sap_fi, yearly
ska1 G/L Account Master (Chart of Accounts) finance, sap_fi, daily
skat Registro maestro de la cuenta del libro mayor (plan de cuentas: descripción) finance, sap_fi, daily
t001 Códigos de la empresa finance, sap_fi, once
t002 Claves de idioma (componente Bc-I18) finance, sap_fi, once
t002t Textos clave de idiomas finance, sap_fi, once
t005 Países finance, sap_fi, yearly
t005k Comunicación: Código de país configuración, anual
t005s Impuestos: Clave de región (provincia) configuración, anual
t005t Nombres de países configuración, anual
t005u Impuestos: Clave de región: Textos configuración, anual
t009 Variantes del año fiscal configuración, una vez
t009b Períodos de variantes del año fiscal configuración, una vez
t090nat Textos de claves de depreciación finanzas, sap_fi, hourly
t093b Configuración del código de la empresa para el área de depreciación finanzas, sap_fi, por hora
t093c Configuración del código de la empresa para la contabilidad de activos finanzas, sap_fi, por hora
t093t Textos del área de depreciación finanzas, sap_fi, por hora
t095t Nombre de la determinación de la cuenta finanzas, sap_fi, por hora
t098t Descripción del motivo de la valoración manual finanzas, sap_fi, por hora
t881 Ledger Master finance, sap_fi, once
T881T Texto del libro contable de Fi-Sl finance, sap_fi, once
tabw Tipos de transacciones de activos finance, sap_fi, daily
tabwh Asset Transaction Type Group Texts finance, sap_fi, daily
tabwt Textos de tipo de transacción de recursos finance, sap_fi, daily
tcurc Códigos de moneda finance, sap_fi, once
tcurf Factores de conversión finance, sap_fi, once
tcurr Tipos de cambio finance, sap_fi, daily
tcurt Nombres de los códigos de moneda finance, sap_fi, daily
tcurx Decimales en monedas finance, sap_fi, daily
tf200 Versiones de consolidación finance, sap_fi, yearly
tf201 Versiones: Nombre finance, sap_fi, yearly
tvarvc Tabla de variables de variantes (específicas del cliente) finance, sap_fi, daily
vwpanla Asset Master for Securities finance, sap_fi, daily
FSCM fdsb Registros de resumen de previsión y administración de efectivo finanzas, sap_fscm, por hora
fqm_flow Una exposición de operaciones finanzas, sap_fscm, por hora
PS prhi Estructura de desglose del trabajo, bordes (puntero de jerarquía) finanzas, sap_ps, por hora
proj Definición del proyecto finance, sap_ps, hourly
prps Datos maestros del elemento de la WBS finance, sap_ps, hourly
prte Datos de programación del elemento del proyecto finance, sap_ps, hourly
rpsco Base de datos de información del proyecto: costos, ingresos y finanzas finanzas, sap_ps, diario
TRM vtbfha Transacción financiera (Vtbfha) finanzas, sap_trm, por hora
vtbfhapo Flujo de transacción (Vtbfhapo) finanzas, sap_trm, por hora
vtbfhazu Actividad de transacción (Vtbfhazu) finanzas, sap_trm, por hora
vtvbar NPV de transacciones de venta libre (Vtvbar) finanzas, sap_trm, por hora
RR.HH. HCM hrrp_directory Directorio de jerarquía hr, sap_hcm, monthly
hrrp_node Nodo de jerarquía hr, sap_hcm, monthly
hrrp_nodet Textos de nodos de jerarquía hr, sap_hcm, monthly
TI BASIS dd01l Dominios it, sap_basis, once
dd03l Campos de la tabla it, sap_basis, once
dd04t R/3 Dd: Textos de elementos de datos it, sap_basis, once
dd07l Valores de dominio it, sap_basis, once
dd07t Dd: Textos para valores fijos del dominio (dependientes del idioma) it, sap_basis, once
dd08l Definiciones de relaciones it, sap_basis, once
Fabricación PP afko Datos del encabezado del pedido: Pedidos de PP manufacturing, sap_pp, hourly
afpo Artículo del pedido manufacturing, sap_pp, hourly
aufk Datos maestros del pedido manufacturing, sap_pp, hourly
mástil Vínculo del material a la BOM manufacturing, sap_pp, monthly
stas Boms - Item Selection manufacturing, sap_pp, monthly
stko Encabezado de BOM manufacturing, sap_pp, monthly
stpo Elemento de BOM manufacturing, sap_pp, monthly
Ventas SD kna1 Datos generales en el registro maestro de clientes ventas, sap_sd, diario
konv Condiciones (datos de transacciones) ventas, sap_sd, diario kdatu (hora/día) stunr
prcd_elements Elementos de precios ventas, sap_sd, por hora
t179 Materiales: Jerarquías de productos ventas, sap_sd, una vez
t179t Materiales: Jerarquías de productos: Textos ventas, sap_sd, una vez
tsp Unidad organizativa: Divisiones de ventas ventas, sap_sd, anual
tspat Unidad organizativa: Divisiones de ventas: Textos ventas, sap_sd, anual
tvfst Facturación : Textos de motivos de bloqueo ventas, sap_sd, anual
tvko Unidad organizativa: Organizaciones de ventas ventas, sap_sd, anual
tvkot Unidad organizativa: Organizaciones de ventas: Textos ventas, sap_sd, anual
tvlst Publicaciones: Motivos y alcance de los bloqueos: Textos ventas, sap_sd, anual
tvtw Unidad organizativa: Canales de distribución ventas, sap_sd, anual
tvtwt Unidad organizativa: Canales de distribución: Textos ventas, sap_sd, anual
vbak Documento de ventas: Datos del encabezado ventas, sap_sd, por hora audat (hora/día) vkorg
vbap Documento de ventas: Datos del artículo ventas, sap_sd, por hora werks, lgort
vbep Documento de ventas: Datos de la línea de programa ventas, sap_sd, por hora
vbfa Flujo de documentos de ventas ventas, sap_sd, por hora
vbpa Documento de ventas: Socio ventas, sap_sd, por hora
vbrk Documento de facturación: Datos del encabezado ventas, sap_sd, por hora
vbrp Documento de facturación: Datos del artículo ventas, sap_sd, por hora
vbuk Documento de ventas: Estado del encabezado y datos administrativos ventas, sap_sd, por hora
vbup Documento de ventas: Estado del artículo ventas, sap_sd, por hora
wb2_d_bvdetail Ccs: Detailed Statement for Settlement ventas, sap_sd, diario
wb2_d_settl_cal Rebates: Calendario de liquidaciones ventas, sap_sd, diario
wbrk Documento de liquidación de la agencia: Encabezado ventas, sap_sd, por hora
wbrp Documento de liquidación de la agencia: Elemento ventas, sap_sd, por hora
wcocoh Contrato de condición: encabezado ventas, sap_sd, diario
wcocoi Condition Contract: Item ventas, sap_sd, diario
Cadena de suministro LE likp SD Document: Delivery Header Data supply_chain, sap_le, hourly erdat (fecha/mes) vkorg
labios Documento de SD: Entrega: Datos del artículo supply_chain, sap_le, hourly erdat (fecha/mes)
MM ekbe Historial del documento de compra (Ekbe) supply_chain, sap_mm, hourly budat (hora/día) mandt, vgabe, ebeln, bwart
ekes Confirmaciones de proveedores (Ekes) supply_chain, sap_mm, hourly
eket Líneas de programa del acuerdo de programación supply_chain, sap_mm, hourly eindt (hora/día) mandt, ebeln
ekkn Asignación de cuenta en el documento de compra (Ekkn) supply_chain, sap_mm, hourly
ekko Encabezado del documento de compra supply_chain, sap_mm, hourly bedat (fecha y hora) mandt, ebeln
ekpo Elemento del documento de compra supply_chain, sap_mm, hourly aedat (hora/día) mandt, ebeln
lfa1 Registro maestro de proveedores (sección general) supply_chain, sap_mm, daily
makt Descripciones de los materiales supply_chain, sap_mm, daily spras
mara Datos generales del material supply_chain, sap_mm, daily
marc Datos de plantas para Material supply_chain, sap_mm, hourly
mard Datos de ubicación de almacenamiento del material supply_chain, sap_mm, hourly
matdoc Documentos de Material supply_chain, sap_mm, hourly
mbew Valoración de materiales supply_chain, sap_mm, daily
mbewh Valoración de materiales: historial supply_chain, sap_mm, daily
mch1 Lotes (si la administración de lotes es en varias plantas) supply_chain, sap_mm, daily
mcha Lotes supply_chain, sap_mm, daily
mchb Batch Stocks supply_chain, sap_mm, daily
mkol Acciones especiales del proveedor supply_chain, sap_mm, weekly
mseg Segmento del documento: Material supply_chain, sap_mm, hourly
msfd Stock de pedido de venta con proveedor supply_chain, sap_mm, weekly
mska Inventario de pedidos de ventas supply_chain, sap_mm, weekly
msku Acciones especiales con el cliente supply_chain, sap_mm, weekly
mslb Acciones especiales con el proveedor supply_chain, sap_mm, weekly
rbco Elemento del documento, factura entrante y asignación de la cuenta supply_chain, sap_mm, hourly
rbkp Encabezado del documento: Recibo de factura supply_chain, sap_mm, hourly
rseg Document Item: Incoming Invoice supply_chain, sap_mm, hourly
t001k Área de valuación supply_chain, sap_mm, once
t001l Ubicaciones de almacenamiento supply_chain, sap_mm, once
t001w Plantas o ramas supply_chain, sap_mm, once
t006 Unidades de medida supply_chain, sap_mm, yearly
t006a Asigna Internal a la unidad dependiente del idioma configuración, una vez
t006t Textos de dimensiones configuración, una vez
t023 Grupos de materiales supply_chain, sap_mm, once
t023t Descripciones de los grupos de materiales supply_chain, sap_mm, once
t024 Grupos de compra supply_chain, sap_mm, once
t024e Organizaciones compradoras supply_chain, sap_mm, once
t134 Tipos de materiales supply_chain, sap_mm, once
t134t Descripciones de los tipos de material supply_chain, sap_mm, once
t148t Descripciones especiales de stock supply_chain, sap_mm, once
t156 Tipo de movimiento supply_chain, sap_mm, once
t156t Texto del tipo de movimiento configuración, una vez
t157e Tabla de texto: Motivo del movimiento configuración, una vez
t161 Tipos de documentos de compra (T161) supply_chain, sap_mm, once
t161t Textos para tipos de documentos de compra supply_chain, sap_mm, once