Visão geral
O Google Cloud Cortex Framework oferece aceleradores de produtos de dados projetados para transformar dados brutos de sistemas corporativos estratégicos em recursos de dados confiáveis e de alta qualidade prontos para análise avançada e IA.
Fornecido como código aberto personalizável implantável com segurança no seu próprio ambienteGoogle Cloud , o Google Cloud Cortex Framework oferece um modelo de execução sem servidor e nativo do BigQuery com tecnologia do Google Cloud Dataform.
Ao simplificar a maneira como as equipes criam, orquestram e implantam pipelines de dados, o Cortex Framework acelera o tempo de retorno do investimento e oferece uma base de alta fidelidade para a próxima geração de agentes de IA corporativos.
Arquitetura de dados
O Cortex Framework padroniza o processamento de dados no BigQuery em três camadas arquitetônicas distintas usando uma metodologia de extração, carregamento e transformação (ELT). Essa estratégia padronizada de camadas de dados está alinhada aos conceitos de malha de dados corporativa.
Sistema de origem
Os sistemas de origem são as origens dos dados ingeridos. Os sistemas de origem podem incluir vários aplicativos, bancos de dados ou plataformas empresariais de onde os dados são extraídos. Para todos os sistemas de origem compatíveis, consulte sistemas de origem compatíveis.
Camada bruta
A camada bruta representa o conjunto de dados imutável da zona de destino no BigQuery para dados de origem, registros de captura de dados alterados (CDC) ou extrações em lote. Embora ele armazene com frequência registros de CDC (por exemplo, do SAP ECC ou S/4HANA usando ferramentas de replicação como BigQuery Connector para SAP ou BigQuery Toolkit para SAP), ele foi projetado para representar qualquer formato bruto. Para fontes que não fornecem registros de CDC, como o Salesforce ou feeds de API externa, essa camada representa os extratos de lote completos ou payloads de eventos brutos exatamente como chegam, com alterações estruturais mínimas ou inexistentes. Essa camada alimenta a camada de base de dados.
Camada de base de dados
A camada de base de dados é uma representação padronizada e limpa dos registros mais recentes dos dados de origem e alimenta a camada de produto de dados. Essa camada é atualizada de forma incremental para fontes ativadas para CDC e usa visualizações para fontes não ativadas para CDC e implementadas externamente. A implementação se adapta aos recursos do sistema de origem. Para mais informações, consulte Fundamentos de dados.
Camada de produto de dados
A camada de produtos de dados fornece agregações, cálculos de KPI, lógica de negócios e lógica de conexão entre aplicativos. As visualizações e tabelas expostas pela camada de produto de dados são projetadas para consumo direto pelos Agentes de Análises de conversação do BigQuery, Gemini Enterprise, modelos de aprendizado de máquina, painéis e relatórios de BI, além de integrações de aplicativos. Para mais informações, consulte Produtos de dados.
Gerenciamento de dados
O Cortex Framework usa o Dataform para gerenciar o ciclo de vida dos dados. O Dataform permite gerenciar a transformação de dados para integração de dados. Ele oferece um serviço para analistas de dados desenvolverem, testarem, controlarem versões e programarem fluxos de trabalho complexos para transformação de dados no BigQuery. Para se adaptar dinamicamente a personalizações e extensões, o Cortex Framework cria o código do Dataform durante a fase de build e o organiza no repositório do Dataform em Google Cloud.
Ao acionar uma execução dos pipelines na interface do Dataform, as tabelas e visualizações do BigQuery das camadas de base e produto de dados são criadas e preenchidas com dados.
Próximas etapas
Tudo pronto para criar e implantar? Confira os guias a seguir para deixar seu ambiente pronto para uso:
- Implantação de demonstração: implante o conteúdo da solução de exemplo em minutos para ver o Cortex Framework em ação.
- Implantação: siga as instruções detalhadas para configurar e implantar o Cortex Framework nos seus dados corporativos.