Visão geral
O Google Cloud Cortex Framework oferece aceleradores de produtos de dados projetados para transformar dados brutos de sistemas empresariais estratégicos em recursos de dados confiáveis e de alta qualidade, prontos para análise avançada e IA.
Fornecido como código de código aberto personalizável implantado com segurança no seu próprio ambienteGoogle Cloud , o Google Cloud Cortex Framework oferece um modelo de execução sem servidor e nativo do BigQuery com tecnologia doGoogle Cloud Dataform.
Ao simplificar a maneira como as equipes criam, orquestram e implantam pipelines de dados, o Cortex Framework acelera o tempo de retorno do investimento e oferece uma base de alta fidelidade para a próxima geração de agentes de IA corporativos.
Arquitetura de dados
O Cortex Framework padroniza o processamento de dados no BigQuery em três camadas arquitetônicas distintas usando uma metodologia de extração, carregamento e transformação (ELT). Essa estratégia padronizada de camadas de dados está alinhada aos conceitos de malha de dados corporativa.
Sistema de origem
Os sistemas de origem são as origens dos dados ingeridos. Os sistemas de origem podem incluir vários aplicativos, bancos de dados ou plataformas empresariais de onde os dados são extraídos. Para todos os sistemas de origem compatíveis, consulte sistemas de origem compatíveis.
Camada bruta
A camada bruta representa o conjunto de dados imutável da zona de destino no BigQuery para dados de origem, sejam registros de captura de dados alterados (CDC) ou extrações em lote. Embora ele armazene com frequência registros de CDC (por exemplo, do SAP ECC ou S/4HANA usando ferramentas de replicação como BigQuery Connector para SAP ou BigQuery Toolkit para SAP), ele foi projetado para representar qualquer formato bruto. Para fontes que não fornecem registros de CDC, como o Salesforce ou feeds de API externos, essa camada representa os extratos de lote completos ou payloads de eventos brutos exatamente como chegam, com alterações estruturais mínimas ou inexistentes. Essa camada alimenta a camada de base de dados.
Camada de base de dados
A camada de base de dados é uma representação padronizada e limpa dos registros mais recentes dos dados de origem e alimenta a camada de produtos de dados. Essa camada é atualizada de maneira incremental para fontes ativadas para CDC e usa visualizações para fontes não ativadas para CDC e implementadas externamente. A implementação se adapta aos recursos do sistema de origem. Para mais informações, consulte Fundamentos de dados.
Camada de produto de dados
A camada de produto de dados fornece agregações, cálculos de KPI, lógica de negócios e lógica de conexão entre aplicativos. As visualizações e tabelas expostas pela camada de produto de dados são projetadas para consumo direto pelos agentes de análise de conversas do BigQuery, pelo Gemini Enterprise, por modelos de machine learning, painéis e relatórios de BI e por integrações de aplicativos. Para mais informações, consulte Produtos de dados.
Gerenciamento de dados
O Cortex Framework usa o Dataform para gerenciar o ciclo de vida dos dados. O Dataform permite gerenciar a transformação de dados para a integração de dados. Ele oferece um serviço para analistas de dados desenvolverem, testarem, controlarem versões e programarem fluxos de trabalho complexos para transformação de dados no BigQuery. Para se adaptar dinamicamente a personalizações e extensões, o Cortex Framework cria o código do Dataform durante a fase de build e o organiza no repositório do Dataform em Google Cloud.
Ao acionar uma execução dos pipelines na interface do Dataform, as tabelas e visualizações do BigQuery das camadas de base de dados e produto de dados são criadas e preenchidas com dados.
Próximas etapas
Tudo pronto para criar e implantar? Confira os guias a seguir para deixar seu ambiente pronto para uso:
- Implantação de demonstração: implante conteúdo da solução com dados de demonstração em minutos para ver o Cortex Framework em ação rapidamente.
- Implantação: siga as instruções detalhadas para configurar e implantar o Cortex Framework nos seus dados corporativos.