Visão geral da implantação

Esta página mostra as etapas de implantação do Cortex Framework para seus dados corporativos.

Antes de começar

Verifique se você concluiu os pré-requisitos descritos na página Pré-requisitos antes de continuar com a implantação.

Antes de implantar o Cortex Framework, as tabelas relevantes do SAP ERP precisam ser replicadas no BigQuery. Para mais informações, consulte a página Fonte de dados do SAP ERP.

Implantação

Com o ambiente preparado, você pode executar a implantação. Use os scripts uv do Cortex Framework para criar e enviar seus recursos de dados ao projeto Google Cloud , transformando suas configurações locais em uma arquitetura de dados escalonável e em tempo real.

Configuração

Antes da implantação, as camadas de base de dados e produto de dados são configuradas usando uma abordagem centralizada de configuração como código. O Cortex Framework usa um arquivo config/config.yaml para configurar a implantação do Cortex Framework. Esse arquivo contém o mapeamento essencial entre os dados de origem e o ambiente de destino Google Cloud. A configuração adequada garante que o Cortex Framework saiba exatamente onde encontrar seus dados brutos e onde materializar as camadas resultantes.

Para uma implantação bem-sucedida do Cortex Framework, é necessário adicionar estes valores obrigatórios:

• YOUR_BUILD_PROJECT_ID: o projeto em que a orquestração de implantação e os scripts uv são executados.
• YOUR_SOURCE_PROJECT_ID: o projeto que contém os dados de origem brutos.
• YOUR_TARGET_PROJECT_ID: o projeto de destino em que os produtos de dados e conjuntos de dados do BigQuery processados vão ficar.
• YOUR_REPO_PROJECT_ID: o projeto que hospeda o repositório do Dataform e os artefatos de implantação.

Para informações detalhadas sobre o arquivo de configuração, consulte Configuração de implantação.

Configurar papéis do IAM

Configure as permissões necessárias do Identity and Access Management (IAM) para implantar o conteúdo do Cortex Framework nos projetos Google Cloud necessários.

Funções para o projeto de build

Para receber as permissões necessárias para criar o Cortex Framework, peça ao administrador para conceder a você o papel do IAM Usuário de jobs de dados do BigQuery (roles/bigquery.jobUser) no seu projeto de build. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Funções para o projeto de origem

Para receber as permissões necessárias para implantar o Cortex Framework, peça ao administrador para conceder a você o papel do IAM Leitor de dados do BigQuery (roles/bigquery.dataViewer) no projeto de origem. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Papéis para projetos de destino

Para receber as permissões necessárias para implantar o Cortex Framework, peça ao administrador para conceder a você os seguintes papéis do IAM nos projetos de destino:

• Editor de dados do BigQuery (roles/bigquery.dataEditor)
• Administrador do Dataform (roles/dataform.admin)
• Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Observação: a função de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin) é usada durante a execução do script de implantação do Cortex Framework para a ativação automática das seguintes APIs Google Cloud: dataform.googleapis.com, bigquery.googleapis.com e cloudresourcemanager.googleapis.com. Se as políticas da sua organização não permitirem conceder esse privilégio aos usuários, ative as APIs mencionadas manualmente antes da execução do script de implantação do Cortex Framework.

Executar implantação

Execute o comando a seguir para acionar a implantação do Cortex Framework. Esse processo vai realizar as seguintes ações:

• Verifique se todos os pré-requisitos foram atendidos.
• Conecte-se ao conjunto de dados bruto e, com base nas informações do esquema, crie e compile os scripts .sqlx.
• Crie o repositório e o espaço de trabalho do Dataform e sincronize os artefatos compilados com o repositório.

uv run cortex-build-and-deploy --config "config/config.yaml"

• Siga as etapas pós-implantação para executar as ações do Dataform e verificar os resultados no BigQuery.

Opções da linha de comando

A interface de linha de comando (CLI) uv run oferece suporte a estas ações:

• uv run cortex-build: executa a compilação do espaço de trabalho do Dataform, traduzindo configurações YAML e modelos SQLX/JS em recursos implantáveis do Dataform. Para mais informações, consulte Build do Cortex da CLI.
• uv run cortex-deploy: envia os recursos compilados para o espaço de trabalho de destino do Dataform. Para mais informações, consulte Implantação do Cortex na CLI.
• uv run cortex-build-and-deploy: combina a compilação e o envio dos recursos de build para o espaço de trabalho do Dataform. Para mais informações, consulte Criação e implantação do Cortex pela CLI.