Implantação

Esta página mostra as etapas de implantação do Cortex Framework para seus dados corporativos.

Antes de começar

Verifique se você concluiu os pré-requisitos descritos na página Pré-requisitos antes de continuar com a implantação.

Antes de implantar o Cortex Framework, as tabelas relevantes do SAP ERP precisam ser replicadas no BigQuery. Para mais informações, consulte a página Fonte de dados do SAP ERP.

Implantação

Com o ambiente preparado, você pode executar a implantação. Use os scripts uv do Cortex Framework para criar e enviar seus recursos de dados ao projeto Google Cloud , transformando suas configurações locais em uma arquitetura de dados ativa e escalonável.

Configuração

Antes da implantação, as camadas de base de dados e produto de dados são configuradas usando uma abordagem centralizada de configuração como código. O Cortex Framework usa um arquivo config/config.yaml para configurar a implantação do Cortex Framework. Esse arquivo contém o mapeamento essencial entre os dados de origem e o ambiente de destino Google Cloud. A configuração adequada garante que o Cortex Framework saiba exatamente onde encontrar seus dados brutos e onde materializar as camadas resultantes.

Para uma implantação bem-sucedida do Cortex Framework, é necessário adicionar estes valores obrigatórios:

  • YOUR_BUILD_PROJECT_ID: o projeto em que a orquestração de implantação e os scripts uv são executados.
  • YOUR_SOURCE_PROJECT_ID: o projeto que contém seus dados de origem brutos.
  • YOUR_TARGET_PROJECT_ID: o projeto de destino em que os produtos de dados e os conjuntos de dados do BigQuery processados vão ficar.
  • YOUR_REPO_PROJECT_ID: o projeto que hospeda o repositório do Dataform e os artefatos de implantação.

Para informações detalhadas sobre o arquivo de configuração, consulte Configuração de implantação.

Configurar papéis do IAM

Configure as permissões necessárias do Identity and Access Management (IAM) para implantar o conteúdo do Cortex Framework nos projetos Google Cloud necessários.

Funções para o projeto de build

Para receber as permissões necessárias para criar o Cortex Framework, peça ao administrador para conceder a você o papel do IAM Usuário de jobs de dados do BigQuery (roles/bigquery.jobUser) no seu projeto de build. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Funções para o projeto de origem

Para receber as permissões necessárias para implantar o Cortex Framework, peça ao administrador para conceder a você o papel do IAM Visualizador de dados do BigQuery (roles/bigquery.dataViewer) no projeto de origem. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Papéis para projetos de destino

Para receber as permissões necessárias para implantar o Cortex Framework, peça ao administrador para conceder a você os seguintes papéis do IAM nos projetos de destino:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Executar implantação

Execute o comando a seguir para acionar a implantação do Cortex Framework. Esse processo vai realizar as seguintes ações:

  • Verifique se todos os pré-requisitos foram atendidos.
  • Conecte-se ao conjunto de dados bruto e, com base nas informações do esquema, crie e compile os scripts .sqlx.
  • Crie o repositório e o espaço de trabalho do Dataform e sincronize os artefatos compilados com o repositório.
uv run cortex-build-and-deploy --config "config/config.yaml"

Opções da linha de comando

A interface de linha de comando (CLI) uv run oferece suporte a estas ações:

  • uv run cortex-build: executa a compilação do espaço de trabalho do Dataform, traduzindo configurações YAML e modelos SQLX/JS em recursos implantáveis do Dataform. Para mais informações, consulte Build do Cortex da CLI.
  • uv run cortex-deploy: envia os recursos compilados para o espaço de trabalho de destino do Dataform. Para mais informações, consulte Implantação da CLI do Cortex.
  • uv run cortex-build-and-deploy: combina a compilação e o envio dos recursos de build para o espaço de trabalho do Dataform. Para mais informações, consulte Criação e implantação do Cortex pela CLI.

Executar o pipeline de base de dados e produtos de dados

Depois que a implantação for concluída, a etapa final será executar todas as ações no repositório do Dataform. Ao executar o pipeline no espaço de trabalho do Dataform, você inicia a transformação lógica de dados brutos em produtos de dados estruturados e prontos para IA, prontos para uso imediato nos negócios. Siga estas etapas:

  1. Acesse Dataform.
  2. Verifique se você está no projeto correto.
  3. Clique no nome do repositório criado.
  4. Clique no nome do espaço de trabalho.
  5. Clique em Iniciar execução.
  6. Selecione Executar ações.
  7. Selecione Todas as ações ou as etapas de seu interesse.
  8. Clique em Iniciar execução.

Verifique se a implantação foi bem-sucedida:

  1. Clique em Execuções.
  2. Verifique se o status é "Concluído com sucesso".
  3. Clique no link de execução para mais detalhes.

Agora você pode analisar os recursos de dados do BigQuery implantados no conjunto de dados configurado no arquivo de configuração. Por exemplo, CORTEX_SAP_DATAFOUNDATION e CORTEX_SAP_DATAPRODUCTS.