Etapas pós-implantação

Esta página orienta você pelas etapas pós-implantação do Cortex Framework para executar seus pipelines de dados e verificar os resultados.

Depois de executar a implantação, todos os modelos e configurações de transformação são compilados e implantados no repositório de destino do Dataform. No entanto, para materializar as tabelas e visualizações no BigQuery, primeiro execute as ações do pipeline do Dataform.

Executar as transformações no Dataform

Ao executar o pipeline, você inicia a transformação lógica de dados brutos em camadas de base de dados padronizadas e prontas para IA e produtos de dados, prontos para uso comercial imediato.

É possível executar ações manualmente no Google Cloud console para verificação ou configurar programações recorrentes para produção.

Execução manual para verificação

Para executar uma verificação manual de todo o pipeline no espaço de trabalho do Dataform, siga estas etapas:

  1. Noconsole, acesse a páginaDataform. Google Cloud
  2. Confirme se você selecionou o projeto correto no menu suspenso. Google Cloud
  3. Clique no nome do repositório criado durante a implantação (por exemplo, cortex).
  4. Clique no nome do espaço de trabalho (por exemplo, cortex).
  5. Clique em Iniciar execução.
  6. Selecione Executar ações.
  7. Clique em Todas as ações. Também é possível escolher subconjuntos de transformações selecionando tags ou ações específicas.
  8. Clique em Iniciar execução.

Verificar se a execução foi bem-sucedida

Para monitorar o progresso e verificar se o pipeline foi concluído, siga estas etapas:

  1. Clique na guia Executions para conferir o histórico de execução.
  2. Verifique se o status é Concluído com sucesso.
  3. Clique no link de execução para inspecionar detalhes de ações específicas, erros de compilação ou tempos de execução.

Analisar recursos de dados no BigQuery

Depois que o pipeline do Dataform for executado, verifique os conjuntos de dados gerados e as tabelas materializadas no BigQuery.

  1. Navegue até o BigQuery noconsole. Google Cloud
  2. Localize os conjuntos de dados de destino configurados no arquivo config.yaml (por exemplo, o conjunto de dados identificado por datasetId na entrada data.targets referenciada pelo dataTargetId do módulo). Por exemplo, nas configurações de modelo, eles podem ser:
    • Camada de base de dados: procure o conjunto de dados que corresponde ao ID de destino da base (configurado como cortex7_sap_data_foundation por padrão).
    • Camada de produtos de dados: procure o conjunto de dados que corresponde ao ID de destino do produto (configurado como cortex7_data_products por padrão).
  3. Visualize as tabelas e execute consultas de amostra para verificar se elas estão preenchidas com os registros esperados.

Próximas etapas

Agora que seus sistemas de dados estão operacionais, você pode conferir: