Implantação de demonstração

A implantação de demonstração oferece uma experiência simplificada usando um conjunto de dados de amostra predefinido. Ele oferece um fluxo de trabalho completo para implantar os pipelines do Dataform do Cortex Framework para orquestração e inicializar os conjuntos de dados correspondentes do BigQuery com dados de amostra.

Atenção: a implantação de demonstração não é adequada para ambientes de produção. Para implantações de produção, consulte Implantação do Cortex Framework.

Antes de começar

Verifique se você concluiu os pré-requisitos descritos na página Pré-requisitos antes de continuar com a implantação da demonstração.

Receber as permissões e os papéis do IAM necessários

Receba as permissões necessárias do Identity and Access Management (IAM) para implantar conteúdo do Cortex Framework no projeto Google Cloud de destino.

Papéis para o projeto de destino

Para receber as permissões necessárias para implantar o Cortex Framework, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto de destino:

• Usuário de jobs do BigQuery (roles/bigquery.jobUser)
• Editor de dados do BigQuery (roles/bigquery.dataEditor)
• Editor do Dataform (roles/dataform.editor)
• Administrador do Storage (roles/storage.admin)
• Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Observação: a função de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin) é usada durante a execução do script de implantação do Cortex Framework para a ativação automática das seguintes APIs Google Cloud: dataform.googleapis.com, bigquery.googleapis.com e cloudresourcemanager.googleapis.com. Se as políticas da sua organização não permitirem conceder esse privilégio aos usuários, ative as APIs mencionadas manualmente antes da execução do script de implantação do Cortex Framework.

Opcional: receba os papéis do IAM necessários para uma implantação de demonstração usando uma conta de serviço

As seguintes funções são necessárias apenas em caso de uma implantação de demonstração com o parâmetro opcional --service_account ativado. Fornecer uma conta de serviço durante a implantação de demonstração simplifica a execução pós-implantação dos pipelines de dados, criando uma configuração de programação de execução de fluxos de trabalho. Essas funções não são necessárias para implantações sem a configuração do --service_account.

Para receber as permissões necessárias para implantar a demonstração do Cortex Framework, peça ao administrador para conceder a você o papel do IAM de Criador de tokens da conta de serviço (roles/iam.serviceAccountTokenCreator) no projeto de origem e de destino. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Implantação

Siga estas etapas para criar um ambiente virtual do Python, sincronizar as dependências e acionar os pipelines de dados. Não se esqueça de usar os scripts uv do Cortex Framework para criar e enviar seus recursos de dados ao projeto Google Cloud , transformando suas configurações locais em uma arquitetura de dados escalonável e em tempo real. Para mais informações, consulte a instalação do uv na seção Pré-requisitos.

Executar a implantação de demonstração

Execute o comando a seguir para acionar a implantação. Esse processo vai realizar as seguintes ações:

• Verifique se todos os pré-requisitos foram atendidos.
• Carregue dados de amostra em um conjunto de dados do BigQuery para servir como a camada bruta para fins de demonstração.
• Crie pipelines do Dataform para processar os dados de amostra pelas camadas de dados do Cortex Framework.
• Crie o repositório e o espaço de trabalho do Dataform e sincronize os artefatos compilados com o repositório.
• Crie o agendamento do fluxo de trabalho e acione a execução inicial do fluxo de trabalho do Dataform.

Para uma implantação de demonstração sem uma conta de serviço, execute o seguinte comando:

uv run cortex-demo --project_id=PROJECT_ID

Para uma implantação de demonstração com uma conta de serviço, execute o seguinte comando:

Observação: --service_account é um parâmetro opcional.

uv run cortex-demo --project_id=PROJECT_ID \
    --service_account="SA_DF_RUN@PROJECT_ID.iam.gserviceaccount.com"

Para mais informações, consulte Locais compatíveis com o BigQuery e Regiões compatíveis com o Dataform.

Implantação de demonstração da CLI: você pode mostrar uma lista de possíveis parâmetros executando o comando uv run cortex-demo -h. Para mais informações, consulte Implantação de demonstração do CLI Cortex Framework.

Verificação

Quando a implantação for concluída:

1. Abra o Dataform para inspecionar o novo código criado no repositório:

   1. Criou um repositório do Dataform.
   2. Criou o espaço de trabalho de desenvolvimento do Dataform.
   3. Código compilado e sincronizado.

2. Execute ações do Dataform:

   Observação :esta etapa é opcional se o parâmetro --service_account tiver sido usado durante a implantação.
   1. Abra o espaço de trabalho do Dataform.
   2. Clique em Iniciar execução.
   3. Selecione Executar ações.
   4. Clique em Todas as ações.

   5. Clique em Iniciar execução.

   6. Monitore a execução bem-sucedida de todas as ações no seu repositório do Dataform.

3. Navegue até o console do BigQuery para conferir os conjuntos de dados criados e verificar o esquema e os dados. Conjuntos de dados criados:

   • cortex_demo_sap_ecc_raw: esse conjunto de dados contém os dados brutos do sistema de origem (neste exemplo, SAP S/4HANA).
   • cortex_demo_sap_ecc_data_foundation: esse conjunto de dados representa a camada de base de dados, em que os dados brutos da camada bruta são processados pelo CDC.
   • cortex_demo_data_product: esse conjunto de dados contém os produtos de dados de demonstração refinados, visualizações ou tabelas de alta performance projetadas para consumo do usuário final.