Implantação de demonstração

A implantação de demonstração oferece uma experiência simplificada usando um conjunto de dados de amostra predefinido. Ela oferece um fluxo de trabalho completo para implantar os pipelines do Dataform do Cortex Framework para orquestração e inicializar os conjuntos de dados correspondentes do BigQuery com dados de amostra.

Atenção: a implantação de demonstração não é adequada para ambientes de produção. Para implantações de produção, consulte Implantação do Cortex Framework.

Antes de começar

Verifique se você concluiu os pré-requisitos descritos na página Pré-requisitos antes de continuar com a implantação de demonstração.

Receber os papéis e permissões do IAM necessários

Receba as permissões necessárias do Identity and Access Management (IAM) para implantar Cortex Framework conteúdo no target Google Cloud project.

Papéis para o projeto de destino

Para receber as permissões necessárias para implantar o Cortex Framework, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto de destino:

• Usuário de jobs do BigQuery (roles/bigquery.jobUser)
• Editor de dados do BigQuery (roles/bigquery.dataEditor)
• Editor do Dataform (roles/dataform.editor)
• Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando personalizados papéis ou outros predefinidos papéis.

Observação: o papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin) é usado durante a execução do script de implantação do Cortex Framework para a ativação automática das seguintes Google Cloud APIs: dataform.googleapis.com, bigquery.googleapis.com, cloudresourcemanager.googleapis.com. Se as políticas da sua organização não permitirem a concessão desse privilégio aos usuários, você poderá ativar as APIs mencionadas manualmente antes da execução do script de implantação do Cortex Framework.

Opcional: receber os papéis do IAM necessários para uma implantação de demonstração usando uma conta de serviço

Os papéis a seguir são necessários apenas no caso de uma implantação de demonstração com o parâmetro opcional --service_account ativado. Fornecer uma conta de serviço durante a implantação de demonstração simplifica a execução pós-implantação dos pipelines de dados, criando uma configuração de agendamento de execução de fluxos de trabalho. Esses papéis não são necessários para implantações sem a configuração --service_account.

Para receber as permissões necessárias para implantar a demonstração do Cortex Framework, peça ao administrador para conceder a você o papel de criador de token da conta de serviço (roles/iam.serviceAccountTokenCreator) do IAM no projeto de origem e de destino. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando personalizados papéis ou outros predefinidos papéis.

Implantação

Siga estas etapas para criar um ambiente Python virtual, sincronizar as dependências e acionar os pipelines de dados. Lembre-se de usar os scripts uv do Cortex Framework para criar e enviar seus recursos de dados para o seu Google Cloud projeto, transformando suas configurações locais em uma arquitetura de dados escalonável e ativa. Para mais informações, consulte a uv instalação na seção Pré-requisitos.

Executar a implantação de demonstração

Execute o comando a seguir para acionar a implantação. Esse processo vai realizar as seguintes ações:

• Verificar se todos os pré-requisitos foram atendidos.
• Carregar dados de amostra em um conjunto de dados do BigQuery para servir como a camada bruta para fins de demonstração.
• Criar pipelines do Dataform para processar os dados de amostra nas camadas de dados do Cortex Framework.
• Criar o repositório e o espaço de trabalho do Dataform e, em seguida, sincronizar os artefatos compilados com o repositório.
• Criar o agendamento do fluxo de trabalho e acionar a execução inicial do fluxo de trabalho do Dataform.

Para implantação de demonstração sem uma conta de serviço, execute o seguinte comando:

uv run cortex-demo --project_id=PROJECT_ID

Para implantação de demonstração com uma conta de serviço, execute o seguinte comando:

Observação: --service_account é um parâmetro opcional.

uv run cortex-demo --project_id=PROJECT_ID \
    --service_account="SA_DF_RUN@PROJECT_ID.iam.gserviceaccount.com"

Para mais informações, consulte Locais compatíveis do BigQuery e Regiões compatíveis do Dataform.

Implantação de demonstração da CLI: opcionalmente, você pode mostrar uma lista de parâmetros possíveis executando o comando uv run cortex-demo -h. Para mais informações, consulte Implantação de demonstração do Cortex Framework da CLI.

Verificação

Quando a implantação for concluída:

1. Abra o Dataform para inspecionar o novo código criado no repositório:

   1. Repositório do Dataform criado.
   2. Espaço de trabalho de desenvolvimento do Dataform criado.
   3. Código compilado e sincronizado.

2. Executar ações do Dataform:

   Observação: esta etapa é opcional se o parâmetro --service_account tiver sido usado durante a implantação.
   1. Abra o espaço de trabalho do Dataform.
   2. Clique em Iniciar execução.
   3. Selecione Executar ações.
   4. Clique em Todas as ações.

   5. Clique em Iniciar execução.

   6. Monitore a execução bem-sucedida de todas as ações no repositório do Dataform.

3. Navegue até o console do BigQuery para conferir os conjuntos de dados criados e verificar o esquema e os dados. Conjuntos de dados criados:

   • cortex_demo_sap_ecc_raw: esse conjunto de dados contém os dados brutos do sistema de origem (neste exemplo, SAP S/4HANA).
   • cortex_demo_sap_ecc_data_foundation: esse conjunto de dados representa a camada de base de dados, em que os dados brutos da camada bruta são processados pelo CDC.
   • cortex_demo_data_product: esse conjunto de dados contém os produtos de dados de demonstração, visualizações ou tabelas refinadas e de alta performance projetadas para o consumo do usuário final.