Nesta página, descrevemos a arquitetura da execução dupla para comparação de lotes e os componentes dela.
Visão geral da arquitetura de execução dupla
A execução dupla é implantada no seu próprio projeto particular do Google Cloud e executada como um conjunto de microsserviços no Google Kubernetes Engine (GKE), interagindo com outros produtos do Google Cloud .
O diagrama a seguir mostra a arquitetura de execução dupla para comparação de arquivos em lote, conforme descrito em mais detalhes nas seções a seguir.
Arquitetura de execução dupla com um job de comparação de arquivos entre o mainframe e Google Cloud.
Componentes do Dual Run
A execução dupla tem os seguintes componentes:
- Comparação de arquivos
- Config Manager: interface do usuário e painéis
- Verificador de ambiente
Comparação de arquivos
A comparação de arquivos é um componente de execução dupla que permite comparar as saídas de arquivo esperadas e reais da configuração de execução dupla. Ao fazer uma comparação, é possível definir o nível de tolerância para marcar os resultados como equivalentes.
A comparação de arquivos usa o Dataproc, um cluster Apache Spark totalmente gerenciado que é executado no Google Cloud. O Dataproc pode ser configurado de duas maneiras, dependendo do tamanho dos dados que você planeja comparar e dos requisitos de infraestrutura:
- Um ambiente gerenciado sem servidor baseado no Spark executado no Google Cloud Dataproc, criado como parte da implantação do Dual Run. Ele usa uma configuração fixa que permite comparar arquivos de até vários GB.
- Um cluster do Spark no Dataproc que você cria e configura após a implantação do Dual Run. Isso é útil nos seguintes casos:
- Você planeja usar VMs ou configurações de disco especiais.
- Você precisa comparar arquivos maiores que vários GB.
- Você quer executar vários jobs de comparação ao mesmo tempo.
Config Manager
O Config Manager é o front-end do Dual Run. Com esse componente, é possível configurar o acesso e as permissões do usuário usando o Google Cloud Identity and Access Management.
O Config Manager também oferece o ambiente de painel em que é possível analisar os resultados dos jobs de comparação de arquivos. O painel permite conferir um resumo dos resultados da comparação com base nos filtros aplicados e analisar os detalhes dos resultados de cada registro. Também é possível criar relatórios e consultas personalizados.
Verificador de ambiente
O Env Checker é o componente da execução dupla que verifica se a instalação e a implantação da execução dupla foram concluídas corretamente. Ele verifica se todos os componentes necessários da execução dupla estão configurados e em execução corretamente e informa erros ou configurações incorretas.
Google Cloud dependências
O Dual Run depende internamente de vários serviços do Google Cloud . Elas são ativadas e configuradas automaticamente durante a implantação da execução dupla, e não é necessário configurá-las manualmente.
- Google Kubernetes Engine (GKE): o Dual Run usa o GKE para executar microsserviços em pods.
- Cloud Storage: a execução dupla usa buckets de armazenamento para armazenar os arquivos de configuração do ambiente e os artefatos que você quer comparar.
- BigQuery: a execução dupla usa o BigQuery para armazenar os resultados das saídas da comparação de arquivos.
- Pub/Sub: a execução dupla usa o Pub/Sub como um sistema de mensagens interno para transmitir mudanças de configuração entre os diferentes pods.
- Dataproc: o Dual Run usa o Dataproc para criar um cluster do Spark sem servidor que pode ser usado para executar a comparação de arquivos.
- Workflows e Cloud Functions: o Dual Run usa o Workflows para gerenciar o Cloud Functions que executa os jobs de comparação de arquivos.
- Identity Platform: o Dual Run depende do Identity Platform como um serviço de autenticação, que oferece recursos de gerenciamento de identidade e acesso. Com o Identity Platform, é possível usar provedores de identidade do Google ou SAML para autenticar usuários e autorizar papéis.
- Cloud SQL: o Dual Run cria uma instância de um banco de dados do Cloud SQL para compatibilidade com as atualizações futuras.
A seguir
Saiba mais sobre a comparação de arquivos do Dual Run, o componente responsável por comparar os dados gerados pelo mainframe e pelo aplicativo Google Cloud moderno.