En esta página, se describe la arquitectura de Dual Run para la comparación por lotes y sus componentes.
Descripción general de la arquitectura de Dual Run
La ejecución dual se implementa en tu propio proyecto privado de Google Cloud y se ejecuta como un conjunto de microservicios sobre Google Kubernetes Engine (GKE), interactuando con otros productos de Google Cloud .
En el siguiente diagrama, se muestra la arquitectura de Dual Run para la comparación de archivos por lotes, como se describe con más detalle en las siguientes secciones.
Arquitectura de ejecución doble con un trabajo de comparación de archivos entre el mainframe y Google Cloud.
Componentes de Dual Run
Dual Run tiene los siguientes componentes:
- Comparación de archivos
- Administrador de configuración: interfaz de usuario y paneles
- Verificador de Env
Comparación de archivos
File Comparison es un componente de Dual Run que te permite comparar los resultados de archivos esperados y reales de tu configuración de Dual Run. Cuando realices una comparación, puedes establecer el nivel de tolerancia para marcar los resultados como equivalentes.
La comparación de archivos usa Dataproc, un clúster de Apache Spark completamente administrado que se ejecuta en Google Cloud, para realizar la comparación. Dataproc se puede configurar de dos maneras, según el tamaño de los datos que planeas comparar y los requisitos de tu infraestructura:
- Es un entorno administrado sin servidores basado en Spark que se ejecuta en Google CloudDataproc y que se crea como parte de la implementación de Dual Run. Utiliza una configuración fija que te permite comparar archivos de hasta varios GB.
- Un clúster de Spark en Dataproc que creas y configuras después de la implementación de Dual Run. Esto es útil en los siguientes casos:
- Planeas usar VMs especiales o configuraciones de disco.
- Necesitas comparar archivos de más de varios GB.
- Quieres ejecutar varios trabajos de comparación al mismo tiempo.
Administrador de configuración
El Administrador de configuración es el frontend de Dual Run. Este componente te permite configurar el acceso y los permisos de los usuarios con Google Cloud Identity and Access Management.
El Administrador de configuración también proporciona el entorno del panel en el que puedes revisar los resultados de los trabajos de comparación de archivos. El panel te permite ver un resumen de los resultados de la comparación según los filtros que apliques y revisar los detalles de los resultados de cada registro individual. También te permite crear informes y consultas personalizados.
Verificador de Env
Env Checker es el componente de Dual Run que verifica que la instalación y la implementación de Dual Run se hayan completado correctamente. Verifica que todos los componentes necesarios de Dual Run estén configurados y en ejecución correctamente, y, de lo contrario, informa cualquier error o configuración incorrecta.
Google Cloud dependencias
Internamente, Dual Run depende de varios servicios de Google Cloud . Se habilitan y configuran automáticamente durante la implementación de Dual Run, y no es necesario que los configures de forma manual.
- Google Kubernetes Engine (GKE): Dual Run usa GKE para ejecutar sus microservicios en pods.
- Cloud Storage: Dual Run usa buckets de Storage para almacenar los archivos de configuración del entorno y los artefactos que deseas comparar.
- BigQuery: Dual Run usa BigQuery para almacenar los resultados de las comparaciones de archivos.
- Pub/Sub: Dual Run usa Pub/Sub como un sistema de mensajería interno para pasar los cambios de configuración entre los diferentes Pods.
- Dataproc: Dual Run usa Dataproc para crear un clúster de Spark sin servidores que puedes usar para ejecutar la comparación de archivos.
- Workflows y Cloud Functions: Dual Run usa Workflows para administrar las Cloud Functions que realizan los trabajos de comparación de archivos.
- Identity Platform: Dual Run depende de Identity Platform como servicio de autenticación, que proporciona capacidades de administración de identidades y accesos. Identity Platform te permite usar proveedores de identidad de Google o SAML para autenticar usuarios y autorizar roles.
- Cloud SQL: Dual Run crea una instancia de una base de datos de Cloud SQL para garantizar la compatibilidad con las actualizaciones futuras.
¿Qué sigue?
Obtén más información sobre la comparación de archivos de Dual Run, que es el componente responsable de comparar los datos generados por el sistema central y por la aplicación Google Cloud moderna.