배치 아키텍처

이 페이지에서는 배치 비교를 위한 이중 실행 아키텍처와 해당 구성요소를 설명합니다.

이중 실행 아키텍처 개요

이중 실행은 자체 비공개 Google Cloud 프로젝트에 배포되며 Google Kubernetes Engine(GKE)을 기반으로 하는 마이크로서비스 집합으로 실행되어 다른 Google Cloud 제품과 상호작용합니다.

다음 다이어그램은 다음 섹션에서 자세히 설명된 대로 배치 파일 비교를 위한 이중 실행 아키텍처를 보여줍니다.

일괄 비교 작업을 위한 이중 실행 아키텍처

메인프레임과 Google Cloud간의 파일 비교 작업이 있는 이중 실행 아키텍처

Dual Run 구성요소

듀얼 실행에는 다음 구성요소가 있습니다.

  • 파일 비교
  • 구성 관리자: 사용자 인터페이스 및 대시보드
  • Env Checker

파일 비교

파일 비교는 이중 실행 설정의 예상 파일 출력과 실제 파일 출력을 비교할 수 있는 이중 실행 구성요소입니다. 비교를 실행할 때 결과를 동일한 것으로 표시하도록 허용 범위를 설정할 수 있습니다.

파일 비교에서는 Google Cloud에서 실행되는 완전 관리형 Apache Spark 클러스터인 Dataproc을 사용하여 비교를 실행합니다. 비교할 데이터의 크기와 인프라 요구사항에 따라 Dataproc을 두 가지 방법으로 구성할 수 있습니다.

  • 이중 실행 배포의 일부로 생성되고 Dataproc에서 실행되는 관리형 서버리스 Spark 기반 환경입니다. Google Cloud 최대 수 GB의 파일을 비교할 수 있는 고정 구성을 사용합니다.
  • 이중 실행 배포 후에 생성하고 구성하는 Dataproc의 Spark 클러스터 이는 다음과 같은 경우에 유용합니다.
    • 특수 VM 또는 디스크 구성을 사용하려고 합니다.
    • 수 GB보다 큰 파일을 비교해야 합니다.
    • 여러 비교 작업을 동시에 실행하려고 합니다.

구성 관리자

구성 관리자는 이중 실행 프런트엔드입니다. 이 구성요소를 사용하면 Google Cloud Identity and Access Management를 사용하여 사용자 액세스 및 권한을 구성할 수 있습니다.

Config Manager는 파일 비교 작업 결과를 검토할 수 있는 대시보드 환경도 제공합니다. 대시보드에서는 적용한 필터를 기반으로 비교 결과를 요약하여 볼 수 있으며, 각 개별 레코드의 결과 세부정보를 검토할 수 있습니다. 또한 맞춤 보고서와 쿼리를 만들 수 있습니다.

Env Checker

Env Checker는 이중 실행 설치 및 배포가 성공적으로 완료되었는지 확인하는 이중 실행 구성요소입니다. 필요한 모든 이중 실행 구성요소가 올바르게 구성되고 실행 중인지 확인하고, 그렇지 않은 경우 오류나 잘못된 구성을 보고합니다.

Google Cloud 종속 항목

듀얼 실행은 내부적으로 여러 Google Cloud 서비스를 사용합니다. 이러한 기능은 이중 실행 배포 중에 자동으로 사용 설정되고 구성되므로 수동으로 구성할 필요가 없습니다.

  • Google Kubernetes Engine (GKE): Dual Run은 GKE를 사용하여 포드에서 마이크로서비스를 실행합니다.
  • Cloud Storage: 이중 실행은 스토리지 버킷을 사용하여 환경의 구성 파일과 비교하려는 아티팩트를 저장합니다.
  • BigQuery: 이중 실행은 BigQuery를 사용하여 파일 비교 출력 결과를 저장합니다.
  • Pub/Sub: 이중 실행은 Pub/Sub을 내부 메시지 시스템으로 사용하여 여러 포드 간에 구성 변경사항을 전달합니다.
  • Dataproc: 이중 실행은 Dataproc을 사용하여 파일 비교를 실행하는 데 사용할 수 있는 서버리스 Spark 클러스터를 만듭니다.
  • Workflows 및 Cloud Functions: Dual Run은 Workflows를 사용하여 파일 비교 작업을 실행하는 Cloud Functions를 관리합니다.
  • Identity Platform: Dual Run은 ID 및 액세스 관리 기능을 제공하는 인증 서비스인 Identity Platform을 사용합니다. Identity Platform을 사용하면 Google 또는 SAML ID 공급업체를 사용하여 사용자를 인증하고 역할을 승인할 수 있습니다.
  • Cloud SQL: 이중 실행은 향후 업데이트와의 호환성을 위해 Cloud SQL 데이터베이스 인스턴스를 만듭니다.

다음 단계

메인프레임과 최신 Google Cloud 애플리케이션에서 생성된 데이터를 비교하는 구성요소인 Dual Run 파일 비교에 대해 자세히 알아보세요.