Cloud Data Fusion: 콘솔 소개

_컨트롤 플레인_ 이라고도 하는 Cloud Data Fusion: 콘솔을 사용하면 API 작업 집합 및콘솔 인터페이스를 통해 Cloud Data Fusion 인스턴스를 관리할 수 있습니다. Google Cloud 예를 들어 인스턴스를 만들거나 삭제하거나 다시 시작하거나 업데이트할 수 있습니다.

시작하기 전에

Cloud Data Fusion: 콘솔 개요

다음 섹션에서는 콘솔의 중요한 측면을 설명합니다.

인스턴스

인스턴스 는 Cloud Data Fusion의 고유한 배포입니다. Cloud Data Fusion을 사용하려면 콘솔에서 인스턴스를 만듭니다. Google Cloud 단일 Google Cloud 프로젝트에서 여러 Cloud Data Fusion 인스턴스를 만들 수 있습니다. 각 인스턴스에 리전을 지정할 수 있습니다. Google Cloud 각 인스턴스는 고유하고 독립적인 Cloud Data Fusion 배포입니다. 이 배포에는 파이프라인 수명 주기 관리, 조정, 메타데이터 관리를 처리하는 일련의 서비스가 포함되어 있습니다. 이 서비스는 테넌트 프로젝트에서 장기 실행 리소스를 통해 실행됩니다.

인스턴스를 만들 때 다음 옵션을 고려합니다.

버전

Cloud Data Fusion 버전 Developer, Basic, Enterprise 중 하나에서 인스턴스를 만듭니다. 다음 기준에 따라 버전을 선택합니다.

  • 비용
  • 파이프라인 실행의 동시 실행 한도
  • 역할 기반 액세스 제어(RBAC) 가용성

버전은 다음과 같은 사용 사례를 위한 것입니다.

Cloud Data Fusion 버전 사용 사례
Developer 버전 개발, 테스트 또는 소규모 통합
기본 버전 중간 수준의 요구사항이 있는 프로덕션
Enterprise 버전 RBAC를 사용하는 중요한 대규모 데이터 파이프라인

공개 또는 비공개 인스턴스

요구사항에 따라 공개 또는 비공개 인스턴스가 필요한지 결정합니다. Cloud Data Fusion의 비공개 인스턴스와 공개 인스턴스의 주요 차이점은 네트워크 연결 및 보안입니다.

Cloud Data Fusion 인스턴스 유형 동작
공개 인스턴스
  • 네트워크 연결: 공개 IP 주소를 사용하여 인터넷에 연결합니다.
  • 데이터 액세스: 공개 인터넷의 데이터 소스에 직접 액세스합니다.
자세한 내용은 공개 인스턴스 만들기를 참조하세요.
비공개 인스턴스
  • 네트워크 연결: 가상 프라이빗 클라우드(VPC) 네트워크 내에서 비공개 IP 주소를 사용합니다.
  • 데이터 액세스: 데이터 소스에 액세스하려면 미리 구성된 연결이 필요합니다. 다음 연결이 지원됩니다.
    • VPN 또는 Cloud Interconnect를 통해 연결된 온프레미스 데이터 소스
    • 동일한 VPC 내에서 비공개로 실행되는 기타 Google Cloud 서비스

승인 및 서비스 계정

Cloud Data Fusion에는 일반적으로 두 개의 서비스 계정이 있습니다.

설계 시간 서비스 계정
Cloud Data Fusion API 서비스 에이전트라고 하는 이 Google 관리 서비스 계정은 Cloud Data Fusion의 테넌트 프로젝트에서 고객 프로젝트 리소스에 액세스하는 데 사용됩니다.
실행 시간 서비스 계정
Cloud Data Fusion이 다른 리소스에 액세스하는 작업을 배포하기 위해 만드는 기본 Compute Engine 서비스 계정입니다. Google Cloud 기본적으로 Managed Service for Apache Spark 클러스터 VM에 연결하여 파이프라인 실행 중에 Cloud Data Fusion이 Managed Service for Apache Spark 리소스에 액세스할 수 있도록 합니다.

자세한 내용은 Cloud Data Fusion의 서비스 계정을 참조하세요.

로깅 및 모니터링

Cloud Logging 및 Cloud Monitoring은 Cloud Data Fusion 파이프라인의 상태와 성능에 대한 통계를 얻는 데 매우 중요합니다. Cloud Data Fusion 인스턴스를 만들 때만 로깅 및 모니터링을 사용 설정합니다.

로깅 및 모니터링을 사용 설정하면 콘솔의 Google Cloud ** 로그 뷰어** 페이지에서 Cloud Data Fusion 파이프라인 로그를 볼 수 있습니다.

Monitoring은 Cloud Data Fusion용 기본 제공 대시보드를 제공합니다. 커스텀 대시보드를 만들어 특정 측정항목을 모니터링할 수도 있습니다.

Knowledge Catalog와의 계보 통합

Cloud Data Fusion은 계보를 위해 Knowledge Catalog와의 통합을 제공합니다. 자세한 내용은 Knowledge Catalog에서 계보 보기를 참조하세요.

암호화

고객 관리 암호화 키 (CMEK)를 사용하면 Cloud Key Management Service를 통해 제어할 수 있는 키로 저장 데이터를 암호화할 수 있습니다. CMEK를 통해 사용자는 테넌트 프로젝트의 Google Cloud 내부 리소스에 기록되는 데이터 및 Cloud Data Fusion 파이프라인에서 기록되는 데이터를 제어할 수 있습니다. 자세한 내용은 고객 관리 데이터 암호화를 참조하세요.

역할 기반 액세스 제어(RBAC)로 권한 관리

Cloud Data Fusion을 사용하면 Identity and Access Management(IAM)로 제어할 수 있습니다.

Cloud Data Fusion: Studio 작업에서 수행되는 작업에 대한 세분화된 권한을 얻으려면 RBAC를 사용하세요. 자세한 내용은 RBAC 개요를 참조하세요.

버전 업그레이드

Cloud Data Fusion에는 버전이 있습니다. Cloud Data Fusion 콘솔에서 인스턴스를 최신 버전으로 업그레이드할 수 있습니다. 자세한 내용은 Cloud Data Fusion에서 버전 관리를 참조하세요.

다음 단계