Dataplex Universal Catalog를 사용하여 Looker (Google Cloud 핵심) 리소스 관리

이 페이지에서는 Dataplex Universal Catalog를 사용하여 Looker (Google Cloud 코어) 메타데이터 리소스를 검색하고 관리하는 방법을 설명합니다.

Dataplex Universal Catalog는 메타데이터를 저장, 관리하고 이에 대한 액세스 권한을 제공하는 플랫폼입니다. Looker (Google Cloud 코어)의 프로덕션 LookML, LookML 프로젝트, 대시보드 메타데이터를 색인화하는 카탈로그 도구 역할을 합니다. 이 통합은 데이터 계보를 비롯한 데이터 애셋과 그 관계를 통합적이고 포괄적으로 보여줍니다.

Dataplex Universal Catalog는 Looker에서 다음을 포함한 여러 엔티티 수준을 캡처합니다.

  • Looker 인스턴스
  • 대시보드
  • 대시보드 요소
  • Look
  • LookML 프로젝트
  • 모델
  • 탐색
  • 뷰 (측정기준 및 측정값 포함)

통합 작동 방식

Looker 및 Dataplex Universal Catalog 통합은 메타데이터 수집을 위해 퍼스트 파티 커넥터를 사용합니다. Looker (Google Cloud 코어)는 일괄 동기화 프로세스를 통해 Dataplex Universal Catalog에서 사용할 수 있도록 LookML 메타데이터를 리전별 Cloud Storage 저장소에 게시합니다.

Looker (Google Cloud 코어)에서 Dataplex Universal Catalog로의 데이터 전송은 기본적으로 자동이며 구성 변경이 필요하지 않습니다. Looker (Google Cloud 핵심)은 내부 서비스를 사용하여 동기화를 실행합니다. 내부 일괄 동기화 프로세스는 약 4시간마다 실행되며 Looker의 데이터는 약 1시간마다 Dataplex Universal Catalog으로 새로고침됩니다.

LookML 모델을 업데이트하고 프로덕션에 푸시하면 시스템에서 주요 메타데이터를 Dataplex Universal Catalog와 자동으로 동기화합니다. 이 메타데이터에는 뷰 및 Explore 세부정보, 필드 정의, 모델 정보가 포함됩니다. 마찬가지로 제목, 소유권, 사용 통계를 포함한 대시보드 메타데이터가 카탈로그에 표시됩니다.

Looker와 함께 Dataplex Universal Catalog를 사용해야 하는 경우

Dataplex Universal Catalog를 사용하여 Looker 메타데이터를 탐색하고 파악합니다. 카탈로그는 다음 활동을 지원합니다.

  • 영향 분석: 데이터 계보를 사용하여 BigQuery에서 Looker 대시보드로 데이터가 흐르는 방식을 시각화합니다.
  • 탐색: 조직 전체에서 대시보드, Explore, 뷰를 검색합니다.
  • 변경 관리: 변경하기 전에 종속성을 파악합니다.
  • 데이터 이동 파이프라인: 데이터 출처를 추적합니다.

Dataplex Universal Catalog를 사용하면 Looker 메타데이터 항목에 관점을 연결하여 메타데이터를 선별할 수도 있습니다. Looker 애셋에 관점을 연결하면 애셋에 비즈니스 메타데이터를 추가하고 해당 메타데이터로 애셋을 검색할 수 있습니다.

필수 권한

Dataplex Universal Catalog 및 Looker (Google Cloud 핵심 서비스) 통합을 사용하는 데 필요한 권한을 얻으려면 관리자에게 Looker (Google Cloud 핵심 서비스) 인스턴스가 있는 프로젝트에 대해 다음 IAM 역할을 부여해 달라고 요청하세요.

  • Dataplex Universal Catalog 리소스 보기: Dataplex 뷰어 (roles/dataplex.viewer)
  • Dataplex Universal Catalog에서 Looker (Google Cloud 핵심 서비스) 메타데이터에 액세스하려면 Looker 스키마 뷰어 (roles/looker.schemaViewer)가 필요합니다.
    • Looker 스키마 뷰어 사전 정의된 역할에는 Dataplex Universal Catalog에서 Looker (Google Cloud 핵심 서비스) 메타데이터에 액세스하는 데 필요한 looker.schemas.view 권한이 포함되어 있습니다.
  • Dataplex Universal Catalog과 Looker (Google Cloud 핵심 서비스) 간 통합을 사용 중지하거나 사용 설정하려면 Looker 관리자 (roles/looker.admin)가 필요합니다.
  • 데이터 계보 그래프 보기: 데이터 계보 뷰어 (roles/datalineage.viewer)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

Dataplex Universal Catalog와 Looker (Google Cloud 핵심 서비스) 인스턴스 통합 사용 설정

Dataplex Universal Catalog는 Looker (Google Cloud 핵심 서비스) 인스턴스에서 기본적으로 사용 설정됩니다. 통합을 사용 중지하려면 이 문서 페이지의 Dataplex Universal Catalog와 Looker (Google Cloud 핵심 서비스) 인스턴스 통합 사용 중지 섹션을 참고하세요.

인스턴스에서 통합이 사용 중지되어 있고 사용 설정하려면 다음 단계를 완료하세요.

콘솔

  1. Dataplex API를 사용 설정합니다. 수집되는 메타데이터를 보려면 Looker (Google Cloud 핵심 서비스) 인스턴스를 호스팅하는 Google Cloud 프로젝트에서 Cloud Dataplex API (dataplex.googleapis.com)를 사용 설정해야 합니다.

    Dataplex API 사용 설정

  2. 인스턴스의 인스턴스 페이지에 있는 세부정보 탭에서 수정을 클릭합니다.
  3. 범용 카탈로그 통합 섹션을 펼칩니다.
  4. Dataplex 카탈로그 통합 선택 해제 체크박스를 선택 해제합니다.
    • 참고: 이 설정을 사용 설정하면 메타데이터 수집과 데이터 계보가 모두 사용 설정됩니다 (Data Lineage API가 사용 설정된 경우).
  5. 저장을 클릭합니다.

gcloud

Looker (Google Cloud 핵심 서비스) 인스턴스를 호스팅하는 Google Cloud 프로젝트에서 Dataplex API가 사용 설정되어 있는지 확인합니다.

gcloud looker instances update 명령어를 --catalog-integration-enabled 플래그와 함께 사용하여 통합을 사용 설정합니다.

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

INSTANCE_NAME을 Looker (Google Cloud 핵심 서비스) 인스턴스의 이름으로 바꿉니다.

통합이 사용 설정되면 Looker 데이터가 Dataplex 범용 카탈로그에서 제공되기까지 최대 하루가 걸립니다.

Looker 애셋 검색

Dataplex Universal Catalog에서 Looker (Google Cloud 코어) 데이터를 보려면 먼저 Dataplex API를 사용 설정해야 합니다. API를 사용 설정하는 데 필요한 권한을 얻으려면 서비스 사용량 관리자 (roles/serviceusage.serviceUsageAdmin) IAM 역할이 있어야 합니다.

Dataplex API 사용 설정

Google Cloud 콘솔의 Dataplex Universal Catalog 검색 페이지를 사용하여 Looker (Google Cloud 코어) 애셋을 검색합니다.

검색 페이지로 이동

필터 패널에서 프로젝트, 시스템, 유형 별칭 섹션을 사용하여 Looker (Google Cloud core) 애셋을 필터링할 수 있습니다. 시스템 섹션에서 Looker를 필터링할 수 있습니다. 유형 별칭에서 다음 중 하나 이상을 선택하여 특정 유형의 Looker 애셋으로 검색 결과를 필터링할 수 있습니다.

  • 대시보드
  • 대시보드 요소
  • 탐색
  • LookML 프로젝트
  • 모델
  • 인스턴스
  • 보기
  • 기타

검색창을 사용하여 검색어를 수행할 수도 있습니다. 키워드 또는 자연어 검색을 수행할 수 있습니다. 예를 들어 키워드 검색을 통해 모든 Looker 애셋을 보려면 system=Looker를 입력합니다. 모든 Looker 대시보드를 보려면 system=Looker AND type=DASHBOARD 쿼리를 입력합니다. type 키워드로 검색할 수 있는 애셋은 다음과 같습니다.

  • 대시보드
  • dashboard_element
  • explore
  • 인스턴스
  • Look
  • lookml_project
  • 모델
  • 보기

리소스 검색에 대해 자세히 알아보려면 Dataplex Universal Catalog에서 리소스 검색 문서 페이지를 참고하세요. 검색창에서 사용할 수 있는 표현식에 대한 자세한 내용은 Dataplex Universal Catalog 검색 구문 문서 페이지를 참고하세요.

Dataplex Universal Catalog와 Looker (Google Cloud 핵심) 인스턴스의 통합 사용 중지

Dataplex Universal Catalog와 Looker (Google Cloud 핵심 서비스) 인스턴스의 통합을 사용 중지하려면 다음 단계를 완료하세요.

콘솔

  1. 인스턴스의 인스턴스 페이지에 있는 세부정보 탭에서 수정을 클릭합니다.
  2. 범용 카탈로그 통합 섹션을 펼칩니다.
  3. Dataplex 카탈로그 통합 선택 해제 체크박스를 선택합니다.
    • 참고: 이 설정을 사용 중지하면 메타데이터 수집과 데이터 계보가 모두 사용 중지됩니다 (Data Lineage API가 사용 설정된 경우).
  4. 저장을 클릭합니다.

gcloud

gcloud looker instances update 명령어를 --no-catalog-integration-enabled 플래그와 함께 사용하여 통합을 사용 설정합니다.

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

INSTANCE_NAME을 Looker (Google Cloud 핵심 서비스) 인스턴스의 이름으로 바꿉니다.

통합을 사용 설정한 후 사용 중지하면 Dataplex Universal Catalog에 이미 있는 Looker 메타데이터는 Dataplex Universal Catalog에 유지되지만 새 메타데이터로 업데이트되지는 않습니다.

VPC 서비스 제어

Looker (Google Cloud 핵심 서비스)과 Dataplex Universal Catalog 간의 통합은 VPC 서비스 제어를 지원합니다.

Looker (Google Cloud 핵심 서비스) 인스턴스 또는 Dataplex Universal Catalog 리소스가 VPC 서비스 제어 서비스 경계 내에 있는 경우 메타데이터 내보내기에 필요한 서비스에 액세스할 수 있는지 확인해야 합니다.

  • Dataplex API (dataplex.googleapis.com)가 경계 내에서 제한된 서비스로 구성되어 있는지 확인합니다.
  • 통합에서는 내부 Cloud Storage 버킷을 사용하여 메타데이터를 전송합니다. 서비스 경계에서 필요한 Cloud Storage 리소스에 대한 액세스를 허용하는지 확인합니다. 메타데이터 내보내기와 관련된 PERMISSION_DENIED 오류가 발생하면 Google Cloud 계정팀 또는 지원팀에 문의하세요.

가격 책정

Dataplex Universal Catalog에 Looker (Google Cloud core) 기술 메타데이터를 저장하는 데는 요금이 청구되지 않습니다. 표준 Dataplex Universal Catalog 가격 책정은 API 호출 및 추가 비즈니스 메타데이터 보강에 적용됩니다. 자세한 내용은 Dataplex Universal Catalog 가격 책정 페이지를 참고하세요.

제한사항

이 섹션에는 Looker (Google Cloud core) 및 Dataplex Universal Catalog 사용과 관련된 제한사항이 나와 있습니다.

  • Looker의 메타데이터는 카탈로그에서 즉시 사용할 수 없습니다. 일괄 동기화 프로세스는 설정된 간격으로 실행되며 데이터 새로고침은 약 1시간마다 발생합니다.
  • 이 통합에 노출된 공개 API는 없습니다.
  • 데이터 계보 제한사항은 Dataplex Universal Catalog로 데이터 계보 추적 페이지를 참고하세요.

다음 단계