Knowledge Catalog로 Looker (Google Cloud 핵심 서비스) 리소스 관리

이 페이지에서는 Knowledge Catalog를 사용하여 Looker (Google Cloud 핵심) 메타데이터 리소스를 검색하고 관리하는 방법을 설명합니다.

Knowledge Catalog는 메타데이터를 저장, 관리, 액세스할 수 있는 플랫폼입니다. Looker (Google Cloud 핵심)에서 프로덕션 LookML, LookML 프로젝트, 대시보드 메타데이터의 색인을 생성하는 카탈로그 도구 역할을 합니다. 이 통합은 데이터 계보를 비롯한 데이터 애셋과 관계에 대한 통합되고 포괄적인 뷰를 제공합니다.

Knowledge Catalog는 Looker에서 다음과 같은 여러 항목 수준을 캡처합니다.

  • Looker 인스턴스
  • 대시보드
  • 대시보드 요소
  • Look
  • LookML 프로젝트
  • 모델
  • 탐색
  • 뷰 (측정기준 및 측정값 포함)

통합 작동 방식

Looker 및 Knowledge Catalog 통합은 메타데이터 수집을 위해 서드 파티 커넥터를 사용합니다. Looker (Google Cloud 핵심)는 일괄 동기화 프로세스를 통해 Knowledge Catalog에서 사용할 수 있도록 LookML 메타데이터를 리전 Cloud Storage 저장소에 게시합니다.

Looker (Google Cloud 핵심)에서 Knowledge Catalog 로의 데이터 전송은 기본적으로 자동이며 구성 변경이 필요하지 않습니다. Looker (Google Cloud 핵심)는 내부 서비스를 사용하여 동기화를 수행합니다. 내부 일괄 동기화 프로세스는 약 4시간마다 실행되며 Looker의 데이터는 약 1시간마다 Knowledge Catalog로 새로고침됩니다.

LookML 모델을 업데이트하고 프로덕션에 푸시하면 시스템에서 주요 메타데이터를 Knowledge Catalog와 자동으로 동기화합니다. 이 메타데이터에는 뷰 및 탐색 세부정보, 필드 정의, 모델 정보가 포함됩니다. 마찬가지로 제목, 소유권, 사용 통계를 비롯한 대시보드 메타데이터가 카탈로그에 표시됩니다.

Looker에서 Knowledge Catalog를 사용하는 경우

Knowledge Catalog를 사용하여 Looker 메타데이터를 탐색하고 파악합니다. 카탈로그는 다음 활동에 도움이 됩니다.

  • 영향 분석: 데이터 계보를 사용하여 BigQuery에서 Looker 대시보드로 데이터가 흐르는 방식을 시각화합니다.
  • 탐색: 조직 전체에서 대시보드, 탐색, 뷰를 검색합니다.
  • 변경 관리: 변경하기 전에 종속 항목을 파악합니다.
  • 데이터 이동 파이프라인: 데이터 출처를 추적합니다.

Knowledge Catalog를 사용하면 관점 을 Looker 메타데이터 항목에 연결하여 메타데이터를 선별할 수도 있습니다. Looker 애셋에 관점을 연결하면 애셋에 비즈니스 메타데이터를 추가하고 해당 메타데이터로 애셋을 검색할 수 있습니다.

필수 권한

Knowledge Catalog 및 Looker (Google Cloud 핵심 서비스) 통합을 사용하는 데 필요한 권한을 얻으려면 관리자에게 Looker (Google Cloud 핵심 서비스) 인스턴스가 있는 프로젝트에 대해 다음 IAM 역할을 부여해 달라고 요청하세요.

  • Knowledge Catalog 리소스 보기: Dataplex 뷰어 (roles/dataplex.viewer)
  • Knowledge Catalog에서 Looker (Google Cloud 핵심 서비스) 메타데이터에 액세스: Looker 스키마 뷰어 (roles/looker.schemaViewer)
    • Looker 스키마 뷰어 사전 정의된 역할에는 Knowledge Catalog에서 Looker (Google Cloud 핵심 서비스) 메타데이터에 액세스하는 데 필요한 looker.schemas.view 권한이 포함되어 있습니다.
  • Knowledge Catalog와 Looker (Google Cloud 핵심 서비스) 간의 통합 사용 중지 또는 사용 설정: Looker 관리자 (roles/looker.admin)
  • 데이터 계보 그래프 보기: 데이터 계보 뷰어 (roles/datalineage.viewer)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

Knowledge Catalog와 Looker (Google Cloud 핵심 서비스) 인스턴스의 통합 사용 설정

Knowledge Catalog는 Looker (Google Cloud 핵심 서비스) 인스턴스에서 기본적으로 사용 설정됩니다. 통합을 사용 중지하려면 이 문서 페이지의 Knowledge Catalog와 Looker (Google Cloud 핵심 서비스) 인스턴스의 통합 사용 중지 섹션을 참고하세요.

인스턴스에서 통합이 사용 중지되어 있고 사용 설정하려는 경우 다음 단계를 완료하세요.

콘솔

  1. Dataplex API 사용 설정 수집되는 메타데이터를 보려면 Looker (Google Cloud 핵심 서비스) 인스턴스를 호스팅하는 프로젝트에서 Cloud Dataplex API (dataplex.googleapis.com)를 사용 설정해야 합니다. Google Cloud

    Dataplex API 사용 설정

  2. 인스턴스의 인스턴스 페이지에 있는 세부정보 탭에서 수정 을 클릭합니다.
  3. 범용 카탈로그 통합 섹션을 펼칩니다.
  4. Dataplex 카탈로그 통합 선택 해제 체크박스를 선택 해제합니다.
    • 참고: 이 설정을 사용 설정하면 메타데이터 수집과 데이터 계보가 모두 사용 설정됩니다 (Data Lineage API가 사용 설정된 경우).
  5. 저장 을 클릭합니다.

gcloud

Looker (Google Cloud 핵심 서비스) 인스턴스를 호스팅하는 프로젝트에서 Dataplex API가 사용 설정되어 있는지 확인합니다. Google Cloud

gcloud looker instances update 명령어를 --catalog-integration-enabled 플래그와 함께 사용하여 통합을 사용 설정합니다.

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

INSTANCE_NAME을 Looker (Google Cloud 핵심 서비스) 인스턴스의 이름으로 바꿉니다.

통합이 사용 설정되면 Knowledge Catalog에서 Looker 데이터를 사용할 수 있게 되는 데 최대 하루가 걸립니다.

Looker 애셋 검색

Knowledge Catalog에서 Looker (Google Cloud 핵심) 데이터를 보려면 먼저 Dataplex API를 사용 설정해야 합니다. API를 사용 설정하는 데 필요한 권한을 얻으려면 서비스 사용량 관리자 (roles/serviceusage.serviceUsageAdmin) IAM 역할이 있어야 합니다.

Dataplex API 사용 설정

콘솔의 Knowledge Catalog 검색 페이지를 사용하여 Looker (Google Cloud 핵심) 애셋을 검색합니다. Google Cloud

검색으로 이동

필터 패널에서 프로젝트, 시스템, 유형 별칭 섹션을 사용하여 Looker (Google Cloud 핵심) 애셋을 필터링할 수 있습니다. 시스템 섹션에서 Looker 를 필터링할 수 있습니다. 유형 별칭에서 다음 중 하나 이상을 선택하여 특정 유형의 Looker 애셋으로 검색 결과를 필터링할 수 있습니다.

  • 대시보드
  • 대시보드 요소
  • 탐색
  • LookML 프로젝트
  • 모델
  • 인스턴스
  • 보기
  • 기타

검색 필드를 사용하여 검색어를 실행할 수도 있습니다. 키워드 또는 자연어 검색을 실행할 수 있습니다. 예를 들어 키워드 검색을 통해 모든 Looker 애셋을 보려면 system=Looker를 입력합니다. 모든 Looker 대시보드를 보려면 system=Looker AND type=DASHBOARD 쿼리를 입력합니다. 다음 애셋은 type 키워드로 검색할 수 있습니다.

  • 대시보드
  • dashboard_element
  • 탐색
  • 인스턴스
  • Look
  • lookml_project
  • 모델
  • 보기

리소스 검색에 대한 자세한 내용은 Knowledge Catalog에서 리소스 검색 문서 페이지를 참고하세요. 검색창에서 사용할 수 있는 표현식에 대한 자세한 내용은 Knowledge Catalog 검색 구문 문서 페이지를 참고하세요.

Knowledge Catalog와 Looker (Google Cloud 핵심 서비스) 인스턴스의 통합 사용 중지

Knowledge Catalog와 Looker (Google Cloud 핵심 서비스) 인스턴스의 통합을 사용 중지하려면 다음 단계를 완료하세요.

콘솔

  1. 인스턴스의 인스턴스 페이지에 있는 세부정보 탭에서 수정 을 클릭합니다.
  2. 범용 카탈로그 통합 섹션을 펼칩니다.
  3. Dataplex 카탈로그 통합 선택 해제 체크박스를 선택합니다.
    • 참고: 이 설정을 사용 중지하면 메타데이터 수집과 데이터 계보가 모두 사용 중지됩니다 (Data Lineage API가 사용 설정된 경우).
  4. 저장 을 클릭합니다.

gcloud

gcloud looker instances update 명령어와 함께 --no-catalog-integration-enabled 플래그를 사용하여 통합을 사용 설정합니다.

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

INSTANCE_NAME을 Looker (Google Cloud 핵심 서비스) 인스턴스의 이름으로 바꿉니다.

통합이 사용 설정된 후 사용 중지되면 Knowledge Catalog에 이미 있는 Looker 메타데이터는 Knowledge Catalog에 유지되지만 새 메타데이터로 업데이트되지 않습니다.

VPC 서비스 제어

Looker (Google Cloud 핵심 서비스)와 Knowledge Catalog 간의 통합은 VPC 서비스 제어를 지원합니다.

Looker (Google Cloud 핵심 서비스) 인스턴스 또는 Knowledge Catalog 리소스가 VPC 서비스 제어 서비스 경계 내에 있는 경우 메타데이터 내보내기에 필요한 서비스에 액세스할 수 있는지 확인해야 합니다.

  • Dataplex API (dataplex.googleapis.com)가 경계 내에서 제한된 서비스로 구성되어 있는지 확인합니다.
  • 통합은 내부 Cloud Storage 버킷을 사용하여 메타데이터를 전송합니다. 서비스 경계에서 필요한 Cloud Storage 리소스에 액세스할 수 있는지 확인합니다. 메타데이터 내보내기와 관련된 PERMISSION_DENIED 오류가 발생하면 Google Cloud 계정팀 또는 지원팀에 문의하세요.

가격 책정

Knowledge Catalog에 Looker (Google Cloud 핵심) 기술 메타데이터를 저장하는 데는 요금이 청구되지 않습니다. 표준 Knowledge Catalog 가격 책정은 API 호출 및 추가 비즈니스 메타데이터 보강에 적용됩니다. 자세한 내용은 Knowledge Catalog 가격 책정 페이지를 참고하세요.

제한사항

이 섹션에는 Looker (Google Cloud 핵심) 및 Knowledge Catalog 사용과 관련된 제한사항이 나와 있습니다.

  • Looker의 메타데이터는 카탈로그에서 즉시 사용할 수 없습니다. 일괄 동기화 프로세스는 설정된 간격으로 실행되며 데이터 새로고침은 약 1시간마다 발생합니다.
  • 이 통합에 공개 API가 노출되지 않습니다.
  • 데이터 계보 제한사항은 Knowledge Catalog로 데이터 계보 추적 페이지를 참고하세요.

다음 단계