Knowledge Catalog로 Looker (Google Cloud 핵심 서비스) 리소스 관리

Knowledge Catalog를 사용하여 Looker (Google Cloud 핵심 서비스) 인스턴스의 메타데이터를 관리할 수 있습니다. 메타데이터를 관리하면 데이터를 제어하고 정보에 입각한 결정을 내릴 수 있습니다.

Knowledge Catalog는 메타데이터를 저장, 관리하고 이에 대한 액세스를 제공하는 Data Catalog 플랫폼입니다. Looker (Google Cloud 핵심 서비스)의 프로덕션 LookML, LookML 프로젝트, 대시보드 메타데이터를 색인 생성합니다.

이 통합을 통해 데이터 계보를 포함한 데이터 애셋과 그 관계를 단일 뷰로 확인할 수 있습니다. Knowledge Catalog를 사용하면 영향 분석, 데이터 검색, 변경 관리를 수행할 수 있으므로 데이터를 운영 워크플로에 통합하고 데이터의 새로운 용도를 찾는 데 도움이 됩니다.

Knowledge Catalog는 Looker에서 다음을 포함한 여러 항목 수준을 캡처합니다.

• Looker 인스턴스: 인스턴스 ID, URL, 관련 대시보드 포함
• 에이전트: 생성자, 설명, 데이터 소스 포함
• 대시보드: 이름, 레이아웃, 필터, 관련 대시보드 요소 포함
• 대시보드 요소: 유형, 쿼리, 모델, Explore 포함
• Explore: 라벨, 기본 쿼리, 외래 키, 조인 조건 (sql_on, relationship, type), 필터 (always_filter, conditionally_filter, access_filter, sql_always_where, sql_always_having), 측정기준 및 측정값 정의가 포함된 스키마, 동의어 포함
• Look: 크리에이터 프로젝트, Explore, 모델, 필드 포함
• LookML 대시보드: 설명, 대시보드 이름, 레이아웃, 필터, 관련 LookML 대시보드 요소 포함
• LookML 대시보드 요소: 설명, 쿼리, 병합된 쿼리 포함
• LookML 프로젝트: 설명 및 관련 모델 포함
• 모델: 경로, 프로젝트 URL, 연결, 관련 뷰, Explore, LookML 대시보드 포함
• 뷰: 파생 테이블, 클러스터 키, 기본 키, 측정기준 및 측정 정의가 있는 스키마 포함

Knowledge Catalog와 Looker (Google Cloud 핵심 서비스) 통합은 다음을 포함하여 정의된 관계를 나타냅니다.

• Looker 객체 간의 관계를 나타내는 항목 링크 reference개
• 기본 키 및 외래 키 연결을 나타내는 schema-join 항목 링크

통합의 작동 원리

Looker 및 Knowledge Catalog 통합은 메타데이터 수집에 퍼스트 파티 커넥터를 사용합니다. Looker (Google Cloud 핵심 서비스)는 Knowledge Catalog가 실시간 동기화 프로세스를 통해 사용할 수 있도록 LookML 메타데이터를 리전 Cloud Storage 저장소에 게시합니다.

Looker (Google Cloud 코어)에서 Knowledge Catalog로의 데이터 전송은 기본적으로 자동이며 구성 변경이 필요하지 않습니다. Looker (Google Cloud 핵심 서비스)는 내부 서비스를 사용하여 실시간 동기화를 수행합니다.

LookML 모델을 업데이트하고 프로덕션에 푸시하면 시스템이 주요 메타데이터를 Knowledge Catalog와 자동으로 동기화합니다. 이 메타데이터에는 뷰 및 Explore 세부정보, 필드 정의, 모델 정보가 포함됩니다. 마찬가지로 제목, 소유권, 사용 통계를 포함한 대시보드 메타데이터가 카탈로그에 표시됩니다.

Looker에서 Knowledge Catalog를 사용해야 하는 경우

Knowledge Catalog를 사용하여 Looker 메타데이터를 탐색하고 파악합니다. 카탈로그는 다음 활동을 지원합니다.

• AI 및 데이터 에이전트 정확성: 색인이 생성된 LookML 모델, Explore, 뷰를 시맨틱 정의로 사용합니다. Knowledge Catalog의 Looker 항목에 대해 쿼리 생성을 그라운딩하면 AI 에이전트가 공식 비즈니스 로직 (인증된 측정, 측정기준, 유효한 조인 경로)을 준수합니다.
• 엔드 투 엔드 계보 (영향 분석 및 출처): 데이터 계보를 사용하여 데이터 소스 (예: BigQuery)와 Looker 애셋 간에 데이터가 양방향으로 흐르는 방식을 시각화합니다.
  • 다운스트림 영향 분석: 스키마 또는 모델을 변경하기 전에 영향을 받는 대시보드와 Explore를 예측합니다.
  • 업스트림 데이터 감사: 임원 대시보드 및 Look에 표시되는 측정항목의 출처, 변환, 관리 연속성을 감사합니다.
• 탐색 및 애셋 통합: 조직 전체에서 인증된 대시보드, Explore, 뷰를 검색하여 중복 보고 및 중복 데이터 모델링을 방지합니다.

Knowledge Catalog를 사용하면 Looker 메타데이터 항목에 관점을 연결하여 메타데이터를 선별할 수도 있습니다. Looker 애셋에 관점을 연결하면 애셋에 비즈니스 메타데이터를 추가하고 해당 메타데이터로 애셋을 검색할 수 있습니다.

필수 권한

지식 카탈로그 및 Looker (Google Cloud 핵심 서비스) 통합을 사용하는 데 필요한 권한을 얻으려면 관리자에게 Looker (Google Cloud 핵심 서비스) 인스턴스가 있는 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

• Knowledge Catalog 리소스 보기: Dataplex 카탈로그 뷰어 (roles/dataplex.catalogViewer)

• Knowledge Catalog에서 Looker (Google Cloud 핵심 서비스) 메타데이터에 액세스: Looker 스키마 뷰어 (roles/looker.schemaViewer)

  • Looker 스키마 뷰어 사전 정의된 역할에는 Knowledge Catalog에서 Looker (Google Cloud 핵심 서비스) 메타데이터에 액세스하는 데 필요한 looker.schemas.view 권한이 포함되어 있습니다.
  참고: Google Cloud CLI를 사용해야만 Looker 스키마 뷰어 역할을 추가할 수 있습니다.

  gcloud projects add-iam-policy-binding YOUR_PROJECT_ID
  --member=PRINCIPAL_TYPE:PRINCIPAL_ID
  --role=roles/looker.schemaViewer

  자세한 내용은 add-iam-policy-binding 문서를 참고하세요.

• Knowledge Catalog와 Looker (Google Cloud 핵심 서비스) 간의 통합을 사용 중지하거나 사용 설정하려면 Looker 관리자 (roles/looker.admin) 역할이 필요합니다.

• 데이터 계보 그래프 보기: 데이터 계보 뷰어 (roles/datalineage.viewer)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

주의: 프로젝트 수준에서 Looker 스키마 뷰어 역할 또는 looker.schema.view 권한을 부여해야 합니다. 이 권한이 있는 사용자는 통합이 사용 설정된 프로젝트의 모든 Looker (Google Cloud 핵심 서비스) 인스턴스에 대한 메타데이터를 볼 수 있습니다.

Knowledge Catalog와 Looker (Google Cloud 핵심 서비스) 인스턴스 통합 사용 설정

Knowledge Catalog는 Looker (Google Cloud 핵심 서비스) 인스턴스에서 기본적으로 사용 설정됩니다. 통합을 사용 중지하려면 이 문서 페이지의 Knowledge Catalog와 Looker (Google Cloud 핵심 서비스) 인스턴스 통합 사용 중지 섹션을 참조하세요.

인스턴스에서 통합이 사용 중지되어 있고 이를 사용 설정하려면 다음 단계를 완료하세요.

콘솔

1. Dataplex API를 사용 설정합니다. 수집되는 메타데이터를 보려면 Looker (Google Cloud 핵심 서비스) 인스턴스를 호스팅하는 Google Cloud 프로젝트에서 Cloud Dataplex API (dataplex.googleapis.com)를 사용 설정해야 합니다.

   Dataplex API 사용 설정

2. 인스턴스의 인스턴스 페이지에 있는 세부정보 탭에서 수정을 클릭합니다.
3. Knowledge Catalog 통합 섹션을 펼칩니다.
4. Knowledge Catalog 통합 선택 해제 체크박스를 선택 해제합니다.
   • 참고: 이 설정을 사용 설정하면 메타데이터 수집과 데이터 계보가 모두 사용 설정됩니다 (Data Lineage API가 사용 설정된 경우).
5. 저장을 클릭합니다.

gcloud

Looker (Google Cloud 핵심 서비스) 인스턴스를 호스팅하는 Google Cloud 프로젝트에서 Dataplex API가 사용 설정되어 있는지 확인합니다.

gcloud looker instances update 명령어를 --catalog-integration-enabled 플래그와 함께 사용하여 통합을 사용 설정합니다.

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

INSTANCE_NAME을 Looker (Google Cloud 핵심 서비스) 인스턴스의 이름으로 바꿉니다.

통합이 사용 설정되면 Looker 데이터가 Knowledge Catalog에서 제공되는 데 최대 하루가 걸립니다.

Looker 애셋 검색

Knowledge Catalog에서 Looker (Google Cloud core) 데이터를 보려면 먼저 Dataplex API를 사용 설정해야 합니다. API를 사용 설정하는 데 필요한 권한을 얻으려면 서비스 사용량 관리자 (roles/serviceusage.serviceUsageAdmin) IAM 역할이 있어야 합니다.

Dataplex API 사용 설정

Google Cloud 콘솔의 Knowledge Catalog 검색 페이지를 사용하여 Looker (Google Cloud 핵심) 애셋을 검색합니다.

검색 페이지로 이동

필터 패널에서 프로젝트, 시스템, 유형 별칭 섹션을 사용하여 Looker(Google Cloud 코어) 애셋을 필터링할 수 있습니다. 시스템 섹션에서 Looker를 필터링할 수 있습니다. 유형 별칭에서 특정 유형의 애셋으로 검색 결과를 필터링할 수 있습니다.

시스템 필터를 Looker로 설정한 경우 유형 별칭 섹션에서 다음 중 하나 이상을 선택하여 특정 유형의 Looker 애셋을 필터링할 수 있습니다.

• 에이전트
• 대시보드
• 대시보드 요소
• 탐색
• 인스턴스
• Look
• LookML 프로젝트
• 모델
• 보기
• 기타

참고: 대시보드로 필터링하면 사용자 정의 대시보드와 LookML 대시보드가 모두 반환됩니다. 대시보드 요소로 필터링하면 사용자 정의 대시보드와 LookML 대시보드 모두에서 요소가 반환됩니다.

키워드 또는 자연어 문법을 사용하여 검색창에 검색어를 직접 입력할 수도 있습니다. 예를 들어 모든 Looker 애셋을 보려면 system=Looker를 입력합니다. 모든 Looker 대시보드를 보려면 system=Looker AND type=dashboard를 입력합니다.

도움말: type 한정자와 유형 별칭은 시스템에만 국한되지 않습니다. 예를 들어 type=view로만 필터링하거나 (또는 유형 별칭에서 뷰만 선택) Looker 뷰와 BigQuery 뷰를 모두 반환합니다. Looker 뷰를 구체적으로 필터링하려면 시스템과 유형을 모두 필터링합니다. 시스템에서 Looker를 선택하고 유형 별칭에서 뷰를 선택하거나 검색 필드에 system=Looker AND type=view를 입력합니다.

type 한정자와 함께 다음 값을 사용할 수 있습니다.

• agent
• dashboard
• dashboard_element
• explore
• instance
• look
• lookml_project
• model
• view

참고: dashboard를 사용하여 검색하면 사용자 정의 대시보드와 LookML 대시보드가 모두 반환됩니다. dashboard_element를 사용하여 검색하면 사용자 정의 대시보드와 LookML 대시보드 모두에서 요소가 반환됩니다.

lookupEntryLinks 메서드를 사용하여 Looker 관련 BigQuery 항목을 검색할 수도 있습니다. reference 항목 링크는 BigQuery 테이블 항목에서 Looker 뷰 항목으로의 링크를 나타냅니다.

리소스 검색에 대한 자세한 내용은 Knowledge Catalog에서 리소스 검색을 참조하세요. 검색창에서 사용할 수 있는 표현식에 대한 자세한 내용은 Knowledge Catalog 검색 구문을 참조하세요.

Knowledge Catalog와 Looker (Google Cloud 핵심 서비스) 인스턴스 통합 사용 중지

Knowledge Catalog와 Looker (Google Cloud 핵심 서비스) 인스턴스의 통합을 사용 중지하려면 다음 단계를 완료하세요.

콘솔

1. 인스턴스의 인스턴스 페이지에 있는 세부정보 탭에서 수정을 클릭합니다.
2. Knowledge Catalog 통합 섹션을 펼칩니다.
3. Knowledge Catalog 통합 선택 해제 체크박스를 선택합니다.
   • 참고: 이 설정을 사용 중지하면 메타데이터 수집과 데이터 계보 (Data Lineage API가 사용 설정된 경우)가 모두 사용 중지됩니다.
4. 저장을 클릭합니다.

gcloud

gcloud looker instances update 명령어를 --no-catalog-integration-enabled 플래그와 함께 사용하여 통합을 사용 설정합니다.

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

INSTANCE_NAME을 Looker (Google Cloud 핵심 서비스) 인스턴스의 이름으로 바꿉니다.

통합을 사용 설정한 후 사용 중지하면 이미 Knowledge Catalog에 있는 Looker 메타데이터는 Knowledge Catalog에 유지되지만 새 메타데이터로 업데이트되지 않습니다.

VPC 서비스 제어

Looker (Google Cloud 핵심 서비스)와 Knowledge Catalog의 통합은 VPC 서비스 제어를 지원합니다.

Looker (Google Cloud 핵심 서비스) 인스턴스 또는 Knowledge Catalog 리소스가 VPC 서비스 제어 서비스 경계 내에 있는 경우 Dataplex API (dataplex.googleapis.com)가 경계 내에서 제한된 서비스로 구성되어 있는지 확인해야 합니다.

가격 책정

Knowledge Catalog에 Looker (Google Cloud 코어) 기술 메타데이터를 저장하는 데는 요금이 청구되지 않습니다. 표준 Knowledge Catalog 가격 책정은 API 호출 및 추가 비즈니스 메타데이터 보강에 적용됩니다. 자세한 내용은 Knowledge Catalog 가격 책정 페이지를 참조하세요.

다음 단계

• Knowledge Catalog로 데이터 계보를 추적합니다.
• Knowledge Catalog의 메타데이터 관리 알아보기
• Knowledge Catalog에서 리소스를 검색하는 방법 알아보기
• 관점을 관리하고 메타데이터를 보강하는 방법 알아보기