데이터 제품 정보

Knowledge Catalog (이전 명칭: Dataplex Universal Catalog)의 데이터 제품을 사용하면 관련 카탈로그 애셋을 선별된 단일 단위로 패키징하여 특정 비즈니스 문제를 해결할 수 있습니다. 그런 다음 컨텍스트와 계약을 추가하여 데이터 소비자가 신뢰할 수 있는 데이터를 검색, 평가, 셀프 서비스 액세스를 요청할 수 있습니다.

주요 기능

데이터 제품은 다음과 같은 주요 기능을 제공합니다.

  • 특정 비즈니스 문제를 해결하고 인사이트 도달 시간을 단축하는 논리적 단위로 카탈로그 애셋을 정리합니다.
  • 설명, 문서, 관점이 포함된 컨텍스트와 함께 데이터 애셋을 배포합니다.
  • 데이터 생산자가 데이터 소비자에게 보증을 제공할 수 있는 계약을 통해 신뢰를 구축합니다.
  • 데이터 소비자가 데이터 제품을 평가하고 데이터에 액세스할 수 있는 셀프 서비스 워크플로를 제공합니다.

주요 개념

이 섹션에서는 데이터 제품과 관련된 주요 개념과 용어를 설명합니다.

데이터 제품

특정 비즈니스 문제를 해결하기 위해 검색 가능하고 신뢰할 수 있으며 액세스할 수 있도록 공식적으로 패키징된 데이터 애셋의 선별된 논리적 그룹입니다.

확장 소재

BigQuery 데이터 세트, 테이블 또는 뷰와 같은 물리적 데이터 리소스에 대한 포인터입니다. 데이터 제품에는 하나 이상의 애셋이 포함됩니다.

액세스 그룹

액세스 그룹은 데이터 제품의 권한 관리를 간소화합니다. 사용자 친화적인 역할 (예: Reader 또는 Analyst)을 기본 Google 그룹스 또는 서비스 계정에 매핑합니다. 이 추상화를 통해 데이터 제품 소유자는 개념적 수준에서 액세스를 관리할 수 있으며 데이터 제품 소비자는 적절한 수준의 액세스를 요청할 수 있습니다.

  • 데이터 제품 소유자는 액세스 그룹을 구성하고 선택적으로 기본 IAM 역할을 할당할 수 있으며, 이 역할은 데이터 제품의 지원되는 모든 애셋에 자동으로 적용됩니다. 기본 역할이 할당되지 않은 경우 소유자는 특정 IAM 역할을 애셋에 직접 할당할 수 있습니다.

  • 데이터 제품 소비자는 이러한 그룹을 사용하여 데이터 제품에 대한 액세스를 요청합니다.

데이터 제품 소유자 또는 데이터 생산자

데이터 제품의 생성 및 관리를 담당하는 개인 또는 팀입니다. 여기에는 품질, 액세스, 문서 관리가 포함됩니다.

데이터 제품 소비자

데이터 제품을 소비하여 인사이트를 생성하는 개인, 팀 또는 AI 에이전트입니다.

계약

데이터 제품 소유자와 소비자 간의 계약입니다. 이 계약은 데이터가 제공되고 사용되는 방식에 대한 특정 조건(예: 새로고침 일정 및 품질 표준)을 정의하여 명확한 기대치를 설정합니다.

사용 사례

전자상거래 비즈니스를 분석하는 데이터 과학자를 생각해 보세요. 목표는 트래픽 소스별 평균 주문 금액(AOV)을 파악하고 사용자 연령과 주문 규모 간에 상관관계가 있는지 확인하는 것입니다. 이를 위해 order_details, user_traffic, user_demographics와 같은 여러 테이블의 데이터를 결합해야 합니다.

기존 설정에서는 이 프로세스로 인해 마찰이 발생합니다. 인사이트를 생성하려면 데이터 과학자가 먼저 조직의 방대한 데이터 환경 내에서 올바른 테이블을 찾아야 합니다. 그런 다음 각 데이터 소유자에게 연락하여 액세스 요청을 정당화하고 승인을 기다려야 합니다.

데이터 제품을 사용하면 데이터 소유자가 관련 애셋을 '전자상거래 비즈니스 데이터'라는 단일 제품으로 패키징하여 이 환경을 간소화할 수 있습니다. 이 패키지에는 다음이 포함됩니다.

  • 애셋

    • BigQuery 테이블 order_details 및 user_traffic(이전 주문 데이터 및 트래픽 소스 포함)
    • BigQuery 보기 user_demographics(PII가 제외된 사용자 세부정보 제공)

  • 액세스 그룹

    • 사전 정의된 Reader 및 Writer 그룹을 통해 액세스 요청 간소화

  • 계약

    • 데이터 새로고침 빈도를 정의하는 계약(예:매주 오전 8시(PST))

  • 컨텍스트

    • 샘플 쿼리 및 기타 세부정보가 포함된 문서
    • 데이터 민감도를 나타내는 추가 메타데이터

이제 데이터 과학자는 이 데이터 제품을 단일 논리 단위로 검색할 수 있습니다. 이를 통해 '각 트래픽 소스의 평균 주문 금액은 얼마인가요?'와 같은 질문에 대한 인사이트를 자신 있게 생성하여 궁극적으로 가장 가치 있는 고객을 생성하는 소스를 파악할 수 있습니다.

데이터 제품 사용자 플로우

Knowledge Catalog의 데이터 제품 수명 주기에는 두 가지 주요 사용자 여정이 포함됩니다. 하나는 데이터를 만들고 관리하는 데이터 제품 소유자 (또는 생산자)를 위한 것이고, 다른 하나는 데이터를 검색하고 사용하는 데이터 제품 소비자를 위한 것입니다.

데이터 제품 소유자 여정

이 여정은 데이터 제품을 패키징, 보호, 관리하여 신뢰할 수 있고 액세스할 수 있도록 하는 데 중점을 둡니다.

  • 만들기: 데이터 제품을 정의하고 애셋을 포함합니다. 여기에는 다음 작업이 포함됩니다.

    • 고유 이름, 프로젝트, 리전, 설명을 구성합니다.
    • BigQuery 테이블, 데이터 세트 또는 뷰와 같은 애셋을 추가합니다.
    • 액세스 그룹 (예: Analyst 또는 Reader)을 구성하고 기본 Google 그룹 또는 서비스 계정에 매핑하여 권한 관리를 간소화합니다.
    • 필요한 경우 액세스 그룹에 기본 IAM 역할을 할당하여 데이터 제품의 지원되는 모든 애셋에 권한을 자동으로 부여합니다.
    • 특정 애셋에 대해 이러한 액세스 그룹에 필요한 IAM 역할을 할당합니다.
    • 합의된 데이터 새로고침 주기, 빈도, 기준점을 공식적으로 전달하기 위해 계약(시스템 측면)을 추가합니다.

    자세한 내용은 데이터 제품 만들기를 참조하세요.

  • 관리: 데이터 제품을 업데이트하고 검색 가능성을 보장합니다. 여기에는 다음 작업이 포함됩니다.

    • 기본 세부정보, 애셋, 권한, 보충 관점(메타데이터), 서식 있는 텍스트 문서를 업데이트합니다.
    • 소비자에게 데이터 제품을 검색하고 액세스를 요청할 수 있는 액세스 권한을 부여합니다.

    자세한 내용은 데이터 제품 관리를 참고하세요.

데이터 제품 고객 여정

이 여정은 신뢰할 수 있는 데이터를 빠르게 찾고 이를 사용하는 데 필요한 권한을 얻는 데 중점을 둡니다.

  • 탐색: 특정 비즈니스 문제와 관련된 신뢰할 수 있는 데이터를 찾습니다. 여기에는 다음 작업이 포함됩니다.

    • 키워드 또는 자연어와 함께 Knowledge Catalog 검색을 사용하여 패키징된 데이터 제품을 찾습니다.
    • 데이터 제품의 개요, 애셋, 계약, 기타 측면을 검토하여 사용에 적합한지 확인합니다.

    자세한 내용은 데이터 제품 검색을 참고하세요.

  • 액세스 요청: 데이터 제품 소유자에게 데이터 액세스 권한을 요청합니다.

    자세한 내용은 데이터 제품에 대한 액세스 권한 요청을 참고하세요.

  • 사용: 기본 애셋에 액세스하여 인사이트를 생성합니다. 여기에는 다음 작업이 포함됩니다.

    • 승인되면 제품과 해당 애셋에 액세스할 수 있습니다. 예를 들어 애셋이 BigQuery 테이블인 경우 BigQuery Studio로 이동하여 데이터를 직접 쿼리할 수 있습니다.

    • Google Cloud외부에서 작동하는 애플리케이션 및 개발 워크플로의 경우 외부 메타데이터 게이트웨이를 사용하여 데이터 제품을 노출할 수 있습니다. 자세한 내용은 Knowledge Catalog 원격 MCP 서버 사용을 참조하세요.

    자세한 내용은 데이터 제품 사용을 참고하세요.

지원되는 애셋

데이터 제품은 하나 이상의 데이터 애셋으로 구성될 수 있습니다. 지원되는 데이터 애셋은 다음과 같습니다.

  • BigQuery 데이터 세트
  • BigQuery 테이블
  • BigQuery 뷰
  • BigQuery 루틴
  • BigQuery 모델
  • BigQuery 외부 테이블
  • Gemini Enterprise Agent Platform 데이터 세트
  • Gemini Enterprise Agent Platform 모델
  • Cloud Storage 버킷
  • Iceberg REST 카탈로그
  • Iceberg REST 카탈로그 네임스페이스
  • Iceberg REST 카탈로그 테이블
  • Looker (Google Cloud 핵심 서비스) 대시보드
  • Looker (Google Cloud 핵심 서비스) 대시보드 요소
  • Looker (Google Cloud 핵심 서비스) Look
  • Looker (Google Cloud 핵심 서비스) Explore
  • Looker (Google Cloud 핵심 서비스) LookML 프로젝트
  • Looker (Google Cloud 핵심 서비스) LookML 모델
  • Looker (Google Cloud 핵심 서비스) LookML 뷰

제한사항

  • 위치: 데이터 제품과 기본 애셋은 동일한Google Cloud 위치에 있어야 합니다.
  • BigQuery 모델: 데이터 제품 내의 BigQuery 모델에 대한 액세스는 상위 데이터 세트의 IAM 정책에 적용된 IAM 조건을 통해 관리됩니다. BigQuery 모델 공유에는 IAM 조건의 제한사항이 적용됩니다.

  • Looker (Google Cloud 핵심 서비스) 애셋: 데이터 제품에서 Looker (Google Cloud 핵심 서비스) 애셋을 사용하는 경우 다음과 같은 제한사항이 있습니다.

    • 서비스 계정은 지원되지 않습니다. Looker (Google Cloud 핵심 서비스)의 Google 그룹 미러링은 인간 사용자 ID만 지원합니다. Looker (Google Cloud 핵심 서비스) 애셋에 구성된 액세스 그룹에는 서비스 계정 주 구성원이 포함될 수 없습니다.
    • 기본 액세스 그룹 IAM 역할은 지원되지 않음: 액세스 그룹 수준에서 할당된 기본 IAM 역할은 Looker (Google Cloud 핵심 서비스) 애셋에 적용되지 않으며 unsupported로 표시됩니다. 각 Looker (Google Cloud 핵심 서비스) 애셋에 액세스 그룹 권한을 명시적으로 구성해야 합니다.
    • Looker (Google Cloud 핵심 서비스) 내 수동 권한 동기화: 데이터 제품의 Looker (Google Cloud 핵심 서비스) 애셋에 구성된 역할 이름은 소비자를 위한 정보 제공용 자리표시자입니다. 데이터 제작자는 Looker (Google Cloud 핵심 서비스) 인스턴스 내에서 미러링된 그룹의 폴더 액세스 수준 및 Looker 역할을 수동으로 구성하고 유지보수해야 합니다.

  • 할당량 및 한도: API 비율 제한 및 용량 할당량의 전체 목록은 데이터 제품 API 요청 할당량을 참조하세요.

  • 영역 버킷은 지원되지 않습니다.

다음 단계