(지원 중단됨) 데이터 메시 개념
Google Cloud Cortex Framework를 사용하여 데이터 메시를 배포하는 방법에 관한 자세한 가이드로 들어가기 전에 이 페이지에서는 관련 데이터 메시 개념이 일반적으로 제품 내에서 그리고 특히 Cortex Framework 컨텍스트에서 구현되는 방법에 관한 기초를 제공합니다. Google Cloud 데이터 메시 개념을 이해한 후 Data Mesh User Guide for Cortex Framework Data Foundation을 참조하세요.
Knowledge Catalog
다음 표에서는 Knowledge Catalog 내의 데이터 메시 개념을 정의합니다.
| 개념 | 설명 | Cortex Framework 컨텍스트 |
| 호수 | 데이터 메시 내에서 데이터를 구성하기 위한 최상위 단위입니다. Knowledge Catalog - 호수 관리를 참조하세요. | 데이터 소스(예: SAP ECC, Salesforce, Google Ads)
|
| 영역 | 호수 내에서 데이터를 구성하기 위한 두 번째 수준 단위입니다. | 데이터 소스 내의 특정 처리 레이어(예: 원시 대 CDC) |
| Knowledge Catalog 애셋 | 영역과 연결된 Cloud Storage 또는 BigQuery에 저장된 데이터에 대한 참조입니다. 데이터 자체가 아닌 데이터 애셋에 대한 참조입니다. | 영역에 등록된 BigQuery 데이터 세트에 대한 참조입니다. |
| 라벨 | 호수 또는 영역에 적용할 수 있는 임의의 키-값 쌍입니다. | 테이블 또는 열이 아닌 전체 호수 또는 영역에 Knowledge Catalog에서 보거나 커스텀 애플리케이션에 사용할 수 있는 메타데이터로 라벨을 지정합니다. |
| Data Catalog | 웨어하우스 내에서 데이터 애셋을 검색, 이해 또는 관리하는 데 사용할 수 있는 기술 비즈니스 메타데이터입니다. | 호수 또는 영역이 아닌 테이블 또는 열에 Knowledge Catalog 검색 또는 커스텀 애플리케이션에서 사용할 수 있는 풍부한 메타데이터 태그로 주석을 답니다. |
| 카탈로그 태그 템플릿 | 태그에서 사용 가능한 필드 와 그 유형을 정의하는 템플릿입니다. Knowledge Catalog - 태그 템플릿 관리를 참조하세요. | 비즈니스 라인으로 데이터 애셋에 태그를 지정하는 것과 같은 용도로 사용할 템플릿 집합을 정의합니다. |
| 카탈로그 태그 | 테이블 또는 열에 적용 가능한 메타데이터가 포함된 필드 및 값 집합입니다. 태그 템플릿의 인스턴스입니다. | 특정 비즈니스 라인과 같은 해당 애셋과 관련된 메타데이터 값으로 테이블 또는 열에 주석을 답니다. |
| 카탈로그 용어집 | BigQuery 열에 정의하고 연결할 수 있는 용어 사전입니다. Knowledge Catalog - 용어집 관리를 참조하세요. | BigQuery 애셋에 사용되는 용어 또는 약어를 정의합니다. 이는 향후 계획된 것으로 지원되지 않습니다. |
| 데이터 계보 | BigQuery 애셋 종속성을 나타내는 그래프입니다. | 이는 Cortex 데이터 메시로 정의되지 않지만 사용자가 BigQuery 애셋 데이터 소스를 검색하는 데 도움이 되는 관련 Knowledge Catalog 도구입니다. |
| 계보 이벤트 | BigQuery 애셋 간에 데이터를 이동하기 위해 작업이 발생한 시점입니다. 링크 목록이 포함되어 있습니다. | 지원되는 BigQuery 및 Composer 작업에 대해 자동으로 생성됩니다. |
| 계보 링크 | 계보 이벤트의 일부로 소스에서 대상 애셋으로 흐르는 데이터를 나타내는 가장자리입니다. | 콘솔에 표시되는 계보 시각화 그래프를 넘어 사용 사례를 지원하기 위해 분석할 수 있습니다. |
BigQuery
다음 표에서는 BigQuery 내의 데이터 메시 개념을 정의합니다.
| 개념 | 설명 | Cortex Framework 컨텍스트 |
| 정책 분류 | 정책 태그의 계층 구조입니다. BigQuery - 정책 태그 관리를 참조하세요. | 액세스 제어에 사용할 수 있는 관련 정책 태그를 상속된 권한이 있는 계층 구조로 구성합니다. |
| 정책 태그 | BigQuery 테이블 또는 뷰 내의 특정 열 에 적용되는 태그입니다. 계층 구조의 모든 수준에서 정책 태그를 적용할 수 있습니다. 특정 열에는 정책 태그를 하나만 적용할 수 있습니다. | 열 수준 액세스 제어에 사용되는 태그로 열에 주석을 답니다. 정책 태그의 주 구성원은 원시 열 데이터를 볼 수 있는 '세분화된' 또는 '마스크 해제된' 리더를 정의합니다. |
| 데이터 정책 | 마스크된 열 데이터를 보고 볼 수 있는 방법을 정의하는 정책 태그에 적용되는 정책입니다. | 데이터 정책의 주 구성원은 마스크된 열 데이터를 볼 수 있는 '마스크된 리더'를 정의합니다. 마스크된 또는 마스크 해제된 리더 권한이 없는 사용자는 열을 쿼리할 수 없습니다. |
| 마스킹 규칙 | 데이터가 마스크되는 방법을 정의하는 데이터 정책에 적용되는 규칙입니다. 예를 들어 해싱, 기본값 표시, 마지막 4자 등입니다. | 상황에 따라 민감한 열에 적용됩니다. |
| 행 액세스 정책 | 특정 열 값을 기반으로 테이블 내에서 행을 쿼리할 수 있는 그룹을 정의하는 SQL 문입니다. | 애셋 및 열 수준 제어가 충분하지 않은 경우 행 수준 액세스 제어에 사용됩니다. |
Cortex 데이터 메시 개념
다음 표에서는 Cortex Framework 내의 특정 데이터 메시 개념을 정의합니다.
| 개념 | 설명 | Cortex Framework 컨텍스트 |
| 메타데이터 리소스 | 여러 BigQuery 애셋에서 재사용할 수 있는 메타데이터 항목입니다. 예로는 호수, 카탈로그 태그 템플릿, 정책 분류가 있습니다. 이는 특히 BigQuery 자체의 데이터가 아닌 메타데이터입니다. | Cortex 데이터 메시의 일관된 관리를 사용 설정하기 위해 재사용 가능한 리소스를 정의합니다. |
| BigQuery 애셋 | BigQuery 테이블 또는 뷰입니다. | 데이터 메시로 관리되는 기존 Cortex BigQuery 객체입니다. |
| BigQuery 애셋 주석 | 특정 BigQuery 테이블 또는 뷰에 적용되는 메타데이터입니다. 여기에는 설명, 액세스 정책, 메타데이터 리소스 매핑이 포함됩니다. | 검색 및 액세스 제어를 사용 설정하기 위해 메타데이터를 BigQuery 애셋과 연결합니다. |
| 리소스 사양 (사양) | 메타데이터 리소스 또는 BigQuery 애셋 주석을 정의하는 YAML 파일입니다. | 전체 리소스 사양 집합은 배포할 데이터 메시 구성을 코딩합니다. |