데이터 거버넌스 전략을 계획할 때 Knowledge Catalog에서 데이터 계보가 작동하는 방식을 이해하면 더 나은 아키텍처 결정을 내릴 수 있습니다. 다음 사항에 유의하세요.
- 프로젝트 수준 활성화: Data Lineage API를 사용 설정하면 기본적으로 전체 프로젝트에서 데이터 계보 추적이 활성화되어 제품 수준 컨트롤에 따라 여러 시스템의 정보가 자동으로 보고됩니다. 특정 서비스에 대해 계층적으로 계보 수집을 제어할 수도 있습니다.
- 규정 준수: 데이터 이동을 명확하게 파악하는 동시에 기록되는 메타데이터와 보안 방식을 정확하게 이해할 수 있습니다.
- 비용 관리: 프로젝트 전반에서 계보 추적의 결제 영향을 사전 검토하고 관리할 수 있습니다.
제품 수준 계보 관리
Data Lineage API가 사용 설정되면 지원되는 시스템은 제품 수준 제어에 따라 계보를 보고합니다.
| 시스템 | 사용 가능한 계보 제어 |
|---|---|
| BigQuery, Cloud Data Fusion |
프로젝트에서 Data Lineage API가 사용 설정된 경우 계보 추적을 Cloud Data Fusion 또는 BigQuery로만 제한할 수 없습니다. BigQuery의 데이터 계보 수집을 구성 하여 자동 데이터 계보 수집을 사용 설정하거나 중지할 수 있습니다. |
| Managed Service for Apache Airflow | Managed Airflow는 환경 수준 데이터 계보 통합 제어를 사용합니다. 요구사항을 충족하는 모든 새 Managed Airflow 환경에 데이터 계보가 자동으로 사용 설정됩니다. 자세한 내용은 Managed Airflow를 사용한 데이터 계보를 참고하세요. 기존 환경의 경우 환경 설정을 사용하여 데이터 계보 통합을 사용 설정하거나 사용 중지합니다. Managed Airflow의 데이터 계보 수집을 구성하여 자동 데이터 계보 수집을 사용 설정하거나 비활성화할 수 있습니다. |
| Dataflow | Dataflow 작업으로 계보 이벤트를 캡처하여 Data Lineage API에 게시할 수 있습니다. 자세한 내용은 Dataflow에서 데이터 계보 사용을 참조하세요. |
| Managed Service for Apache Spark | Managed Service for Apache Spark 작업으로 계보 이벤트를 캡처하여 Data Lineage API에 게시할 수 있습니다. 자세한 내용은 Spark 데이터 계보 사용을 참고하세요. Managed Service for Apache Spark의 데이터 계보 수집을 구성하여 자동 데이터 계보 수집을 사용 설정하거나 비활성화할 수 있습니다. |
| Looker (Google Cloud 핵심 서비스) (미리보기) | 데이터 계보를 사용하여 BigQuery 소스에서 Looker (Google Cloud 핵심 서비스) 메타데이터를 시각화하는 기능이 지원됩니다. 데이터 계보는 Looker (Google Cloud 핵심 서비스) 리소스 수준과 데이터 계보 서비스 수준에서 사용 설정해야 합니다. 자세한 내용은 Knowledge Catalog로 데이터 계보 추적을 참고하세요. |
| Vertex AI | 데이터 계보는 Vertex AI 파이프라인에 자동으로 사용 설정되어 입력 아티팩트와 실행 매개변수 (예: 모델, 데이터 세트, 구성요소)는 물론 다운스트림 파생 애셋도 추적합니다. 자세한 내용은 파이프라인 아티팩트 계보 추적을 참조하세요. |
결제 영향
Data Lineage API는 프로젝트별로 사용 설정되므로 프로젝트에 Data Lineage API를 사용 설정한 경우에는 청구액에 미치는 영향을 검토합니다(자세한 내용은 이전 섹션 참조). 데이터 계보 요금 청구 방식에 대한 자세한 내용은 Knowledge Catalog 가격 책정을 참고하세요.
BigQuery Omni의 경우 계보 처리가 특정 리전에 분산되며 비용은 처리 과정이 수행되는 리전에 따라 달라집니다.
데이터 계보 규정 준수
- 데이터 계보는 데이터 이동에 대한 메타데이터를 기록하지만 데이터 자체를 캡처하지는 않습니다. 메타데이터에 포함된 필드에 대한 자세한 내용은 데이터 계보 정보 모델 및 Data Lineage API 참조를 확인하세요.
- Knowledge Catalog의 일부인 데이터 계보는 VPC-SC 지원을 제공합니다.
- Knowledge Catalog는 고객 관리 암호화 키를 사용하여 수집된 계보 메타데이터를 보호하는 기능을 제공하지 않습니다.
데이터 계보 제한사항
다음과 같은 경우 계보 그래프에서 노드를 선택해도 노드 세부정보 측면 패널이 비어 있습니다.
- 리소스가 다른 조직에 있습니다.
- 사용자가 리소스를 호스팅하는 조직의 구성원이 아닙니다.