Knowledge Catalog의 데이터 계보를 사용하면 BigQuery 프로젝트에서 테이블 및 뷰의 다운스트림 종속 항목을 추적할 수 있습니다. 그런 다음 다운스트림 작업 또는 워크플로의 소스로 활발하게 사용되지 않는 애셋을 식별하고 삭제 후보로 플래그를 지정하여 스토리지 비용을 줄일 수 있습니다.
이 튜토리얼에서는 분기별 고용 및 임금 조사 (QCEW)에서 파생된 데이터 세트로 BigQuery 프로젝트를 관리합니다. 프로젝트에는 고용 추세 추적 또는 임금 비교와 같은 대시보드 및 분석을 위한 수많은 테이블과 뷰가 포함되어 있어 스토리지 비용이 증가합니다. 각 애셋에서 다운스트림 링크를 확인하면 사용되지 않는 리소스에 삭제 플래그를 체계적으로 지정할 수 있습니다.
계보 탐색기 설정
사용 사례를 완료하려면 먼저 환경을 설정하고 원격 저장소를 Dataform에 연결하여 데이터 변환을 실행합니다. 이 저장소에는 데이터 세트를 설정하고 데이터를 변환하는 데 필요한 코드가 포함되어 있습니다. 자세한 내용은 기본 요건 및 설정을 참조하세요.
환경 설정을 완료한 후 BigQuery 및 계보 탐색기를 사용하여 다운스트림 종속 항목이 없는 애셋을 시각적으로 식별합니다.
사용하지 않는 애셋 식별 및 비용 최적화
데이터 세트가 준비되면 다운스트림 종속 항목이 없는 애셋을 식별합니다. 개별 테이블에 대해 시각적으로 이 작업을 수행할 수 있지만 대규모 데이터 세트에 프로그래매틱 방식을 사용할 수도 있습니다.
이 예시에서는 활성 애셋을 독립형 애셋과 비교하여 안전하게 삭제할 수 있는 애셋을 확인합니다.
- Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
- 검색 필드를 사용하여 독립형 테이블 (예: 특정 연도의 이전 분석 테이블)을 찾습니다.
- 계보 탭을 클릭합니다.
- 계보 탐색기 창에서 다음을 수행합니다.
- 방향 섹션에서 다운스트림 방향을 선택합니다.
- 적용을 클릭합니다.
그래프를 관찰합니다. 다운스트림 노드가 없으면 애셋이 추적된 다른 BigQuery 작업의 소스로 사용되지 않습니다. 데이터 계보 그래프를 사용하여 데이터를 시각화하는 방법에 대한 자세한 내용은 계보 그래프 뷰를 참조하세요.