Knowledge Catalog 的資料歷程功能可讓您追蹤 BigQuery 專案中資料表和檢視表的下游依附元件。接著,您可以找出未主動做為下游工作或工作流程來源的資產,並將其標記為可刪除,以降低儲存成本。
在本教學課程中,您將管理 BigQuery 專案,其中包含衍生自就業與薪資季度普查 (QCEW) 的資料集。專案包含許多用於資訊主頁和分析的資料表和檢視表,例如追蹤就業趨勢或薪資比較,這會增加儲存空間費用。只要檢查每項資產是否有下游連結,就能系統化標記未使用的資源,以便刪除。
設定歷程探索工具
如要完成這個應用實例,請先設定環境,然後將遠端存放區連結至 Dataform,以便執行資料轉換。這個存放區包含設定資料集和轉換資料所需的程式碼。詳情請參閱「必要條件和設定」。
完成環境設定後,請使用 BigQuery 和歷程探索工具,以視覺化方式找出沒有下游依附元件的資產。
找出未使用的資產並盡可能降低成本
資料集準備就緒後,請找出缺少下游依附元件的資產。雖然您可以透過視覺化方式處理個別資料表,但對於較大的資料集,也可以使用程式輔助方法。
在本範例中,請比較使用中的素材資源和獨立素材資源,判斷哪些素材資源可以安全移除:
- 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。
- 使用搜尋欄位尋找獨立資料表 (例如特定年份的舊分析資料表)。
- 點選「歷程」分頁標籤。
- 在「Lineage Explorer」窗格中,執行下列操作:
- 在「Direction」(方向) 區段中,選取「Downstream」(下游) 方向。
- 按一下「套用」。
觀察圖表。如果沒有下游節點,表示該資產未做為其他追蹤 BigQuery 工作的來源。如要進一步瞭解如何使用資料歷程圖表以視覺化方式呈現資料,請參閱「歷程圖表檢視畫面」。