使用資料沿襲功能來降低成本

Knowledge Catalog 的資料歷程功能可讓您追蹤 BigQuery 專案中資料表和檢視表的下游依附元件。接著,您可以找出未主動做為下游工作或工作流程來源的資產,並將其標記為可刪除,以降低儲存成本。

在本教學課程中,您將管理 BigQuery 專案,其中包含衍生自就業與薪資季度普查 (QCEW) 的資料集。專案包含許多用於資訊主頁和分析的資料表和檢視表,例如追蹤就業趨勢或薪資比較,這會增加儲存空間費用。只要檢查每項資產是否有下游連結,就能系統化標記未使用的資源,以便刪除。

設定歷程探索工具

如要完成這個應用實例,請先設定環境,然後將遠端存放區連結至 Dataform,以便執行資料轉換。這個存放區包含設定資料集和轉換資料所需的程式碼。詳情請參閱「必要條件和設定」。

完成環境設定後,請使用 BigQuery 和歷程探索工具,以視覺化方式找出沒有下游依附元件的資產。

找出未使用的資產並盡可能降低成本

資料集準備就緒後,請找出缺少下游依附元件的資產。雖然您可以透過視覺化方式處理個別資料表,但對於較大的資料集,也可以使用程式輔助方法。

在本範例中,請比較使用中的素材資源和獨立素材資源,判斷哪些素材資源可以安全移除:

  1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。
  2. 使用搜尋欄位尋找獨立資料表 (例如特定年份的舊分析資料表)。
  3. 點選「歷程」分頁標籤。
  4. 在「Lineage Explorer」窗格中,執行下列操作:
    1. 在「Direction」(方向) 區段中,選取「Downstream」(下游) 方向。
    2. 按一下「套用」。

觀察圖表。如果沒有下游節點,表示該資產未做為其他追蹤 BigQuery 工作的來源。如要進一步瞭解如何使用資料歷程圖表以視覺化方式呈現資料,請參閱「歷程圖表檢視畫面」。