Cloud Data Fusion 簡介：Studio

Cloud Data Fusion：Studio 提供預先建構的外掛程式，可讓您透過點選及拖曳介面，以視覺化方式建構、設定及執行資料管道。您可以連線至地端部署和雲端資料來源、準備及轉換資料，並測試或排定將資料傳送至目標目的地。

部署完成後，Studio 可讓您透過疊代編輯、Git 原始碼控管，以及可重複使用的執行階段參數和偏好設定，管理管道生命週期。您也可以自訂運算設定檔、分配執行資源來微調效能，以及集中管理設定。

Cloud Data Fusion Studio 的使用者歷程

事前準備

Cloud Data Fusion：Studio 總覽

Studio 包含下列元件。

管理

Cloud Data Fusion 允許每個執行個體有多個命名空間。管理員可以在 Studio 中集中管理所有命名空間，也可以個別管理每個命名空間。

Studio 提供下列管理員控制項：

系統管理
在 Studio 中，您可以使用「System Admin」(系統管理員) 模組建立新的命名空間，並在系統層級定義中央運算設定檔設定，這些設定適用於該執行個體中的每個命名空間。詳情請參閱「管理 Studio 管理作業」。
命名空間管理
Studio 中的「Namespace Admin」模組可讓您管理特定命名空間的設定。您可以為每個命名空間定義運算設定檔、執行階段偏好設定、驅動程式、服務帳戶和 Git 設定。詳情請參閱「管理 Studio 管理設定」。

Pipeline Design Studio

您可以在 Cloud Data Fusion 網頁介面的管道設計工作室中設計及執行管道。設計及執行資料管道包含下列步驟：

  • 連結至來源：Cloud Data Fusion 可連結至地端和雲端資料來源。Studio 介面有預設的系統外掛程式，這些外掛程式已預先安裝在 Studio 中。您可以從外掛程式存放區 (稱為 Hub) 下載其他外掛程式。詳情請參閱「外掛程式總覽」。
  • 準備資料：Cloud Data Fusion 支援使用強大的資料準備外掛程式 Wrangler 準備資料。Wrangler 可讓您在 Studio 中對整個資料集執行邏輯前，先在同一個位置查看、探索及轉換一小部分資料樣本。這樣一來，您就能快速套用轉換，瞭解轉換對整個資料集的影響。您可以建立多項轉換，並將其新增至食譜。詳情請參閱「Wrangler 總覽」。
  • 轉換：轉換外掛程式會在資料從來源載入後變更資料，例如複製記錄、將檔案格式變更為 JSON，或使用 JavaScript 外掛程式建立自訂轉換。詳情請參閱「外掛程式總覽」。
  • 連結至目的地：準備好資料並套用轉換後，即可連結至要載入資料的目的地。Cloud Data Fusion 支援連線至多個目的地。詳情請參閱「外掛程式總覽」。
  • 預覽：設計管道後，您可以在部署及執行管道前，執行預覽工作來偵錯。若發生任何錯誤，也能在草稿模式中修正。Studio 會使用來源資料集的前 100 列來產生預覽畫面。Studio 會顯示預覽工作的狀態和時間長度。您隨時可以停止工作。 您也可以在預覽工作執行時監控記錄事件。詳情請參閱「預覽資料」。

  • 管理管道設定：預覽資料後，您可以部署管道並管理下列管道設定：

    • 運算設定：您可以變更執行管道的運算設定檔，例如想針對自訂的 Managed Service for Apache Spark 叢集執行管道，而非預設的 Managed Service for Apache Spark 叢集。
    • 管道設定：您可以啟用或停用每個管道的檢測功能，例如時間指標。根據預設，系統會啟用插碼。
    • 引擎設定：Spark 是預設執行引擎。您可以傳遞 Spark 的自訂參數。
    • 資源：您可以指定 Spark 驅動程式和執行器的記憶體和 CPU 數量。驅動程式會自動調度管理 Spark 工作。執行器負責處理 Spark 中的資料。
    • 管道快訊：您可以設定管道，在管道執行完畢後傳送快訊並啟動後續處理工作。您可以在設計管道時建立管道快訊。部署管道後，您就可以查看快訊。如要變更快訊設定，請編輯管道。
    • 轉換下推：如要讓管道在 BigQuery 中執行特定轉換，可以啟用「轉換下推」設定。

    詳情請參閱「管理管道設定」。

  • 使用巨集、偏好設定和執行階段引數重複使用管道： Cloud Data Fusion 可讓您重複使用資料管道。透過可重複使用的資料管道，您可以建立單一管道，將資料整合模式套用至各種用途和資料集。可重複使用的管道可提升管理效率。您可以在執行階段設定管道的大部分設定，而不是在設計階段進行硬式編碼。在 Pipeline Design Studio 中，您可以使用巨集將變數新增至外掛程式設定，以便在執行階段指定變數替代項目。詳情請參閱「管理巨集、偏好設定和執行階段引數」。

  • 執行：檢查管道設定後，即可開始執行管道。您可以在管道執行的各個階段 (例如佈建、啟動、執行和成功) 查看狀態變更。

  • 排定時間及自動調度管理：您可以設定批次資料管道的執行時間和頻率。建立並部署管道後，即可建立排程。在 Pipeline Design Studio 中，您可以為批次資料管道建立觸發條件，在一個或多個管道執行作業完成時執行，藉此自動化調度管理管道。這些稱為下游和上游管道。您可以在下游管道建立觸發條件，讓下游管道根據一或多個上游管道的完成情況執行。

    建議做法：您也可以使用 Composer，在 Cloud Data Fusion 中自動化調度管理管道。詳情請參閱「排定管道時間」和「Orchestration Pipelines」。

  • 編輯管道：Cloud Data Fusion 可讓您編輯已部署的管道。編輯已部署的管道時，系統會建立同名的新版本，並標示為最新版本。這樣一來，您就能反覆開發管道，而不必複製管道，建立名稱不同的新管道。詳情請參閱「編輯管道」。

  • 原始碼控管管理：Cloud Data Fusion 可讓您使用 GitHub 控管管道原始碼，更妥善地管理開發和正式環境之間的管道。

  • 記錄和監控：如要監控管道指標和記錄，建議您啟用 Stackdriver 記錄服務，以便搭配使用 Cloud Logging 和 Cloud Data Fusion 管道。

後續步驟