系統管理
在 Cloud Data Fusion Studio 中點選「系統管理員」,會顯示下列分頁:
- 「管理」分頁:查看各種 Cloud Data Fusion 服務的健康狀態。您也可以查看各項服務的記錄。
「設定」分頁:建立、查看及編輯下列控制項:
- 命名空間。詳情請參閱「使用命名空間服務帳戶控管存取權」。
- 系統運算設定檔。運算設定檔會指出在建立叢集以執行管道及套用相關聯的設定時,要使用哪個佈建工具。
佈建工具負責建立、初始化及終止管道執行的雲端環境。每個佈建器都會公開一組設定,用於控管建立及刪除的叢集類型。不同的佈建工具會建立不同類型的叢集。
每個運算設定檔都有範圍:系統或使用者。您可以為其下方的任何命名空間使用系統運算設定檔。使用者運算設定檔位於命名空間內,只有該命名空間中的管道可以使用使用者運算設定檔。
在系統管理員的「Configurations」分頁中,您可以建立套用至所有命名空間的系統運算設定檔。Cloud Data Fusion 會指派預設的運算設定檔。
建立運算設定檔時,請選取設定檔用來建立及設定雲端執行階段詳細資料的佈建器。
系統偏好設定
偏好設定是預先定義的設定,適用於 Cloud Data Fusion 內的不同層級,包括系統本身、命名空間、應用程式 (內含管道) 和管道內的個別程式。偏好設定可為常用設定設定預設值。管道和計畫可以沿用這些預設值,減少重複的設定工作。詳情請參閱「管理巨集、偏好設定和執行階段引數」。
HTTP 呼叫動作
「系統管理員」頁面的 HTTP 呼叫動作可讓您直接透過 Cloud Data Fusion Studio 介面,與 Cloud Data Fusion 自身的 API 或其他 Google Cloud 服務 API 互動。不過,如要使用外部資料來源建構資料處理管道,請改用 HTTP 外掛程式及其管道中的 HTTP 呼叫執行器,取得更全面的解決方案。這項動作與 HTTP 呼叫動作略有不同,但基本概念相似。
設定和應用實例
HTTP 呼叫動作主要用於 Cloud Data Fusion 內的管理工作或設定。您可以直接透過 Cloud Data Fusion Studio,與 Cloud Data Fusion API 或其他公開 HTTP API 的 Google Cloud 服務互動。
設定
您可以定義 HTTP 呼叫的下列詳細資料:
- 網址:您要呼叫的網路服務目標端點。
- 方法:要使用的 HTTP 方法,例如
GET、POST或PUT。 - 選用:標頭:要求所需的任何自訂標頭。
- 選用:主體:要在要求主體中傳送的資料,例如
POST和PUT呼叫。
接著,您就可以執行定義的 HTTP 呼叫,並在 Cloud Data Fusion Studio 中查看網路服務的回應。
用途
- 測試 Cloud Data Fusion API 呼叫。您可以透過 HTTP 呼叫動作,直接從網頁介面測試或探索 Cloud Data Fusion API 功能。這項動作有助於瞭解 API 行為或排解潛在問題。
- 管理命名空間 (進階)。雖然有專用的命名空間管理 UI,但您可以透過直接呼叫 Cloud Data Fusion API,使用 HTTP 呼叫動作執行進階工作,例如建立、刪除或設定命名空間。
- 與其他 Google Cloud 服務互動 (有限)。 如果您使用的其他 Google Cloud 服務有公開記錄的 HTTP API,您可以使用 HTTP 呼叫動作與這些服務互動,但這是少見的用途。
重要事項
- 安全性:使用 HTTP 呼叫動作時請務必謹慎,尤其是處理機密資料,或是可能影響環境的 Cloud Data Fusion API 呼叫。請務必瞭解每次 API 呼叫的影響,再執行呼叫。
- 限制:HTTP 呼叫動作主要用於管理工作和測試。不適合用於建構複雜的資料處理管道,這類管道會在 Cloud Data Fusion 中進行資料操控。
- 管道替代方案:如要將外部資料來源或服務整合至資料管道,請在管道定義中使用 HTTP 外掛程式和相關聯的 HTTP 呼叫執行器。這項功能可讓您在資料處理工作流程中,以更穩健且可控的方式管理 HTTP 互動。
命名空間管理
在 Cloud Data Fusion Studio 中按一下「命名空間管理員」,即可管理特定命名空間的設定。您可以為每個命名空間定義下列層面:
- 運算設定檔:在命名空間管理員中設定的設定檔是使用者運算設定檔。只有該命名空間中的管道可以使用這些使用者運算設定檔。詳情請參閱「管理運算設定檔」。
- 偏好設定:在命名空間層級定義的偏好設定適用於命名空間、應用程式 (包含管道) 和管道內的個別程式。詳情請參閱「管理巨集、偏好設定和執行階段引數」。
- 連線:Cloud Data Fusion 可讓您在資料管道中重複使用來源和接收器的連線。您可以在「命名空間管理」頁面中新增連線。詳情請參閱「建立及管理連線」。
- 驅動程式:Cloud Data Fusion 中的部分外掛程式需要將 JDBC 驅動程式新增至命名空間。舉例來說,如要使用 MySQL 批次來源外掛程式執行管道,必須先將支援的 MySQL 驅動程式新增至命名空間。您可以從命名空間管理頁面,或直接從 Hub 上傳或移除命名空間的 JDBC 驅動程式。詳情請參閱「外掛程式驅動程式」。
- 原始碼控管管理:為有效管理已部署管道的開發程序,原始碼控管管理功能可讓您將命名空間連結至原始碼控管系統的存放區。詳情請參閱「使用來源控管管理管道」。
- 服務帳戶:如要控管對 Google Cloud 資源的存取權,Cloud Data Fusion 中的命名空間預設會使用 Cloud Data Fusion API 服務代理人。
為提升資料隔離效果,您可以將自訂的 Identity and Access Management (IAM) 服務帳戶 (稱為每個命名空間的服務帳戶) 與每個命名空間建立關聯。自訂的 IAM 服務帳戶 (不同命名空間可使用不同帳戶),可讓您控管 Cloud Data Fusion 中管道設計階段作業 (例如管道預覽、Wrangler 和管道驗證) 的命名空間間資源存取權。 Google Cloud 詳情請參閱「使用命名空間服務帳戶控管存取權」。
後續步驟
- 進一步瞭解運算設定檔。
- 進一步瞭解巨集、偏好設定和執行階段引數。