您可以在 Compute Engine 單一租戶節點上建立 Dataproc 叢集。單一租戶節點是專門用來託管專案 VM 的 Compute Engine 伺服器。在這類節點上建立 Dataproc 叢集,可確保叢集的 VM 實體位置與其他專案的 VM 不同。叢集的功能與標準 Dataproc 叢集相同,但另外提供硬體隔離功能,可以解決安全性和法規遵循問題。
Dataproc 單一租戶節點叢集會建立在使用者指定的「單一租戶節點群組」中。每個叢集的主要、worker 和次要 worker 執行個體,也都會建立在這個群組中。
開始步驟
參閱事前準備。
-
如要在單一租戶節點群組中建立自動調度資源叢集,請使用自動調度資源節點群組。
- 請確認節點群組的
max-nodes足夠,可以滿足您要在單一租戶節點群組中建立的叢集maxInstances。 - 採用預設或
migrate-within-node-group節點群組維護政策;如果採用restart-in-place政策,可能會有最多 1 小時無法使用 VM。
- 請確認節點群組的
建立單一租戶叢集
建立前請參閱單一租戶節點 VM 限制。
如要在單一租戶節點群組中建立自動調度資源叢集,建議一併使用自動調度資源節點群組 (請參閱節點群組自動調度資源建議)。
gcloud 指令
建立單一租戶叢集時,請將 --node-group 旗標傳遞至 gcloud dataproc clusters create 指令。
旗標附註:
--region(必要):必須與單一租戶群組的區域相符。--node-group(必要):可以指定單一租戶節點群組的名稱 (「node-group-name」),或是單一租戶節點群組的資源 URI (「projects/project-id/zones/zone/nodeGroups/node-group-name」)。--zone(必要):叢集可用區必須與單一租戶節點群組的可用區相符。
gcloud dataproc clusters create cluster-name \ --region=region \ --zone=zone \ --node-group=node group resource name or URI \ ... other args
REST API
透過指定單一租戶節點群組 NodeGroupAffinity.nodeGroupUri 的 clusters.create 要求,建立單一租戶叢集。
注意:zoneUri 欄位指定的叢集可用區,必須與單一租戶節點群組的可用區相符。
控制台
目前 Google Cloud 主控台不支援建立單一租戶 Dataproc 叢集。