单租户节点集群

您可以在 Compute Engine 单租户节点上创建 Managed Service for Apache Spark 集群。单租户节点是专用于仅托管您某个项目的虚拟机的 Compute Engine 服务器。在单租户节点上创建 Managed Service for Apache Spark 集群可使集群的虚拟机与其他项目中的虚拟机形成物理隔离。集群作为标准 Managed Service for Apache Spark 集群运行,但具有额外的硬件隔离机制,可以解决安全性和合规性方面的问题。

Managed Service for Apache Spark 单租户节点集群在用户指定的单租户节点组中创建。每个集群主服务器、工作器和辅助工作器实例都将在该单租户节点组中创建。

初始步骤

  1. 请参阅准备工作

  2. 创建单租户节点模板

  3. 创建单租户节点组

    • 如果您要在单租户节点组中创建自动扩缩集群,请使用自动扩缩节点组

      节点组自动扩缩建议

      • 确保节点组的 max-nodes 对于您将在单租户节点组中创建的集群的 maxInstances 是足够的。
      • 使用默认或 migrate-within-node-group 节点组维护政策;如果使用 restart-in-place 政策,虚拟机的不可用时间最长可达 1 小时。

创建单租户集群

gcloud 命令

要创建单租户集群,请将 --node-group 标志传递给 gcloud dataproc clusters create 命令。

标志说明:

  • --region(必需):必须匹配单租户节点组所在的区域。
  • --node-group(必需):您可以指定单租户节点组名称(“node-group-name”)或单租户节点组资源 URI(“projects/project-id/zones/zone/nodeGroups/node-group-name”)。
  • --zone(必需):集群地区必须匹配单租户节点组地区。
gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone=zone \
    --node-group=node group resource name or URI \
    ... other args
  

REST API

使用 clusters.create 请求创建单租户集群,请求指定单租户节点组的 NodeGroupAffinity.nodeGroupUri

注意:zoneUri 字段中指定的集群地区必须与单租户节点地区一致。

控制台

目前不支持在 Google Cloud 控制台中创建单租户 Managed Service for Apache Spark 集群。