Região do cluster

O Serviço Gerenciado para Apache Spark permite especificar uma região do Compute Engine, como us-east1 ou europe-west1, para determinar onde o cluster será executado. O serviço isola recursos, incluindo instâncias de VM, Cloud Storage e armazenamento de metadados, em uma única zona nessa região.

Ao criar um cluster, é possível selecionar uma zona, como us-east1-a ou europe-west1-b. Se você omitir, a colocação automática de zona do Serviço Gerenciado para Apache Spark vai escolher automaticamente uma zona dentro dessa região.

Nomes das regiões

Os nomes das regiões seguem uma convenção de nomenclatura padrão com base nas regiões do Compute Engine. Por exemplo, o nome da região central dos EUA é us-central1 e o nome da região da Europa Ocidental é europe-west1. Execute o comando gcloud compute regions list para ver uma lista de regiões disponíveis.

Endpoints de local e regionais

As APIs doGoogle Cloud podem oferecer suporte a endpoints locacionais e regionais:

  • Os endpoints de local garantem que os dados em trânsito permaneçam no local especificado quando acessados por conectividade particular.

    Formato: {location}-{service}.googleapis.com

    Exemplo: us-central-1-dataproc.googleapis.com

  • Os endpoints regionais garantem que os dados em trânsito permaneçam no local especificado quando acessados por conectividade privada ou pela Internet pública.

    Formato: {service}.{location}.rep.googleapis.com

    Exemplo: dataproc.us-central1.rep.googleapis.com

O endpoint padrão do Serviço Gerenciado para Apache Spark é o endpoint de local. Consulte as notas da versão do Serviço Gerenciado para Apache Spark para ver anúncios sobre o suporte do Serviço Gerenciado para Apache Spark a endpoints regionais.

Criar um cluster

Console

Especifique uma região do Compute Engine no campo Região na seção Definir o cluster na página Criar cluster no console do Google Cloud .

CLI do Google Cloud

Ao criar um cluster, especifique uma região usando a flag obrigatória --region.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    other args ...

API REST

Use o parâmetro de URL REGION em uma solicitação clusters.create para especificar a região do cluster.

gRPC

Defina o endereço de transporte do cliente como o endpoint de local usando o seguinte padrão:

REGION-dataproc.googleapis.com

Exemplo de Python (google-cloud-python):

from google.cloud import dataproc_v1
from google.cloud.dataproc_v1.gapic.transports import cluster_controller_grpc_transport

transport = cluster_controller_grpc_transport.ClusterControllerGrpcTransport(
    address='us-central1-dataproc.googleapis.com:443')
client = dataproc_v1.ClusterControllerClient(transport)

project_id = 'my-project'
region = 'us-central1'
cluster = {...}

Exemplo de Java(google-cloud-java):

ClusterControllerSettings settings =
     ClusterControllerSettings.newBuilder()
        .setEndpoint("us-central1-dataproc.googleapis.com:443")
        .build();
 try (ClusterControllerClient clusterControllerClient = ClusterControllerClient.create(settings)) {
   String projectId = "my-project";
   String region = "us-central1";
   Cluster cluster = Cluster.newBuilder().build();
   Cluster response =
       clusterControllerClient.createClusterAsync(projectId, region, cluster).get();
 }

A seguir