Visão geral da rede do metastore do Dataproc

Este documento oferece uma visão geral das configurações de rede que podem ser usadas para configurar um serviço Metastore do Dataproc.

Referência rápida com tópicos de rede

Configurações de rede Observações
Configurações de rede padrão
Sub-redes VPC Por padrão, os serviços do metastore do Dataproc que usam o protocolo de endpoint Thrift usam uma sub-rede VPC com o Private Service Connect.
Redes de nuvem privada virtual (VPC) Opcionalmente, você pode usar redes VPC para serviços do metastore do Dataproc que usam o protocolo de endpoint Thrift. Essa é uma alternativa ao uso de sub-redes VPC com o Private Service Connect.

Depois que a rede VPC é criada, o metastore do Dataproc também configura automaticamente o Peering de rede VPC para seu serviço.
Configurações de rede adicionais
Redes VPC compartilhadas Opcionalmente, você pode criar serviços do metastore do Dataproc em uma rede VPC compartilhada.
Rede local É possível se conectar a um serviço do metastore do Dataproc com um ambiente local usando o Cloud VPN ou o Cloud Interconnect.
VPC Service Controls Opcionalmente, você pode criar serviços do metastore do Dataproc com o VPC Service Controls.
Regras de firewall Em ambientes não padrão ou particulares com um espaço de segurança estabelecido, talvez seja necessário criar suas próprias regras de firewall.

Configurações de rede padrão

A seção a seguir descreve as configurações de rede padrão que o metastore do Dataproc usa para o protocolo de endpoint Thrift: sub-redes VPC com o Private Service Connect.

Sub-redes VPC

Para serviços do metastore do Dataproc que usam o protocolo de endpoint Thrift, o Private Service Connect (PSC) é a opção de rede padrão. O PSC permite configurar uma conexão particular com os metadados do metastore do Dataproc nas redes VPC. Com o PSC, é possível criar um serviço sem peering de VPC. Isso permite usar seus próprios endereços IP internos para acessar o metastore do Dataproc, sem sair das redes VPC ou usar endereços IP externo.

Para configurar o Private Service Connect ao criar um serviço, consulte Private Service Connect com o metastore do Dataproc.

Redes VPC

Opcionalmente, você pode usar redes VPC para serviços do metastore do Dataproc que usam o protocolo de endpoint Thrift. Essa é uma alternativa ao uso de sub-redes VPC com o Private Service Connect. Uma rede VPC é uma versão virtual de uma rede física implementada na rede de produção do Google. Ao criar um metastore do Dataproc, o serviço cria automaticamente a rede VPC para você.

Se você não mudar nenhuma configuração ao criar o serviço, o metastore do Dataproc usará a rede VPC default. Com essa configuração, a rede VPC usada com o serviço do metastore do Dataproc pode pertencer ao mesmo Google Cloud projeto ou a um projeto diferente. Essa configuração também permite expor o serviço em uma única rede VPC ou torná-lo acessível em várias redes VPC (usando sub-redes).

O metastore do Dataproc requer o seguinte por região para cada rede VPC:

Peering de rede VPC

Depois que a rede VPC é criada, o metastore do Dataproc também configura automaticamente o Peering de rede VPC para seu serviço. A VPC fornece ao serviço acesso aos protocolos de endpoint do metastore do Dataproc . Depois de criar o serviço, você poderá conferir o peering de rede VPC subjacente na página Peering de rede VPC no Google Cloud console.

O peering de rede VPC não é transitivo. Isso significa que apenas redes com peering direto podem se comunicar entre si. Por exemplo, considere o cenário a seguir:

Você tem as seguintes redes: rede VPC N1, N2 e N3.

  • A rede VPC N1 está pareada com N2 e N3.
  • Rede VPC N2 e N3 não estão conectadas diretamente.

O que isso significa?

Isso significa que, pelo Peering de rede VPC, a rede VPC N2 não pode se comunicar com a rede VPC N3. Isso afeta as conexões do metastore do Dataproc das seguintes maneiras:

  • As máquinas virtuais que estão em redes com peering com a rede do projeto do metastore do Dataproc não podem acessar o metastore do Dataproc.
  • Somente os hosts na rede VPC podem acessar um serviço do metastore do Dataproc.

Considerações de segurança do Peering de rede VPC

  • O tráfego por peering de rede VPC é fornecido com um determinado nível de criptografia. Para mais informações, consulte Google Cloud rede virtual criptografia e autenticação.

  • A criação de uma rede VPC para cada serviço com um endereço IP interno oferece melhor isolamento de rede do que colocar todos os serviços na rede VPC default.

Endereços IP

Para se conectar a uma rede e ajudar a proteger seus metadados, os serviços do metastore do Dataproc usam apenas endereços IP internos. Isso significa que os endereços IP públicos não são expostos nem estão disponíveis para fins de rede.

Ao usar um endereço IP interno, o metastore do Dataproc só pode se conectar a máquinas virtuais (VMs) que existem em redes VPC especificadas ou em um ambiente local.

As conexões com um serviço do metastore do Dataproc usando um endereço IP interno usam intervalos de endereços RFC 1918. O uso desses intervalos significa que o metastore do Dataproc aloca um intervalo /17 e um intervalo /20 do espaço de endereço para cada região. Por exemplo, para colocar os serviços do metastore do Dataproc em duas regiões, é necessário que o intervalo de endereços IP alocado contenha o seguinte:

  • Pelo menos dois blocos de endereços não utilizados de tamanho /17.
  • Pelo menos dois blocos de endereços não utilizados de tamanho /20.

Se os blocos de endereços RFC 1918 não forem encontrados, o metastore do Dataproc encontrará blocos de endereços não RFC 1918 adequados. Observe que a alocação de blocos não RFC 1918 não considera se esses endereços estão em uso na sua rede VPC ou no local.

Configurações de rede adicionais

Se você precisar de uma configuração de rede diferente, poderá usar as seguintes opções com o serviço do metastore do Dataproc.

Rede VPC compartilhada

É possível criar serviços do metastore do Dataproc em uma rede VPC compartilhada. Uma VPC compartilhada permite conectar recursos do metastore do Dataproc de vários projetos a uma rede VPC comum.

Para configurar uma VPC compartilhada ao criar um serviço, consulte Criar um serviço do metastore do Dataproc.

Rede local

É possível se conectar a um serviço do metastore do Dataproc com um ambiente local usando o Cloud VPN ou o Cloud Interconnect

VPC Service Controls

O VPC Service Controls melhora a capacidade de reduzir o risco de exfiltração de dados. Com o VPC Service Controls, você cria perímetros em torno do serviço do metastore do Dataproc. O VPC Service Controls restringe o acesso externo a recursos dentro do perímetro. Somente clientes e recursos dentro do perímetro podem interagir entre si.

Para usar o VPC Service Controls com o metastore do Dataproc, consulte VPC Service Controls com o metastore do Dataproc. Analise também as limitações do metastore do Dataproc ao usar o VPC Service Controls.

Regras de firewall para o metastore do Dataproc

Em ambientes não padrão ou particulares com um espaço de segurança estabelecido, talvez seja necessário criar suas próprias regras de firewall. Se fizer isso, não crie uma regra de firewall que bloqueie o intervalo de endereços IP ou a porta dos serviços do metastore do Dataproc.

Quando você cria um serviço Metastore do Dataproc, é possível aceitar a rede padrão do serviço. A rede padrão garante acesso total de rede IP interno às VMs.

Para mais informações gerais sobre regras de firewall, consulte Regras de firewall da VPC e Como usar regras de firewall VPC.

Criar uma regra de firewall para uma rede personalizada

Ao usar uma rede personalizada, verifique se a regra de firewall permite o tráfego proveniente do/para o endpoint do metastore do Dataproc. Para permitir explicitamente o tráfego do metastore do Dataproc, execute os seguintes comandos gcloud:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Para DPMS_NET_PREFIX, aplique uma máscara de sub-rede /17 ao IP de serviço do metastore do Dataproc. É possível encontrar as informações do endereço IP do metastore do Dataproc na configuração endpointUri na página Detalhes do serviço.

Considerações

As redes têm uma regra de permissão de saída implícita que normalmente permite o acesso de sua rede ao metastore do Dataproc. Se você criar regras de saída de negação que modifiquem a regra implícita de permissão de saída, crie uma regra de permissão de saída com prioridade mais alta para permitir a saída para o IP do metastore do Dataproc.

Alguns recursos, como o Kerberos, exigem que o Metastore do Dataproc inicie conexões com hosts na rede do projeto. Todas as redes têm uma regra de entrada de negação implícita que bloqueia essas conexões e impede que esses recursos funcionem. regra de entrada de negação implícita que bloqueia essas conexões e impede que esses recursos funcionem. Crie uma regra de firewall que permita a entrada TCP e UDP em todas as portas do bloco de IP /17 que contém o IP do metastore do Dataproc.

Roteamento personalizado

As rotas personalizadas são para sub-redes que usam endereços IP públicos de uso particular (PUPI, na sigla em inglês). As rotas personalizadas permitem que a rede VPC se conecte a uma rede pareada. As rotas personalizadas só podem ser recebidas quando a rede VPC as importa e a rede pareada as exporta explicitamente. As rotas personalizadas podem ser estáticas ou dinâmicas.

O compartilhamento de rotas personalizadas com redes VPC pareadas permite que as redes "aprendam" rotas diretamente das redes pareadas. Isso significa que, quando uma rota personalizada em uma rede pareada é atualizada, a rede VPC aprende e implementa automaticamente a rota personalizada sem exigir nenhuma ação adicional.

Para mais informações sobre roteamento personalizado, consulte Configuração de rede.

Exemplo de rede do metastore do Dataproc

No exemplo a seguir, o Google aloca os intervalos de endereços 10.100.0.0/17 e 10.200.0.0/20 na rede VPC do cliente para serviços do Google e usa os intervalos de endereços em uma rede VPC pareada.

Diagrama mostrando a configuração da rede VPC do metastore do Dataproc com os serviços do Google e a rede VPC do cliente, ilustrando a alocação e o peering de endereços IP.
Figura 1. Configuração de rede VPC do metastore do Dataproc

Descrição do exemplo de rede:

  • No lado dos serviços do Google do peering de VPC, o Google cria um projeto para o cliente. O projeto é isolado, o que significa que nenhum outro cliente o compartilha e o cliente é cobrado apenas pelos recursos provisionados.
  • Quando você cria o primeiro serviço do metastore do Dataproc em uma região, o metastore do Dataproc aloca um intervalo /17 e um intervalo /20 na rede do cliente para todo o uso futuro dos serviços do metastore do Dataproc nessa região. e rede. O metastore do Dataproc subdivida ainda mais esses intervalos para criar sub-redes e intervalos de endereços no projeto de produtor de serviços.
  • Os serviços da VM na rede do cliente podem acessar os recursos do serviço Metastore do Dataproc em qualquer região, se o Google Cloud serviço for compatível com ele. Alguns Google Cloud serviços podem não aceitar a comunicação entre regiões.
  • Os custos de saída para tráfego entre regiões, quando uma instância de VM se comunica com recursos de uma região diferente, continuam sendo aplicáveis.
  • O Google atribui ao serviço do metastore do Dataproc o endereço IP 10.100.0.100. Na rede VPC do cliente, as solicitações com um destino de 10.100.0.100 são roteadas por meio do peering de VPC para a rede do produtor de serviços. Depois de chegar à rede de serviços, ela contém rotas que direcionam a solicitação para o recurso correto.
  • O tráfego entre redes VPC viaja internamente na rede do Google, não pela Internet pública.

A seguir