Use os VPC Service Controls com o Cloud Data Fusion

Se planeia criar uma instância do Cloud Data Fusion com um endereço IP privado, pode fornecer segurança adicional estabelecendo primeiro um perímetro de segurança para a instância através do VPC Service Controls (VPC-SC). O perímetro de segurança do VPC-SC em torno da instância privada do Cloud Data Fusion e de outros Google Cloud recursos ajuda a mitigar o risco de exfiltração de dados. Por exemplo, com os VPC Service Controls, se um pipeline do Cloud Data Fusion ler dados de um recurso suportado, como um conjunto de dados do BigQuery, localizado dentro do perímetro, e, em seguida, tentar escrever o resultado num recurso fora do perímetro, o pipeline falha.

Os recursos do Cloud Data Fusion são expostos em duas superfícies de API:

  1. A superfície da API do plano de controlo datafusion.googleapis.com, que lhe permite realizar operações ao nível da instância, como a criação e a eliminação de instâncias.

  2. A superfície da API do plano de dados datafusion.googleusercontent.com (a interface Web do Cloud Data Fusion na consola) que é executada numa instância do Cloud Data Fusion para criar e executar pipelines de dados. Google Cloud

Configura os VPC Service Controls com o Cloud Data Fusion restringindo a conetividade a ambas as superfícies de API.

Estratégias:

  • Os pipelines do Cloud Data Fusion são executados em clusters do Dataproc. Para proteger um cluster do Dataproc com um perímetro de serviço, siga as instruções para configurar a conetividade privada para permitir que o cluster funcione dentro do perímetro.

  • Não use plug-ins que usem Google Cloud APIs que não são suportadas pelos VPC Service Controls. Se usar plug-ins não suportados, o Cloud Data Fusion bloqueia as chamadas API, o que resulta na falha da pré-visualização e da execução do pipeline.

  • Para usar o Cloud Data Fusion num perímetro de serviço do VPC Service Controls, adicione ou configure várias entradas DNS para direcionar os seguintes domínios para o VIP (endereço IP virtual) restrito:

    • datafusion.googleapis.com
    • *.datafusion.googleusercontent.com
    • *.datafusion.cloud.google.com

Limitações:

  • Estabeleça o perímetro de segurança dos VPC Service Controls antes de criar a sua instância privada do Cloud Data Fusion. A proteção do perímetro para instâncias criadas antes da configuração dos VPC Service Controls não é suportada.

  • Atualmente, a IU do plano de dados do Cloud Data Fusion não suporta a especificação de níveis de acesso através do acesso baseado na identidade.

Restringir superfícies da API Cloud Data Fusion

Restringir a superfície do plano de controlo

Consulte o artigo Configurar a conetividade privada às APIs e aos serviços Google para restringir a conetividade à superfície do datafusion.googleapis.com plano de controlo da API.

Restringir a superfície do plano de dados

Para configurar a conetividade privada ao plano de dados da API, configure o DNS concluindo os passos seguintes para os domínios *.datafusion.googleusercontent.com e *.datafusion.cloud.google.com.

  1. Crie uma nova zona privada com o Cloud DNS:

    1. Tipo de zona: selecione privado
    2. Nome da zona: datafusiongoogleusercontentcom
    3. Nome de DNS: datafusion.googleusercontent.com

    4. Rede: selecione a rede de IP privado que escolheu quando criou a instância do Cloud Data Fusion.

      Como preencher os campos de zona.

  2. Na página Cloud DNS, clique no nome da zona DNS datafusiongoogleusercontent para abrir a página Detalhes da zona. São apresentados dois registos: um registo NS e um registo SOA. Use Adicionar padrão para adicionar os dois conjuntos de registos seguintes à sua zona DNS datafusiongoogleusercontent.

    1. Adicione um registo CNAME: na caixa de diálogo Criar conjunto de registos, preencha os seguintes campos para mapear o nome DNS *.datafusion.googleusercontent.com. para o nome canónico datafusion.googleusercontent.com:

      • Nome DNS: "*.datafusion.googleusercontent.com"

      • Nome canónico: "datafusion.googleusercontent.com"

        Como preencher os campos de zona.

    2. Adicione um registo A: numa nova caixa de diálogo Criar conjunto de registos, preencha os seguintes campos para mapear o nome DNS datafusion.googleusercontent.com. para os endereços IP 199.36.153.4 - 199.36.153.7:

      • Nome DNS: ".datafusion.googleusercontent.com"

      • Endereço IPv4:

        • 199.36.153.4
        • 199.36.153.5
        • 199.36.153.6
        • 199.36.153.7
        Como preencher os campos de zona.

      A página datafusiongoogleusercontent Detalhes da zona mostra os seguintes conjuntos de registos:

      Como preencher os campos de zona.

  3. Siga os passos acima para criar uma zona de DNS privada e adicionar um conjunto de registos para o domínio *.datafusion.cloud.google.com.

O que se segue?