Transferir da AWS ou do Azure por uma rede privada gerenciada pelo cliente

Uma conexão de rede privada, estabelecida usando o Interconexão entre nuvens ou a Interconexão por parceiro do Google Cloud, pode oferecer vantagens significativas para a transferência de dados entre a AWS ou o Azure e o Cloud Storage:

• Possível otimização de custos: potencialmente, você pode economizar nos custos de saída. Isso pode ser benéfico para clientes com interconexões atuais ou que realizam transferências de dados grandes ou recorrentes, levando a economias substanciais a longo prazo.
• Largura de banda de rede dedicada: o uso de uma interconexão pode oferecer capacidade de processamento consistente e de alta capacidade e menor latência, o que é crucial para migrações grandes e urgentes e sincronização de dados em tempo real.
• Atender às necessidades de conformidade: ideal para cargas de trabalho em que os requisitos regulatórios exigem que os dados sejam mantidos fora da Internet pública. Esse recurso ajuda você a transferir dados de forma privada usando a interconexão para alcançar a conformidade, oferecer suporte à soberania de dados e simplificar as auditorias.

Visão geral

Este documento orienta você pelas etapas para:

• Solicitar e configurar um Interconexão entre nuvens
• Criar um endpoint no S3 ou no Azure
• Configurar um balanceador de carga de rede de proxy interno regional com conectividade híbrida
• Registrar o balanceador de carga no Diretório de serviços
• Criar uma transferência
• Confirmar se o tráfego está usando a interconexão

Permissões necessárias

Você precisa de permissões específicas para concluir cada uma das seções a seguir. Essas permissões estão listadas na documentação desse conjunto de etapas.

Opções de interconexão

O Serviço de transferência do Cloud Storage pode transferir dados da AWS e do Azure pelo Cross-Cloud Interconnect (CCI) ou pela Interconexão por parceiro.

As etapas abaixo são específicas do CCI, mas também se aplicam ao configurar a rede para o Interconexão por parceiro.

Solicitar e configurar um Interconexão entre nuvens

Um Interconexão entre nuvens é uma conexão física dedicada entre o Google Cloud e outros provedores de nuvem.

Se você já tiver uma conexão CCI, pule para a próxima seção.

AWS

Siga as instruções em Conectar-se à Amazon Web Services para solicitar e configurar um novo Interconexão entre nuvens. Você precisa das permissões corretas para configurar a rede no Google Cloud e na AWS.

Assista a um vídeo que aborda as etapas para solicitar e configurar um CCI entre a AWS e o Google Cloud.

Azure

Siga as instruções em Conectar-se ao Microsoft Azure para solicitar e configurar um novo Interconexão entre nuvens. Você precisa das permissões corretas para configurar a rede no Google Cloud e no Azure.

Assista a um vídeo que aborda as etapas para solicitar e configurar um CCI entre o Azure e o Google Cloud.

Se o bucket do Cloud Storage for regional, configure o CCI na mesma região do bucket para reduzir a latência da rede.

Criar um endpoint no S3 ou no Azure

Crie um endpoint na sua conta do S3 ou do Azure.

AWS

Na sua conta da Amazon Web Services, crie um endpoint de VPC que se conecte ao S3.

Siga estas instruções da AWS: Acessar um serviço da AWS usando um endpoint de VPC de interface para criar o endpoint.

Azure

Configure um endpoint particular na conta de armazenamento no Azure seguindo estas etapas.

O Serviço de transferência do Cloud Storage requer o endpoint *.blob.core.microsoft.net. O endpoint *.dfs.core.microsoft.net está indisponível.

Depois de criado, anote o endereço IP do endpoint. Você precisará especificar o endereço IP ao criar o balanceador de carga na próxima seção.

Configurar um balanceador de carga de rede de proxy interno regional com conectividade híbrida

No Google Cloud, configure um balanceador de carga de rede de proxy interno regional com conectividade híbrida. Isso fornece um endereço IP interno restrito a clientes em execução na mesma rede VPC que o balanceador de carga e que encaminha o tráfego para os endpoints de VPC do S3 ou os endpoints particulares do Armazenamento do Azure que você criou na seção anterior.

Crie o balanceador de carga no mesmo projeto e rede VPC que o anexo da VLAN, que faz interface com o Cloud Interconnect. Embora a interconexão em si possa estar em um projeto diferente na mesma organização, o anexo precisa estar na mesma VPC e região que o balanceador de carga.

• Configurar um balanceador de carga de rede de proxy interno regional com conectividade híbrida

Especifique o endereço IP do endpoint de VPC do S3 ou do endpoint particular do Armazenamento do Azure quando chegar às etapas rotuladas como Adicionar endpoints ao NEG de conectividade híbrida.

Anote o endereço IP e a porta do front-end do NLB, porque você precisará especificá-los na próxima seção.

Validar a conexão

Antes de continuar, recomendamos que você valide se o balanceador de carga pode se conectar ao endpoint de armazenamento remoto.

Para fazer isso, siga estas etapas:

1. Crie uma VM do Compute Engine na mesma rede VPC que o seu balanceador.

2. Na VM, use curl para testar a conectividade com o endereço IP e a porta do balanceador de carga:

   curl -v --resolve HOSTNAME:PORT:LOAD_BALANCER_IP https://HOSTNAME
   

   Substitua:

   • HOSTNAME é o nome do host do provedor de armazenamento de origem.
     • Para o AWS S3, use o endpoint de API S3 para a região do bucket, por exemplo, s3.us-west-1.amazonaws.com.
     • Para o Armazenamento do Azure, use o endpoint de blob da sua conta de armazenamento, por exemplo, mystorageaccount.blob.core.windows.net.
   • PORT é a porta configurada na regra de encaminhamento do balanceador de carga, normalmente 443.
   • LOAD_BALANCER_IP é o endereço IP de front-end do seu balanceador de carga.

Uma resposta do endpoint remoto, mesmo um erro, indica que a conectividade foi bem-sucedida. Um tempo limite de conexão indica uma configuração incorreta na configuração de rede que você precisa resolver antes de continuar.

Registrar o NLB no Diretório de serviços

Registre o NLB no Diretório de serviços. O Serviço de transferência do Cloud Storage usa o Diretório de serviços para resolver o endereço do balanceador de carga e se conectar a ele diretamente.

Siga as instruções para registrar um balanceador de carga interno. Use o endereço IP e a porta do balanceador de carga que você criou ao especificar a regra de encaminhamento.

Depois de criado, anote o autolink do serviço. Ele usa o formato projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}. Você precisará desse valor ao criar o job de transferência.

Criar uma transferência

Conceda as permissões a seguir ao agente de serviço. Para instruções sobre como recuperar o agente de serviço e conceder permissões a ele, consulte Permissões do agente de serviço gerenciado pelo Google.

• Leitor do Diretório de serviços (roles/servicedirectory.viewer) no nível do projeto, no projeto que contém os recursos do Diretório de serviços.
• Serviço autorizado do Private Service Connect (roles/servicedirectory.pscAuthorizedService) no nível do projeto, no projeto que contém a VPC.
• Gravador de bucket legado do Storage (roles/storage.legacyBucketWriter) no bucket de destino.

Observação: se você estiver delegando permissões de agente de serviço a uma serviço gerenciado pelo usuário , conceda essas permissões à conta de serviço gerenciado pelo usuário.

Para criar um job de transferência que usa um Interconexão entre nuvens, é necessário usar a API REST do Serviço de transferência do Cloud Storage. Envie uma solicitação da seguinte maneira. Anote o campo privateNetworkService, que é onde você vai especificar o autolink do serviço do Diretório de serviços.

AWS

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
        "privateNetworkService": "SERVICE_SELF_LINK",
        "bucketName": "S3_BUCKET_NAME",
        "awsAccessKey": {
          "accessKeyId": "ACCESS_KEY_ID",
          "secretAccessKey": "SECRET_ACCESS_KEY"
        }
    },
    "gcsDataSink": {
        "bucketName": "GCS_BUCKET_NAME"
    }
  }
}

Azure

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "azureBlobStorageDataSource": {
          "privateNetworkService": "SERVICE_SELF_LINK",
          "storageAccount": "AZURE_SOURCE_NAME",
          "container": "AZURE_CONTAINER",
          "azureCredentials": {
              "sasToken": "AZURE_SAS_TOKEN",
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_BUCKET_NAME"
      }
  }
}

Substitua:

• SERVICE_SELF_LINK é o autolink do serviço do Diretório de serviços. Ele usa o formato projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}.

Para mais informações sobre outros campos, consulte a documentação de referência do transferSpec.

Confirmar se o tráfego está usando a interconexão

Use o Cloud Monitoring para verificar o tráfego que passa pela interconexão da AWS ou do Azure.

1. No console do Google Cloud, acesse Conectividade híbrida > Cloud Interconnect.
2. Selecione o anexo da VLAN que se conecta ao ambiente da AWS/Azure.
3. Na página de detalhes da conexão, selecione a guia Monitoramento. Procure métricas que indiquem a transferência de dados. Especificamente:
   • Bytes de entrada:essa métrica mostra os dados da AWS ou do Azure na sua VPC do Google Cloud.
   • Status operacional:verifique se a conexão física e a sessão BGP estão em um estado operacional íntegro.