Transferir da AWS ou do Azure por uma rede privada gerenciada pelo cliente

Uma conexão de rede privada, estabelecida usando o Google Cloud Cross-Cloud Interconnect ou a Interconexão por parceiro, pode oferecer vantagens significativas para a transferência de dados entre a AWS ou o Azure e o Cloud Storage:

  • Possível otimização de custos: economize nos custos de saída. Isso pode ser benéfico para clientes com interconexões atuais ou que realizam transferências de dados grandes ou recorrentes, levando a economias significativas a longo prazo.
  • Largura de banda de rede dedicada: o uso de uma interconexão pode oferecer capacidade de processamento consistente e de alta capacidade, além de menor latência, o que é crucial para migrações grandes e urgentes e sincronização de dados em tempo real.
  • Atender às necessidades de compliance: ideal para cargas de trabalho em que os requisitos regulatórios exigem que os dados sejam mantidos fora da Internet pública. Esse recurso ajuda você a transferir dados de forma particular usando a interconexão para alcançar compliance, oferecer suporte à soberania de dados e simplificar auditorias.

Visão geral

Neste documento, mostramos as etapas para:

  • Solicitar e configurar um Interconexão entre nuvens
  • Criar um endpoint no S3 ou no Azure
  • Configurar um balanceador de carga de rede de proxy interno regional com conectividade híbrida
  • Registrar o balanceador de carga no Diretório de Serviços
  • Criar uma transferência
  • Confirmar se o tráfego está usando a interconexão

Permissões necessárias

Você vai precisar de permissões específicas para concluir cada uma das seções a seguir. Essas permissões estão listadas na documentação desse conjunto de etapas.

Opções de interconexão

O Serviço de transferência do Cloud Storage pode transferir dados da AWS e do Azure pelo Cross-Cloud Interconnect (CCI) ou pela Interconexão por parceiro.

As etapas abaixo são específicas para a CCI, mas também se aplicam à configuração de rede para a Interconexão por parceiro.

Solicitar e configurar um Interconexão entre nuvens

O Interconexão entre nuvens é uma conexão física dedicada entre o Google Cloud e outros provedores de nuvem.

Se você já tiver uma conexão CCI, pule para a próxima seção.

AWS

Siga as instruções para conectar-se ao Amazon Web Services para solicitar e configurar um novo Interconexão entre nuvens. Você precisará das permissões corretas para configurar a rede no Google Cloud e na AWS.

Assista a um vídeo que mostra as etapas para solicitar e configurar uma CCI entre a AWS e o Google Cloud.

Azure

Siga as instruções para conectar-se ao Microsoft Azure para solicitar e configurar um novo Interconexão entre nuvens. Você precisará das permissões corretas para configurar a rede no Google Cloud , assim como no Azure.

Assista a um vídeo que mostra as etapas para solicitar e configurar uma CCI entre o Azure e o Google Cloud.

Se o bucket do Cloud Storage for regional, configure a CCI na mesma região do bucket para reduzir a latência de rede.

Criar um endpoint no S3 ou no Azure

Crie um endpoint na sua conta do S3 ou do Azure.

AWS

Na sua conta do Amazon Web Services, crie um endpoint de VPC que se conecte ao S3.

Siga estas instruções da AWS: Acessar um serviço da AWS usando um endpoint de VPC de interface para criar o endpoint.

Azure

Configure um endpoint particular na conta de armazenamento no Azure seguindo estas etapas.

O Serviço de transferência do Cloud Storage requer o endpoint *.blob.core.windows.net. O endpoint *.dfs.core.windows.net não é compatível.

Após a criação, anote o endereço IP do endpoint. Você precisará especificar o endereço IP ao criar o balanceador de carga na próxima seção.

Configurar um balanceador de carga de rede de proxy interno regional com conectividade híbrida

Em Google Cloud, configure um balanceador de carga de rede de proxy interno regional com conectividade híbrida. Isso fornece um endereço IP interno restrito a clientes em execução na mesma rede VPC que o balanceador de carga e que encaminha o tráfego para os endpoints de VPC do S3 ou os endpoints privados do Armazenamento do Azure que você criou na seção anterior.

Crie o balanceador de carga no mesmo projeto e na mesma rede VPC que o anexo da VLAN que faz interface com o Cloud Interconnect. Embora a interconexão possa estar em um projeto diferente na mesma organização, o anexo precisa estar na mesma VPC e região que o balanceador de carga.

Especifique o endpoint da VPC do S3 ou o endereço IP do endpoint particular do Armazenamento do Azure quando chegar às etapas rotuladas como Adicionar endpoints ao NEG de conectividade híbrida.

Anote o endereço IP e a porta de front-end do NLB, porque você vai precisar especificá-los na próxima seção.

Validar a conexão

Antes de continuar, recomendamos que você valide se o balanceador de carga pode se conectar ao endpoint de armazenamento remoto.

Para fazer isso, siga estas etapas:

  1. Crie uma VM do Compute Engine na mesma rede VPC do balanceador de carga.
  2. Na VM, use curl para testar a conectividade com o endereço IP e a porta do balanceador de carga:

    curl -v --resolve HOSTNAME:PORT:LOAD_BALANCER_IP https://HOSTNAME
    

    Substitua:

    • HOSTNAME é o nome do host do provedor de armazenamento de origem.
      • Para o AWS S3, use o endpoint de API S3 para a região do bucket, por exemplo, s3.us-west-1.amazonaws.com.
      • Para o Armazenamento do Azure, use o endpoint de blob da sua conta de armazenamento, por exemplo, mystorageaccount.blob.core.windows.net.
    • PORT é a porta que você configurou na regra de encaminhamento do balanceador de carga, normalmente 443.
    • LOAD_BALANCER_IP é o endereço IP de front-end do balanceador de carga.

Uma resposta do endpoint remoto, mesmo um erro, indica que a conectividade foi bem-sucedida. Um tempo limite de conexão indica uma configuração incorreta na sua rede que precisa ser resolvida antes de continuar.

Registrar o NLB no Diretório de Serviços

Registre o NLB no Diretório de Serviços. O Serviço de transferência do Cloud Storage usa o Diretório de Serviços para resolver o endereço do balanceador de carga e se conectar diretamente a ele.

Siga as instruções para registrar um balanceador de carga interno. Use o endereço IP e a porta do balanceador de carga que você criou ao especificar a regra de encaminhamento.

Depois de criar, anote o link automático do serviço. Ele usa o formato projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}. Você vai precisar desse valor ao criar o job de transferência.

Criar uma transferência

Conceda as seguintes permissões ao agente de serviço. Para instruções sobre como recuperar o agente de serviço e conceder permissões a ele, consulte Configurar o acesso a um coletor: Cloud Storage.

Para criar um job de transferência que use o Interconexão entre nuvens, use a API REST do Serviço de transferência do Cloud Storage. Envie uma solicitação como esta. Observe o campo privateNetworkService, que é onde você especificará o selfLink do serviço do Diretório de Serviços.

AWS

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
        "privateNetworkService": "SERVICE_SELF_LINK",
        "bucketName": "S3_BUCKET_NAME",
        "awsAccessKey": {
          "accessKeyId": "ACCESS_KEY_ID",
          "secretAccessKey": "SECRET_ACCESS_KEY"
        }
    },
    "gcsDataSink": {
        "bucketName": "GCS_BUCKET_NAME"
    }
  }
}

Azure

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "azureBlobStorageDataSource": {
          "privateNetworkService": "SERVICE_SELF_LINK",
          "storageAccount": "AZURE_SOURCE_NAME",
          "container": "AZURE_CONTAINER",
          "azureCredentials": {
              "sasToken": "AZURE_SAS_TOKEN",
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_BUCKET_NAME"
      }
  }
}

Substitua:

  • SERVICE_SELF_LINK é o link automático do serviço do Diretório de serviços. Ele usa o formato projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}.

Para informações sobre outros campos, consulte a documentação de referência de transferSpec.

Confirmar se o tráfego está usando a interconexão

Use o Cloud Monitoring para verificar o tráfego que passa pela interconexão da AWS ou do Azure.

  1. No console do Google Cloud , acesse Conectividade híbrida > Cloud Interconnect.
  2. Selecione o anexo da VLAN que se conecta ao seu ambiente da AWS/Azure.
  3. Na página de detalhes da conexão, selecione a guia Monitoramento. Procure métricas que indiquem transferência de dados. Especificamente:
    • Bytes de entrada: essa métrica mostra os dados provenientes da AWS ou do Azure para sua VPC do Google Cloud .
    • Status operacional: verifique se a conexão física e a sessão do BGP estão em um estado operacional íntegro.