Transferência da AWS ou do Azure através de uma rede privada gerida pelo cliente

Uma ligação de rede privada, estabelecida através do Google Cloud Cross-Cloud Interconnect ou do Partner Interconnect, pode oferecer vantagens significativas para a transferência de dados entre a AWS ou o Azure e o Cloud Storage:

• Potencial otimização de custos: alcance potencialmente poupanças nos custos de saída. Isto pode ser benéfico para os clientes com interconexões existentes ou que realizam transferências de dados grandes ou recorrentes, o que gera poupanças substanciais a longo prazo.
• Largura de banda de rede dedicada: a utilização de uma interligação pode oferecer um débito consistente e de alta capacidade, bem como uma latência mais baixa, o que é fundamental para migrações grandes e sensíveis ao tempo, bem como para a sincronização de dados em tempo real.
• Cumpra as necessidades de conformidade: ideal para cargas de trabalho em que os requisitos regulamentares exigem que os dados sejam mantidos fora da Internet pública. Esta funcionalidade ajuda a transferir dados de forma privada através da interligação para alcançar a conformidade, suportar a soberania dos dados e simplificar as auditorias.

Vista geral

Este documento explica os passos para:

• Encomende e configure um Cross-Cloud Interconnect
• Crie um ponto final no S3 ou no Azure
• Configure um balanceador de carga de rede de proxy interno regional com conetividade híbrida
• Registe o seu balanceador de carga no Service Directory
• Crie uma transferência
• Confirme se o tráfego está a usar a interligação

Autorizações necessárias

Precisa de autorizações específicas para preencher cada uma das seguintes secções. Estas autorizações estão listadas na documentação desse conjunto de passos.

Opções de interligação

O Serviço de transferência de armazenamento pode transferir dados da AWS e do Azure através da interligação entre nuvens (CCI) ou da interligação de parceiros.

Os passos abaixo são específicos da CCI, mas também se aplicam quando configura a rede para o Partner Interconnect.

Encomende e configure um Cross-Cloud Interconnect

Um Cross-Cloud Interconnect é uma ligação física dedicada entre o Google Cloud e outros fornecedores de nuvem.

Se já tiver uma ligação CCI, avance para a secção seguinte.

AWS

Siga as instruções para estabelecer ligação aos Amazon Web Services para encomendar e configurar uma nova interligação entre nuvens. Precisa das autorizações corretas para configurar a rede no Google Cloud, bem como na AWS.

Veja um vídeo que aborda os passos para encomendar e configurar um CCI entre a AWS e o Google Cloud.

Azul-celeste

Siga as instruções para estabelecer ligação ao Microsoft Azure para encomendar e configurar uma nova interligação entre nuvens. Precisa das autorizações corretas para configurar a rede no Google Cloud, bem como no Azure.

Veja um vídeo que aborda os passos para encomendar e configurar uma CCI entre o Azure e o Google Cloud.

Se o seu contentor do Cloud Storage for um contentor regional, deve configurar o CCI na mesma região que o seu contentor para reduzir a latência da rede.

Crie um ponto final no S3 ou no Azure

Crie um ponto final na sua conta do S3 ou do Azure.

AWS

Na sua conta do Amazon Web Services, crie um ponto final da VPC que se ligue ao S3.

Siga estas instruções da AWS: aceda a um serviço da AWS através de um ponto final do VPC de interface para criar o ponto final.

Azul-celeste

Configure um ponto final privado na conta de armazenamento no Azure seguindo estes passos.

O serviço de transferência de armazenamento requer o ponto final *.blob.core.microsoft.net. O ponto final *.dfs.core.microsoft.net não é suportado.

Depois de criado, tome nota do endereço IP do ponto final. Tem de especificar o endereço IP quando criar o equilibrador de carga na secção seguinte.

Configure um balanceador de carga de rede de proxy interno regional com conetividade híbrida

No Google Cloud, configure um balanceador de carga de rede de proxy interno regional com conectividade híbrida. Isto fornece um endereço IP interno restrito a clientes em execução na mesma rede da VPC que o equilibrador de carga e que encaminha o tráfego para os pontos finais da VPC do S3 ou os pontos finais privados do Azure Storage que criou na secção anterior.

Deve criar o balanceador de carga no mesmo projeto e rede VPC que a associação de VLAN que interage com o Cloud Interconnect. Embora a interconexão em si possa estar num projeto diferente na mesma organização, a associação tem de estar na mesma VPC e região que o equilibrador de carga.

• Configure um equilibrador de carga de rede de proxy interno regional com conetividade híbrida

Especifique o endereço IP do ponto final da VPC do S3 ou do ponto final privado do Azure Storage quando chegar aos passos etiquetados como Adicione pontos finais ao NEG de conetividade híbrida.

Tome nota do endereço IP e da porta do front-end do NLB, uma vez que tem de os especificar na secção seguinte.

Valide a associação

Antes de continuar, recomendamos que valide se o balanceador de carga consegue estabelecer ligação ao ponto final de armazenamento remoto.

Para isso:

1. Crie uma VM do Compute Engine na mesma rede VPC que o equilibrador de carga.

2. Na VM, use curl para testar a conetividade ao endereço IP e à porta do balanceador de carga:

   curl -v --resolve HOSTNAME:LOAD_BALANCER_IP:PORT https://HOSTNAME
   

   Onde:

   • <var>HOSTNAME</var> é o nome do anfitrião do seu fornecedor de armazenamento de origem.
     • Para o AWS S3, use o ponto final da API S3 para a região do seu contentor, por exemplo, s3.us-west-1.amazonaws.com.
     • Para o Azure Storage, use o ponto final de blobs da sua conta de armazenamento, por exemplo, mystorageaccount.blob.core.windows.net.
   • <var>PORT</var> é a porta que configurou na regra de encaminhamento do balanceador de carga, normalmente 443.
   • <var>LOAD_BALANCER_IP</var> é o endereço IP de frontend do seu equilibrador de carga.

Uma resposta do ponto final remoto, mesmo que seja um erro, indica que a conetividade foi bem-sucedida. Um limite de tempo de ligação indica uma configuração incorreta na configuração de rede que deve resolver antes de continuar.

Registe o NLB no Service Directory

Registe o NLB no Service Directory. O Serviço de transferência de armazenamento usa o Service Directory para resolver a morada do balanceador de carga e estabelecer ligação diretamente a ele.

Siga as instruções para registar um balanceador de carga interno. Use o endereço IP e a porta do balanceador de carga que criou quando especificou a regra de encaminhamento.

Depois de criado, tome nota do link automático do serviço. Usa o formato projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}. Precisa deste valor quando criar a tarefa de transferência.

Crie uma transferência

Conceda as seguintes autorizações ao agente de serviço. Para ver instruções sobre como obter o agente do serviço e conceder autorizações ao agente do serviço, consulte o artigo Autorizações do agente do serviço gerido pela Google.

• Visualizador do Service Directory (roles/servicedirectory.viewer) ao nível do projeto, no projeto que contém os recursos do Service Directory.
• Serviço autorizado do Private Service Connect (roles/servicedirectory.pscAuthorizedService) ao nível do projeto, no projeto que contém a VPC.
• Storage Legacy Bucket Writer (roles/storage.legacyBucketWriter) no contentor de destino.

Nota: se estiver a delegar autorizações de agente do serviço numa conta de serviço gerida pelo utilizador, conceda estas autorizações à conta de serviço gerida pelo utilizador.

Para criar uma tarefa de transferência que use uma interligação entre clouds, tem de usar a API REST do serviço de transferência de armazenamento. Envie um pedido da seguinte forma. Tenha em atenção o campo privateNetworkService, onde vai especificar o selfLink do serviço do diretório de serviços.

AWS

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
        "privateNetworkService": "SERVICE_SELF_LINK",
        "bucketName": "S3_BUCKET_NAME",
        "awsAccessKey": {
          "accessKeyId": "ACCESS_KEY_ID",
          "secretAccessKey": "SECRET_ACCESS_KEY"
        }
    },
    "gcsDataSink": {
        "bucketName": "GCS_BUCKET_NAME"
    }
  }
}

Azul-celeste

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "azureBlobStorageDataSource": {
          "privateNetworkService": "SERVICE_SELF_LINK",
          "storageAccount": "AZURE_SOURCE_NAME",
          "container": "AZURE_CONTAINER",
          "azureCredentials": {
              "sasToken": "AZURE_SAS_TOKEN",
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_BUCKET_NAME"
      }
  }
}

Onde:

• SERVICE_SELF_LINK é o link automático do serviço Service Directory. Usa o formato projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}.

Para ver informações sobre outros campos, consulte a documentação de referência do transferSpec.

Confirme se o tráfego está a usar a interligação

Use o Cloud Monitoring para validar o tráfego que flui através da interconexão da AWS ou do Azure.

1. Na Google Cloud Console, aceda a Conetividade híbrida > Cloud Interconnect.
2. Selecione a associação de VLAN que se liga ao seu ambiente AWS/Azure.
3. Na página de detalhes da associação, selecione o separador Monitorização. Procure métricas que indiquem a transferência de dados. Especificamente:
   • Bytes de entrada: esta métrica mostra os dados provenientes da AWS ou do Azure para a sua VPC do Google Cloud.
   • Estado operacional: certifique-se de que a ligação física e a sessão BGP estão num estado operacional adequado.