O Google usa tecnologia de IA na tradução de conteúdos para seu idioma de preferência. As traduções com IA podem ter erros.

Transferência por uma rede privada gerenciada pelo Google

Ao transferir dados do Amazon S3 para o Cloud Storage, os dados geralmente passam por links de peering da Internet pública, em que a AWS cobra taxas padrão de saída de dados da Internet. O Serviço de transferência do Cloud Storage oferece uma opção de rede particular gerenciada pelo Google para transferências do Amazon S3, permitindo que seus dados fluam por um roteamento particular seguro provisionado automaticamente pelo Google.

Usar uma rede privada gerenciada pelo Google reduz os custos de saída da Internet da AWS e simplifica a segurança da rede, eliminando a necessidade de configurar e manter interconexões físicas gerenciadas pelo cliente.

Principais vantagens

A opção de rede privada gerenciada pelo Google oferece os seguintes benefícios operacionais e financeiros para transferências do Amazon S3:

Reduzir os custos de saída da Internet: a transferência do Amazon S3 pela rede privada gerenciada pelo Google evita as taxas padrão de saída da Internet da AWS. Você não paga taxas de saída da Internet do AWS S3. Em vez disso, paga uma taxa de processamento de dados por GiB previsível ao Google Cloud. Consulte Preços para mais detalhes. As cobranças padrão de solicitações da API da AWS (como operações LIST, GET e HEAD do Amazon S3) ainda se aplicam de acordo com a tabela de preços da AWS.
Elimine a exposição à Internet pública: os dados viajam diretamente por uma conexão de interconexão privada gerenciada pelo Google entre a AWS e o Google Cloud. Como os pacotes nunca passam por tabelas de roteamento da Internet pública, você elimina o risco de interceptação pública e simplifica a conformidade com firewall e confiança zero.
Manutenção de infraestrutura zero: ao contrário de uma rede privada gerenciada pelo cliente, não é necessário provisionar, configurar ou pagar taxas recorrentes de porta para interconexões físicas (como Cloud Interconnect ou AWS Direct Connect), gateways de VPN ou roteamento DNS personalizado. O Google gerencia totalmente a pilha de rede privada de ponta a ponta.
Implantação instantânea sem prazo de antecedência: a configuração de circuitos de interconexão dedicados pode levar semanas. Com uma rede particular gerenciada pelo Google, é possível começar a transferir por roteamento privado imediatamente, sem instalar ou gerenciar agentes de transferência.

Considerações sobre largura de banda e performance

Todos os jobs do Serviço de transferência do Cloud Storage em todos os projetos que usam a rede privada gerenciada pelo Google compartilham uma capacidade de rede agrupada comum. Durante os períodos de pico de utilização global, as velocidades de transferência podem sofrer limitação ou aumento da latência.

As cargas de trabalho que consistem principalmente em objetos grandes são mais afetadas pela alta utilização do pool do que as que consistem principalmente em objetos menores. Se a carga de trabalho exigir largura de banda dedicada sem disputa de pool compartilhado, configure uma rede particular gerenciada pelo cliente.

Regiões compatíveis da AWS

A opção de rede privada gerenciada pelo Google está disponível para transferências sem agente das seguintes regiões do Amazon S3:

ap-east-1
ap-northeast-1
ap-northeast-2
ap-northeast-3
ap-south-1
ap-south-2
ap-southeast-1
ca-central-1
ca-west-1
eu-central-1
eu-central-2 eu-north-1
eu-south-1
eu-south-2
eu-west-1
eu-west-2
eu-west-3
us-east-1
us-east-2
us-west-1
us-west-2

Antes de começar

Antes de criar a transferência, configure o IAM e as permissões de origem.

Configurar as permissões de IAM

Siga as instruções em Permissões de transferência sem agente para conceder as permissões necessárias do Google Cloud.

Configurar o acesso ao bucket do S3

Siga as instruções na página Configurar o acesso a uma fonte: Amazon S3 para configurar o acesso aos dados no Amazon S3.

Criar uma transferência de rede particular gerenciada pelo Google

É possível ativar a opção de rede particular gerenciada pelo Google ao criar um job de transferência ou atualizar uma especificação de transferência do Amazon S3 usando o console Google Cloud ou a API REST.

Console

A opção de rede privada gerenciada pelo Google é ativada com uma caixa de seleção na etapa Escolher configurações da criação de um job de transferência.

Para criar um job usando a rede particular gerenciada pelo Google:

Acesse a página Serviço de transferência do Cloud Storage no console Google Cloud .

Acessar o Serviço de transferência do Cloud Storage
Clique em Criar job de transferência. A página Criar um job de transferência é exibida.
Em Tipo de origem, selecione Amazon S3.
Como Tipo de destino, selecione Google Cloud Storage.
Selecione o Modo de programação. As transferências em lote são executadas uma única vez ou de maneira programada. As transferências orientadas por eventos monitoram continuamente a origem e transferem os dados quando eles são adicionados ou modificados.

Para configurar uma transferência orientada por eventos, siga as instruções em Transferências orientadas por eventos.
Clique em Próxima etapa.
No campo Nome do bucket ou da pasta, insira o nome do bucket de origem.

O nome do bucket é o nome exibido no AWS Management Console.
Selecione o método de autenticação da Amazon Web Services (AWS). Consulte Configurar o acesso a uma fonte: Amazon S3 para mais detalhes.
- Recurso secreto: selecione essa opção para usar uma credencial da Amazon salva no Secret Manager. Selecione um secret na lista ou insira um manualmente no formato projects/PROJECT_NUMBER/secrets/SECRET_NAME.
- Chave de acesso: insira sua chave de acesso no campo ID da chave de acesso e o secret associado a ela no campo Chave de acesso secreta.
- Papel do IAM da AWS para federação de identidade: insira seu ARN no campo ARN do papel do IAM da AWS com a seguinte sintaxe:
  - Regiões padrão da AWS:
```
arn:aws:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
```
  - Regiões da AWS GovCloud:
```
arn:aws-us-gov:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
```
  Substitua:
  - AWS_ACCOUNT: o ID da conta da AWS sem hifens.
  - AWS_ROLE_NAME: o nome do papel da AWS. Se sua organização usa caminhos para organizar papéis, inclua o caminho com o nome do papel. Por exemplo, developers/transfer_user.
  Para mais informações sobre ARNs, consulte ARNs do IAM.
Se for uma transferência orientada por eventos, insira o ARN da fila do Amazon SQS, que tem o seguinte formato:
- Regiões padrão da AWS:
```
arn:aws:sqs:us-east-1:1234567890:event-queue
```
- Regiões da AWS GovCloud:
```
arn:aws-us-gov:sqs:us-gov-east-1:1234567890:event-queue
```
Se quiser, filtre os objetos por prefixo, data da última modificação ou classe de armazenamento. Se você especificou uma pasta como local de origem, os filtros de prefixo são relativos a ela. Por exemplo, se a origem for my-test-bucket/path/, um filtro de inclusão de file vai incluir todos os arquivos que começam com my-test-bucket/path/file.
Clique em Próxima etapa.
No campo Bucket ou pasta, insira o bucket de destino e, opcionalmente, o nome da pasta ou clique em Procurar para selecionar um bucket de uma lista de buckets no seu projeto atual. Para criar um novo intervalo, clique em Criar novo intervalo.
Clique em Próxima etapa.
Escolha as opções de programação:

Observação: o Serviço de transferência do Cloud Storage mostra as programações dos jobs de transferência no horário local, mas armazena esses horários no Tempo Universal Coordenado (UTC, na sigla em inglês). Se você estiver em um local com horário de verão, poderá ocorrer uma alteração na programação do job de transferência quando o horário de verão for iniciado ou encerrado.
1. Na lista suspensa Executar uma vez, selecione uma das seguintes opções:
  - Executar uma vez: executa uma única transferência, começando em um horário selecionado por você.
  - Executar todos os dias: executa uma transferência diária, a partir do horário selecionado.
    
    É possível inserir uma Data de término opcional ou deixar a Data de término em branco para executar a transferência continuamente.
  - Executar toda semana: executa uma transferência semanal, a partir de um horário selecionado.
  - Executar com frequência personalizada: executa uma transferência na frequência selecionada. É possível repetir a transferência em um intervalo regular de Horas, Dias ou Semanas.
    
    É possível inserir uma Data de término opcional ou deixar a Data de término em branco para executar a transferência continuamente.
  - Executar sob demanda: não vai acionar uma execução quando este job de transferência for criado. Você precisa iniciar o job manualmente.
2. Na lista suspensa Iniciando agora, selecione uma das seguintes opções:
  - Iniciando agora: inicia a transferência depois que você clica em Criar.
  - A partir de: inicia a transferência na data e hora selecionadas. Clique em Agenda para exibir um calendário e selecionar a data de início.
Clique em Próxima etapa.
Escolha as configurações do job de transferência.
1. No campo Descrição, insira uma descrição da transferência. Como prática recomendada, insira uma descrição significativa e exclusiva para que você possa distinguir os jobs.
2. Se quiser, forneça um manifesto para especificar os objetos exatos a serem transferidos.
3. Em Opções de metadados, selecione a classe de armazenamento e o comportamento de tempo de criação desejados. Consulte Preservação de metadados para mais detalhes.
4. Em Quando substituir, selecione uma das seguintes opções:
  - Nunca: não substitui um arquivo de destino se o arquivo de origem tiver o mesmo nome. O arquivo de origem é ignorado.
  - Se diferente: substitui os arquivos de destino se o arquivo de origem com o mesmo nome tiver valores de ETags ou de soma de verificação diferentes.
  - Sempre: sempre substitui os arquivos de destino quando o arquivo de origem tem o mesmo nome, mesmo que sejam idênticos.
5. Em Quando excluir, selecione uma das seguintes opções:
  - Nunca: nunca exclua arquivos da origem ou do destino.
  - Excluir arquivos da origem após a transferência: exclua os arquivos da origem após a transferência para o destino. Se um arquivo de origem não for transferido, por exemplo, porque já existe no destino, ele não será excluído.
    
    Importante: se você não tiver backup local, essa opção será uma ação não reversível.
  - Excluir arquivos do destino se eles não estiverem na origem: se os arquivos no bucket do Cloud Storage de destino também não estiverem na origem, exclua os arquivos do bucket do Cloud Storage.
    
    Essa opção garante que o bucket de destino do Cloud Storage corresponda exatamente à sua origem.
6. Escolha opções de roteamento de rede:
  - Selecione Usar rede privada gerenciada.
7. Em Opções de geração de registros, selecione Ativar a geração de registros no Cloud Logging se quiser gerar um registro granular das ações realizadas em cada arquivo transferido. Os custos do Cloud Logging se aplicam. Consulte Ações de transferência de registros para mais detalhes.
8. Se quiser, selecione Receber notificações do Cloud Pub/Sub sobre atualizações do status de funcionamento de transferências, escolha seu tópico do Pub/Sub e selecione quais eventos vão acionar as notificações. Consulte Notificações do Pub/Sub para mais detalhes.
9. Em Escolher o tipo de conta de serviço, selecione a identidade a ser usada:
  - Agente de serviço do Serviço de transferência do Cloud Storage: o agente de serviço padrão gerenciado pelo Google recebe acesso automático aos buckets de origem e de destino.
  - Agente de serviço gerenciado pelo usuário: use uma conta de serviço personalizada criada por você. Antes de selecionar essa opção, verifique se a sua conta de serviço tem acesso ao bucket de origem, ao bucket de destino e ao Pub/Sub. Consulte Usar um agente de serviço gerenciado pelo usuário.
Clique em Criar para criar o job de transferência.

CLI da gcloud

A CLI gcloud não é compatível com a configuração de transferências em uma rede particular gerenciada pelo Google. Use o console do Google Cloud ou a API REST para ativar essa opção.

Bibliotecas de cliente

As bibliotecas de cliente do Serviço de transferência do Cloud Storage não oferecem suporte à configuração de transferências por uma rede particular gerenciada pelo Google. Use o console do Google Cloud ou a API REST para ativar essa opção.

API REST

Para configurar uma transferência usando a API REST, defina o campo booleano transferSpec.awsS3DataSource.managedPrivateNetwork como true no payload da solicitação JSON ao chamar transferJobs.create ou transferJobs.patch.

Solicitação HTTP

POST https://storagetransfer.googleapis.com/v1/transferJobs

Corpo da solicitação

{
  "description": "S3 to Cloud Storage over Google-managed private network",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
      "bucketName": "AWS_SOURCE_NAME",
      "managedPrivateNetwork": true,
      "awsAccessKey": {
        "accessKeyId": "AWS_ACCESS_KEY_ID",
        "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
      }
    },
    "gcsDataSink": {
      "bucketName": "GCS_SINK_NAME"
    },
    "transferOptions": {
      "overwriteWhen": "DIFFERENT",
      "deleteObjectsFromSourceAfterTransfer": false
    }
  }
}

Este exemplo usa credenciais de acesso da AWS para autenticação. Consulte Configurar o acesso ao Amazon S3 para detalhes sobre o uso de identidade federada ou credenciais no Secret Manager.

Monitorar e verificar o roteamento de rede privada

Depois de iniciar o job de transferência, verifique se os dados estão saindo pela rede particular gerenciada pelo Google:

Cloud Logging: quando os transfer-logs estão ativados (--log-actions=COPY,DELETE,FAILED), inspecione os registros estruturados da sua operação de transferência. Os metadados de conexão no registro de ações COPY confirmam a replicação bem-sucedida no caminho da rede particular.
Verificação de faturamento: confira os painéis de faturamento da AWS e do Google Cloud. Na sua fatura da AWS, você não vai encontrar cobranças de transferência de dados da Internet pública (DataTransfer-Out-Bytes) para os objetos transferidos. Em vez disso, a taxa de processamento de dados por GiB aparece na sua fatura do Google Cloud em "Serviço de transferência do Cloud Storage".

Opções alternativas de roteamento de rede

Se a rede particular gerenciada pelo Google não atender aos requisitos da sua carga de trabalho, o Serviço de transferência do Cloud Storage vai oferecer suporte a várias outras opções de roteamento de rede para o Amazon S3:

Roteamento da Internet pública: transferências de dados em links de peering padrão da Internet pública entre o Amazon S3 e o Google Cloud. Todos os comandos de API, cabeçalhos de autenticação e fluxos de dados de objetos são criptografados de ponta a ponta em trânsito usando HTTPS com Transport Layer Security (TLS 1.3). As taxas padrão de saída de dados da Internet da AWS se aplicam. Para mais detalhes, consulte Transferir do Amazon S3.
Rede privada gerenciada pelo cliente: os dados passam pela sua própria infraestrutura de conectividade híbrida pré-configurada (como Cloud Interconnect, Cloud VPN ou AWS Direct Connect) usando endereços IP particulares. Essa opção oferece controle arquitetônico total e largura de banda de rede dedicada e previsível. Para mais detalhes, consulte Transferências por uma rede particular gerenciada pelo cliente.
Roteamento de CDN do Amazon CloudFront: os dados são recuperados por uma distribuição do Amazon CloudFront na frente do seu bucket do S3. Dependendo do nível de preços e do volume de dados do AWS CloudFront, isso pode reduzir as cobranças de saída da Internet em comparação com downloads públicos diretos do S3. Para mais detalhes, consulte Transferir do S3 pelo CloudFront.