Fazer upgrade dos feeds de dados do Cloud Storage para o framework de conector v2

Compatível com:

Para melhorar a confiabilidade, a escalonabilidade e a performance dos pipelines de ingestão de dados, estamos atualizando nossos feeds de dados do armazenamento em nuvem para o novo framework de conector v2. Esse novo framework usa o Google Cloud Serviço de transferência do Cloud Storage (STS).

Benefícios do framework de conectores v2

Ao fazer upgrade para o framework de conector v2, você tem acesso a melhorias significativas nos seus feeds de dados, incluindo:

  • Maior eficiência na sondagem: melhoria significativa na eficiência ao sondar fontes como a AWS.
  • Maior confiabilidade e segurança: a validação de credenciais de origem em tempo real garante que você tenha conexões seguras e confiáveis.
  • Suporte expandido para identidade: suporte integrado para identidade federada da AWS.

Cronogramas de migração

Vamos descontinuar o framework de conectores v1 para os seguintes conectores legados: Cloud Storage, Amazon S3, Amazon SQS e Armazenamento de Blobs do Azure.

Confira os principais marcos:

  • 1º de novembro de 2026: fim do suporte. Não haverá mais atualizações para os feeds da v1, e o suporte será oferecido da melhor maneira possível. Recomendamos que você migre e entre em ação para que o Google possa migrar seus feeds antes dessa data e evitar interrupções.
  • 15 de março de 2027: desativação permanente: os conectores legados chegam ao fim da vida útil. Após essa data, todos os feeds de dados que ainda usarem conectores v1 vão parar de funcionar e retornar uma mensagem de erro.

Migração automática e ações necessárias

Para facilitar uma transição tranquila, oferecemos serviços de migração automática para todos os feeds de dados ativos que usam conectores v1 legados.

Dependendo do tipo de origem, siga estas etapas para garantir que a migração automática seja bem-sucedida:

  • Cloud Storage: conceda as permissões específicas à nova conta de serviço, conforme descrito na documentação sobre como conceder acesso à conta de serviço.
  • Amazon S3: se o ambiente usa uma lista de permissões de IP, adicione os intervalos de IP do STS à política de bucket. Siga as etapas para ativar o acesso ao STS para o Amazon S3.
  • Amazon SQS: a migração só é compatível com filas do SQS que contêm mensagens de um único bucket do Amazon S3. Se a fila receber mensagens de vários buckets, crie um feed separado para cada um deles. Verifique se a fila do SQS está configurada corretamente e se as credenciais de acesso da fila do SQS e do bucket do Amazon S3 são idênticas.
  • Microsoft Azure: se você usa firewalls ou redes virtuais, permita os intervalos de IP do STS seguindo as instruções de acesso ao STS do Azure.
  • Feeds com falha: revise seus feeds atuais e corrija aqueles que estão falhando devido a credenciais incorretas para que possam ser migrados com sucesso.

segurança e confiabilidade

O processo de migração automática visa evitar a perda de dados. A migração tem proteções rígidas integradas. É esperado um mínimo de duplicação de dados durante o breve período da janela de migração.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.