Fazer upgrade dos feeds de dados do armazenamento em nuvem para o framework de conector v2
Para melhorar a confiabilidade, a escalonabilidade e a performance dos pipelines de ingestão de dados, estamos fazendo upgrade dos nossos feeds de dados do armazenamento em nuvem para o novo framework de conector v2. Esse novo framework usa Google Cloud o Serviço de transferência do Cloud Storage (STS, na sigla em inglês).
Benefícios do framework de conector v2
O upgrade para o framework de conector v2 oferece melhorias significativas para seus feeds de dados, incluindo o seguinte:
- Maior eficiência de pesquisa: eficiência muito melhorada ao pesquisar em fontes como a AWS.
- Maior confiabilidade e segurança: a validação de credenciais de origem em tempo real garante conexões seguras e confiáveis.
- Suporte de identidade expandido: suporte integrado para a identidade federada da AWS.
Cronogramas de migração
Vamos descontinuar o framework de conector v1 para os seguintes conectores legados: Cloud Storage, Amazon S3, Amazon SQS e Azure Blob Storage.
Confira os principais marcos:
- 1º de outubro de 2026: fim do suporte: não haverá mais atualizações para feeds v1, e apenas o suporte da melhor maneira possível estará disponível. Recomendamos fazer a migração e tomar medidas para que o Google possa migrar seus feeds antes dessa data e evitar interrupções.
- 15 de março de 2027: desativação permanente: os conectores legados vão chegar ao fim da vida útil. Os feeds de dados que ainda usam conectores v1 após essa data vão parar de funcionar e retornar uma mensagem de erro.
Migração automática e ações necessárias
Para facilitar uma transição tranquila, oferecemos serviços de migração automática para todos os feeds de dados ativos que usam conectores legados v1.
Dependendo do tipo de origem, você precisa realizar as seguintes ações para garantir que a migração automática seja bem-sucedida:
- Cloud Storage: conceda as permissões específicas à sua nova conta de serviço, conforme descrito na documentação Conceder acesso à conta de serviço.
- Amazon S3: se o ambiente usa a lista de permissões de IP, adicione os intervalos de IP do STS à política de buckets. Siga as etapas para ativar o acesso do STS ao Amazon S3.
- Amazon SQS: a migração só oferece suporte a filas do SQS que contêm mensagens de um único bucket do Amazon S3. Se a fila receber mensagens de vários buckets, crie um feed separado para cada um deles. Verifique se a fila do SQS está configurada corretamente e se as credenciais de acesso para a fila do SQS e o bucket do Amazon S3 são idênticas.
- Microsoft Azure: se você usa firewalls ou redes virtuais, permita os intervalos de IP do STS seguindo as instruções de acesso do STS do Azure.
- Feeds com falha: revise seus feeds atuais e corrija aqueles que estão falhando devido a credenciais incorretas para que possam ser migrados com sucesso.
segurança e confiabilidade
O processo de migração automática tem como objetivo evitar a perda de dados. A migração apresenta proteções rigorosas e integradas. É esperado um mínimo de duplicação de dados durante o breve período da janela de migração.
Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.