Mettre à niveau les flux de données Cloud Storage vers le framework de connecteur v2
Pour améliorer la fiabilité, l'évolutivité et les performances des pipelines d'ingestion de données, nous mettons à niveau nos flux de données Cloud Storage vers le nouveau framework de connecteur v2. Ce nouveau framework utilise Google Cloud le service de transfert de stockage (STS).
Avantages du framework de connecteur v2
La mise à niveau vers le framework de connecteur v2 apporte des améliorations significatives à vos flux de données, y compris les suivantes :
- Efficacité d'interrogation améliorée : efficacité considérablement améliorée lors de l'interrogation à partir de sources telles qu'AWS.
- Fiabilité et sécurité améliorées : la validation des identifiants de source en temps réel vous assure des connexions sécurisées et fiables.
- Prise en charge étendue de l'identité : prise en charge intégrée de l'identité fédérée AWS.
Délais de migration
Nous abandonnons le framework de connecteur v1 pour les connecteurs hérités suivants : Cloud Storage, Amazon S3, Amazon SQS et Azure Blob Storage.
Prenez note des étapes clés suivantes :
- 1er octobre 2026 : fin de la compatibilité : aucune autre mise à jour n'est fournie pour les flux v1, et l'assistance n'est disponible que dans la mesure du possible. Nous vous encourageons vivement à effectuer la migration et à prendre des mesures pour que Google puisse migrer vos flux avant cette date afin d'éviter toute interruption.
- 15 mars 2027 : désactivation permanente : les connecteurs hérités arrivent en fin de vie. Tous les flux de données qui utilisent encore des connecteurs v1 après cette date cesseront de fonctionner et renverront un message d'erreur.
Migration automatique et actions requises
Pour faciliter une transition fluide, nous fournissons des services de migration automatique pour tous les flux de données actifs utilisant des connecteurs v1 hérités.
En fonction de votre type de source, vous devez effectuer les actions suivantes pour vous assurer que la migration automatique réussit :
- Cloud Storage : accordez les autorisations spécifiques à votre nouveau compte de service, comme décrit dans la documentation Accorder l'accès au compte de service.
- Amazon S3 : si votre environnement utilise une liste d'autorisation d'adresses IP, vous devez ajouter les plages d'adresses IP STS à la stratégie de votre bucket. Suivez les étapes pour activer l'accès STS pour Amazon S3.
- Amazon SQS : la migration n'est compatible qu'avec les files d'attente SQS qui contiennent des messages provenant d'un seul bucket Amazon S3. Si votre file d'attente reçoit des messages provenant de plusieurs buckets, créez un flux distinct pour chaque bucket. Vérifiez que votre file d'attente SQS est correctement configurée et que les identifiants d'accès de la file d'attente SQS et du bucket Amazon S3 sont identiques.
- Microsoft Azure : si vous utilisez des pare-feu ou des réseaux virtuels, autorisez les plages d’adresses IP STS en suivant les instructions d’accès STS Azure.
- Flux en échec : examinez vos flux actuels et corrigez ceux qui échouent en raison d'identifiants incorrects afin qu'ils puissent migrer correctement.
Sécurité et fiabilité
Le processus de migration automatique vise à éviter toute perte de données. La migration comporte des garde-fous stricts et intégrés. Une duplication minimale des données est attendue pendant la brève durée de la fenêtre de migration.
Vous avez encore besoin d'aide ? Obtenez des réponses auprès des membres de la communauté et des professionnels Google SecOps.