Mettre à niveau les flux de données de stockage cloud vers le framework de connecteur v2
Pour améliorer la fiabilité, l'évolutivité et les performances des pipelines d'ingestion de données, nous mettons à niveau nos flux de données Cloud Storage vers le nouveau framework de connecteur v2. Ce nouveau framework utilise le Google Cloud service de transfert de stockage (STS).
Avantages du framework de connecteurs V2
La mise à niveau vers le framework de connecteurs v2 apporte des améliorations importantes à vos flux de données, y compris les suivantes :
- Efficacité d'interrogation améliorée : l'efficacité de l'interrogation à partir de sources telles qu'AWS a été considérablement améliorée.
- Fiabilité et sécurité améliorées : la validation des identifiants sources en temps réel vous garantit des connexions sécurisées et fiables.
- Prise en charge étendue des identités : prise en charge intégrée de l'identité fédérée AWS.
Calendrier de la migration
Nous abandonnons le framework de connecteurs v1 pour les anciens connecteurs suivants : Cloud Storage, Amazon S3, Amazon SQS et Azure Blob Storage.
Voici les principales étapes à retenir :
- 1er novembre 2026 : fin de la prise en charge : aucune autre mise à jour ne sera fournie pour les flux de la version 1, et seule une assistance dans la mesure du possible sera disponible. Nous vous recommandons vivement de migrer vos flux et de prendre les mesures nécessaires pour que Google puisse les migrer avant cette date et éviter toute interruption.
- 15 mars 2027 : désactivation définitive : les anciens connecteurs arrivent en fin de vie. Les flux de données qui utilisent encore des connecteurs v1 après cette date cesseront de fonctionner et renverront un message d'erreur.
Migration automatique et actions requises
Pour faciliter une transition fluide, nous proposons des services de migration automatique pour tous les flux de données actifs utilisant des connecteurs v1 obsolètes.
Selon votre type de source, vous devez effectuer les actions suivantes pour vous assurer que la migration automatique réussit :
- Cloud Storage : accordez les autorisations spécifiques à votre nouveau compte de service, comme décrit dans la documentation Accorder l'accès au compte de service.
- Amazon S3 : si votre environnement utilise une liste d'adresses IP autorisées, vous devez ajouter les plages d'adresses IP STS à la stratégie de votre bucket. Suivez la procédure pour activer l'accès STS pour Amazon S3.
- Amazon SQS : la migration n'est compatible qu'avec les files d'attente SQS contenant des messages provenant d'un seul bucket Amazon S3. Si votre file d'attente reçoit des messages provenant de plusieurs buckets, créez un flux distinct pour chacun d'eux. Vérifiez que votre file d'attente SQS est correctement configurée et que les identifiants d'accès à la file d'attente SQS et au bucket Amazon S3 sont identiques.
- Microsoft Azure : si vous utilisez des pare-feu ou des réseaux virtuels, autorisez les plages d'adresses IP STS en suivant les instructions d'accès à Azure STS.
- Flux ayant échoué : examinez vos flux actuels et corrigez ceux qui échouent en raison d'identifiants incorrects afin qu'ils puissent être migrés correctement.
Sécurité et fiabilité
Le processus de migration automatique vise à éviter toute perte de données. La migration comporte des garde-fous stricts et intégrés. Une duplication minimale des données est attendue pendant la brève durée de la fenêtre de migration.
Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.