Cloud Storage-Datenfeeds auf das V2-Connector-Framework umstellen

Unterstützt in:

Zur Verbesserung der Zuverlässigkeit, Skalierbarkeit und Leistung von Datenaufnahmepipelines stellen wir unsere Cloud Storage-Datenfeeds auf das neue V2-Connector-Framework um. Dieses neue Framework verwendet Google Cloud den Storage Transfer Service (STS).

Vorteile des V2-Connector-Frameworks

Durch die Umstellung auf das V2-Connector-Framework werden Ihre Datenfeeds erheblich verbessert. Dazu gehören:

  • Verbesserte Abfrageeffizienz: Die Effizienz bei der Abfrage von Quellen wie AWS wurde erheblich verbessert.
  • Verbesserte Zuverlässigkeit und Sicherheit: Durch die Echtzeitprüfung der Anmeldedaten der Quelle wird sichergestellt, dass Sie sichere und zuverlässige Verbindungen haben.
  • Erweiterte Identitätsunterstützung: Integrierte Unterstützung für die föderierte AWS-Identität.

Migrationstermine

Wir stellen das V1-Connector-Framework für die folgenden Legacy-Connectors ein: Cloud Storage, Amazon S3, Amazon SQS und Azure Blob Storage.

Beachten Sie die folgenden wichtigen Meilensteine:

  • 1. Oktober 2026 – Ende des Supports: Für V1-Feeds werden keine weiteren Updates bereitgestellt und es ist nur Best-Effort-Support verfügbar. Wir empfehlen dringend, die Migration durchzuführen und Maßnahmen zu ergreifen, damit Google Ihre Feeds vor diesem Datum migrieren kann, um Unterbrechungen zu vermeiden.
  • 15. März 2027 – endgültige Deaktivierung: Die Legacy-Connectors werden eingestellt. Alle Datenfeeds, die nach diesem Datum noch V1-Connectors verwenden, funktionieren nicht mehr und geben eine Fehlermeldung zurück.

Automatische Migration und erforderliche Maßnahmen

Um einen nahtlosen Übergang zu ermöglichen, bieten wir automatische Migrationsdienste für alle aktiven Datenfeeds an, die Legacy-V1-Connectors verwenden.

Je nach Quelltyp müssen Sie die folgenden Maßnahmen ergreifen, damit die automatische Migration erfolgreich ist:

  • Cloud Storage: Gewähren Sie Ihrem neuen Dienstkonto die spezifischen Berechtigungen, wie in der Dokumentation Zugriff auf das Dienstkonto gewähren beschrieben.
  • Amazon S3: Wenn in Ihrer Umgebung eine Zulassungsliste für IP-Adressen verwendet wird, müssen Sie die STS-IP-Bereiche Ihrer Bucket-Richtlinie hinzufügen. Folgen Sie der Anleitung, um den STS-Zugriff für Amazon S3 zu aktivieren.
  • Amazon SQS: Die Migration unterstützt nur SQS-Warteschlangen, die Nachrichten aus einem einzelnen Amazon S3-Bucket enthalten. Wenn Ihre Warteschlange Nachrichten aus mehreren Buckets empfängt, erstellen Sie für jeden Bucket einen separaten Feed. Prüfen Sie, ob Ihre SQS-Warteschlange richtig konfiguriert ist und ob die Zugangsdaten für die SQS-Warteschlange und den Amazon S3-Bucket identisch sind.
  • Microsoft Azure: Wenn Sie Firewalls oder virtuelle Netzwerke verwenden, lassen Sie die STS-IP-Bereiche zu. Folgen Sie dazu der Anleitung für den Azure STS-Zugriff.
  • Fehlgeschlagene Feeds: Überprüfen Sie Ihre aktuellen Feeds und beheben Sie alle Fehler, die auf falsche Anmeldedaten zurückzuführen sind, damit sie erfolgreich migriert werden können.

Sicherheit und Zuverlässigkeit

Der automatische Migrationsprozess soll Datenverluste verhindern. Die Migration umfasst strenge, integrierte Schutzmaßnahmen. Während der kurzen Dauer des Migrationszeitraums ist mit minimalen Datenverdopplungen zu rechnen.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten