Cloud-Speicher-Datenfeeds auf das Connector-Framework V2 umstellen

Unterstützt in:

Um die Zuverlässigkeit, Skalierbarkeit und Leistung von Pipelines zur Datenaufnahme zu verbessern, aktualisieren wir unsere Cloud Storage-Datenfeeds auf das neue v2-Connector-Framework. Für dieses neue Framework wird der Google Cloud Storage Transfer Service (STS) verwendet.

Vorteile des Connector-Frameworks V2

Das Upgrade auf das v2-Connector-Framework bietet erhebliche Verbesserungen für Ihre Datenfeeds, darunter:

  • Höhere Effizienz beim Abrufen von Daten: Die Effizienz beim Abrufen von Daten aus Quellen wie AWS wurde erheblich verbessert.
  • Verbesserte Zuverlässigkeit und Sicherheit: Die Echtzeitvalidierung von Quellanmeldedaten sorgt für sichere und zuverlässige Verbindungen.
  • Erweiterte Identitätsunterstützung: Integrierte Unterstützung für die föderierte AWS-Identität.

Migrationstermine

Wir stellen das v1-Connector-Framework für die folgenden Legacy-Connectors ein: Cloud Storage, Amazon S3, Amazon SQS und Azure Blob Storage.

Beachten Sie die folgenden wichtigen Meilensteine:

  • 1. November 2026 – Ende des Supports: Es werden keine weiteren Updates für Feeds der Version 1 bereitgestellt und es ist nur Best-Effort-Support verfügbar. Wir empfehlen Ihnen dringend, die Migration durchzuführen und entsprechende Maßnahmen zu ergreifen, damit Google Ihre Feeds vor diesem Datum migrieren kann, um Unterbrechungen zu vermeiden.
  • 15. März 2027 – Dauerhafte Deaktivierung: Legacy-Connectors erreichen das Ende ihres Lebenszyklus. Alle Datenfeeds, für die nach diesem Datum noch V1-Connectors verwendet werden, funktionieren nicht mehr und geben eine Fehlermeldung zurück.

Automatische Migration und erforderliche Aktionen

Um einen reibungslosen Übergang zu ermöglichen, bieten wir automatische Migrationsdienste für alle aktiven Datenfeeds mit Legacy-V1-Connectors an.

Abhängig vom Quelltyp müssen Sie die folgenden Aktionen ausführen, damit die automatische Migration erfolgreich ist:

  • Cloud Storage: Gewähren Sie Ihrem neuen Dienstkonto die entsprechenden Berechtigungen, wie in der Dokumentation unter Zugriff auf das Dienstkonto gewähren beschrieben.
  • Amazon S3: Wenn in Ihrer Umgebung IP-Allowlisting verwendet wird, müssen Sie die STS-IP-Bereiche Ihrer Bucket-Richtlinie hinzufügen. Folgen Sie der Anleitung, um STS-Zugriff für Amazon S3 zu aktivieren.
  • Amazon SQS: Bei der Migration werden nur SQS-Warteschlangen unterstützt, die Nachrichten aus einem einzelnen Amazon S3-Bucket enthalten. Wenn Ihre Warteschlange Nachrichten aus mehreren Buckets empfängt, erstellen Sie für jeden Bucket einen separaten Feed. Prüfen Sie, ob Ihre SQS-Warteschlange richtig konfiguriert ist und ob die Zugriffsdaten für die SQS-Warteschlange und den Amazon S3-Bucket identisch sind.
  • Microsoft Azure: Wenn Sie Firewalls oder virtuelle Netzwerke verwenden, müssen Sie die STS-IP-Bereiche zulassen. Folgen Sie dazu der Anleitung für den Azure STS-Zugriff.
  • Fehlgeschlagene Feeds: Prüfen Sie Ihre aktuellen Feeds und beheben Sie alle Fehler, die aufgrund falscher Anmeldedaten auftreten, damit sie erfolgreich migriert werden können.

Sicherheit und Zuverlässigkeit

Der automatische Migrationsprozess soll Datenverluste verhindern. Die Migration umfasst strenge, integrierte Schutzmaßnahmen. Während des kurzen Migrationsfensters ist mit einer minimalen Datenduplizierung zu rechnen.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten