Cloud-Speicher-Datenfeeds auf das Connector-Framework V2 umstellen

Unterstützt in:

Um die Zuverlässigkeit, Skalierbarkeit und Leistung von Pipelines zur Datenaufnahme zu verbessern, aktualisieren wir unsere Cloud Storage-Datenfeeds auf das neue v2-Connector-Framework. Für dieses neue Framework wird der Google Cloud Storage Transfer Service (STS) verwendet.

Vorteile des Connector-Frameworks v2

Wenn Sie auf das Connector-Framework V2 umstellen, profitieren Sie von erheblichen Verbesserungen für Ihre Datenfeeds, darunter:

  • Höhere Effizienz beim Abrufen von Daten: Die Effizienz beim Abrufen von Daten aus Quellen wie AWS wurde erheblich verbessert.
  • Verbesserte Zuverlässigkeit und Sicherheit: Durch die Validierung von Quellanmeldedaten in Echtzeit werden sichere und zuverlässige Verbindungen gewährleistet.
  • Erweiterte Identitätsunterstützung: Integrierte Unterstützung für die föderierte AWS-Identität.

Migrationszeitpläne

Wir stellen das v1-Connector-Framework für die folgenden Legacy-Connectors ein: Cloud Storage, Amazon S3, Amazon SQS und Azure Blob Storage.

Beachten Sie die folgenden wichtigen Meilensteine:

  • 1. November 2026 – Ende des Supports: Es werden keine weiteren Updates für Feeds der Version 1 bereitgestellt und es ist nur Best-Effort-Support verfügbar. Wir empfehlen Ihnen dringend, Ihre Feeds zu migrieren und Maßnahmen zu ergreifen, damit Google Ihre Feeds vor diesem Datum migrieren kann, um Unterbrechungen zu vermeiden.
  • 15. März 2027 – Dauerhafte Deaktivierung: Legacy-Connectors werden eingestellt. Alle Datenfeeds, für die nach diesem Datum noch V1-Connectors verwendet werden, funktionieren nicht mehr und geben eine Fehlermeldung zurück.

Automatische Migration und erforderliche Aktionen

Um einen nahtlosen Übergang zu ermöglichen, bieten wir automatische Migrationsdienste für alle aktiven Datenfeeds an, die Legacy-V1-Connectors verwenden.

Abhängig vom Quelltyp müssen Sie die folgenden Aktionen ausführen, damit die automatische Migration erfolgreich ist:

  • Cloud Storage: Gewähren Sie Ihrem neuen Dienstkonto die entsprechenden Berechtigungen, wie in der Dokumentation unter Zugriff auf das Dienstkonto gewähren beschrieben.
  • Amazon S3: Wenn in Ihrer Umgebung IP-Allowlisting verwendet wird, müssen Sie die STS-IP-Bereiche Ihrer Bucket-Richtlinie hinzufügen. Folgen Sie der Anleitung, um STS-Zugriff für Amazon S3 zu aktivieren.
  • Amazon SQS: Bei der Migration werden nur SQS-Warteschlangen unterstützt, die Nachrichten aus einem einzelnen Amazon S3-Bucket enthalten. Wenn in Ihrer Warteschlange Nachrichten aus mehreren Buckets eingehen, erstellen Sie für jeden Bucket einen separaten Feed. Prüfen Sie, ob Ihre SQS-Warteschlange richtig konfiguriert ist und ob die Anmeldedaten für die SQS-Warteschlange und den Amazon S3-Bucket identisch sind.
  • Microsoft Azure: Wenn Sie Firewalls oder virtuelle Netzwerke verwenden, müssen Sie die STS-IP-Bereiche zulassen. Folgen Sie dazu der Anleitung für den Azure STS-Zugriff.
  • Fehlgeschlagene Feeds: Überprüfen Sie Ihre aktuellen Feeds und beheben Sie alle, die aufgrund falscher Anmeldedaten nicht migriert werden können.

Sicherheit und Zuverlässigkeit

Der automatische Migrationsprozess soll Datenverluste verhindern. Die Migration bietet strenge, integrierte Sicherheitsfunktionen. Während des kurzen Migrationszeitraums ist mit minimalen Datenduplikaten zu rechnen.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten