Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

Übertragung über ein von Google verwaltetes privates Netzwerk

Beim Übertragen von Daten von Amazon S3 zu Cloud Storage werden Daten in der Regel über öffentliche Internet-Peering-Links übertragen, wobei AWS die Standardgebühren für ausgehenden Internet-Traffic berechnet. Der Storage Transfer Service bietet eine Option für von Google verwaltete private Netzwerke für Übertragungen von Amazon S3. So können Ihre Daten über sicheres privates Routing übertragen werden, das automatisch von Google bereitgestellt wird.

Durch die Verwendung eines von Google verwalteten privaten Netzwerks werden die Kosten für ausgehenden Internet-Traffic von AWS gesenkt und die Netzwerksicherheit vereinfacht, da keine vom Kunden verwalteten physischen Interconnects konfiguriert und gewartet werden müssen.

Hauptvorteile

Die Option für von Google verwaltete private Netzwerke bietet die folgenden betrieblichen und finanziellen Vorteile für Amazon S3-Übertragungen:

Kosten für ausgehenden Internet-Traffic senken: Bei der Übertragung von Amazon S3 über das von Google verwaltete private Netzwerk werden die Standardgebühren für ausgehenden Internet-Traffic von AWS umgangen. Sie zahlen keine Gebühren für ausgehenden Internet-Traffic von AWS S3, sondern einen vorhersehbaren Preis pro GiB für die Datenverarbeitung an Google Cloud. Weitere Informationen finden Sie unter Preise. Die Standardgebühren für AWS API-Anfragen (z. B. Amazon S3-Vorgänge LIST, GET und HEAD) gelten weiterhin gemäß der AWS-Preisliste.
Keine Verbindung zum öffentlichen Internet: Daten werden direkt über eine von Google verwaltete private Interconnect-Verbindung zwischen AWS und Google Cloud übertragen. Da Pakete niemals öffentliche Internet-Routingtabellen durchlaufen, vermeiden Sie das Risiko des Abfangens durch Dritte und vereinfachen gleichzeitig die Firewall- und Zero-Trust-Compliance.
Keine Infrastrukturwartung: Im Gegensatz zu einem vom Kunden verwalteten privaten Netzwerk müssen Sie keine wiederkehrenden Portgebühren für physische Interconnects (z. B. Cloud Interconnect oder AWS Direct Connect), VPN-Gateways oder benutzerdefiniertes DNS-Routing bereitstellen, konfigurieren oder bezahlen. Google verwaltet den privaten Netzwerkstack vollständig.
Sofortige Bereitstellung ohne Vorlaufzeit: Die Einrichtung dedizierter Interconnect-Verbindungen kann Wochen dauern. Mit einem von Google verwalteten privaten Netzwerk können Sie sofort mit der Übertragung über privates Routing beginnen, ohne Übertragungsagenten installieren oder verwalten zu müssen.

Überlegungen zu Bandbreite und Leistung

Alle Storage Transfer Service-Jobs in allen Projekten, die das von Google verwaltete private Netzwerk verwenden, teilen sich eine gemeinsame gepoolte Netzwerkkapazität. In Zeiten mit hoher globaler Auslastung kann es zu einer Drosselung der Übertragungsgeschwindigkeit oder einer erhöhten Latenz kommen.

Arbeitslasten, die hauptsächlich aus großen Objekten bestehen, sind stärker von einer hohen Poolauslastung betroffen als Arbeitslasten, die hauptsächlich aus kleineren Objekten bestehen. Wenn Ihre Arbeitslast eine dedizierte Bandbreite ohne gemeinsame Pool konkurrenz erfordert, sollten Sie ein vom Kunden verwaltetes privates Netzwerkkonfigurieren.

Unterstützte AWS-Regionen

Die Option für von Google verwaltete private Netzwerke ist für agentenlose Übertragungen aus den folgenden Amazon S3-Regionen verfügbar:

ap-east-1
ap-northeast-1
ap-northeast-2
ap-northeast-3
ap-south-1
ap-south-2
ap-southeast-1
ca-central-1
ca-west-1
eu-central-1
eu-central-2 eu-north-1
eu-south-1
eu-south-2
eu-west-1
eu-west-2
eu-west-3
us-east-1
us-east-2
us-west-1
us-west-2

Hinweis

Bevor Sie die Übertragung erstellen, müssen Sie IAM- und Quellberechtigungen konfigurieren.

IAM-Berechtigungen konfigurieren

Folgen Sie der Anleitung unter Berechtigungen für agentenlose Übertragungen, um die erforderlichen Google Cloud-Berechtigungen zu erteilen.

Zugriff auf Ihren S3-Bucket konfigurieren

Folgen Sie der Anleitung unter Zugriff auf eine Quelle konfigurieren: Amazon S3 um den Zugriff auf Ihre Daten in Amazon S3 zu konfigurieren.

Übertragung über ein von Google verwaltetes privates Netzwerk erstellen

Sie können die Option für von Google verwaltete private Netzwerke aktivieren, wenn Sie einen neuen Übertragungsjob erstellen oder eine vorhandene Amazon S3-Übertragungsspezifikation mit der Google Cloud console oder der REST API aktualisieren.

Console

Die Option für von Google verwaltete private Netzwerke wird mit einem Kästchen im Schritt Einstellungen auswählen beim Erstellen eines Übertragungsjobs aktiviert.

So erstellen Sie einen neuen Job mit dem von Google verwalteten privaten Netzwerk:

Rufen Sie in der Google Cloud Console die Storage Transfer Service-Seite auf.

Storage Transfer Service aufrufen
Klicken Sie auf Übertragung erstellen. Die Seite Übertragung erstellen wird angezeigt.
Wählen Sie unter Quelltyp die Option Amazon S3 aus.
Wählen Sie als Zieltyp die Option Google Cloud Storage aus.
Wählen Sie den gewünschten Zeitplanmodus aus. Batchübertragungen werden einmalig oder nach Zeitplan ausgeführt. Bei ereignisgesteuerten Übertragungen wird die Quelle kontinuierlich überwacht und Daten werden übertragen, wenn sie hinzugefügt oder geändert werden.

Informationen zum Konfigurieren einer ereignisgesteuerten Übertragung finden Sie unter Ereignisgesteuerte Übertragungen.
Klicken Sie auf Nächster Schritt.
Geben Sie im Feld Bucket- oder Ordnername den Namen des Quell- Buckets ein.

Der Bucket-Name ist der Name, der in der AWS Management Console angezeigt wird.
Wählen Sie Ihre AWS-Authentifizierungsmethode (Amazon Web Services) aus. Weitere Informationen finden Sie unter Zugriff auf eine Quelle konfigurieren: Amazon S3.
- Geheime Ressource: Wählen Sie diese Option aus, um eine in Secret Manager gespeicherte Amazon Anmeldedaten zu verwenden. Wählen Sie ein Secret aus der Liste aus oder geben Sie es manuell im Format projects/PROJECT_NUMBER/secrets/SECRET_NAME ein.
- Zugriffsschlüssel: Geben Sie Ihren Zugriffsschlüssel im Feld Zugriffsschlüssel-ID und das mit Ihrem Zugriffsschlüssel verknüpfte Secret im Feld Geheimer Zugriffsschlüssel ein.
- AWS IAM-Rolle für die Identitätsföderation: Geben Sie Ihren ARN im Feld AWS IAM-Rollen-ARN mit der folgenden Syntax ein:
  - Standard-AWS-Regionen:
```
arn:aws:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
```
  - AWS GovCloud-Regionen:
```
arn:aws-us-gov:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
```
  Ersetzen Sie Folgendes:
  - AWS_ACCOUNT: Die AWS-Kontonummer ohne Bindestriche.
  - AWS_ROLE_NAME: Der AWS-Rollenname. Wenn Ihre Organisation Pfade zum Organisieren von Rollen verwendet, fügen Sie den Pfad mit dem Rollennamen ein. Beispiel: developers/transfer_user.
  Weitere Informationen zu ARNs finden Sie unter IAM-ARNs.
Wenn es sich um eine ereignisgesteuerte Übertragung handelt, geben Sie den Amazon SQS-Warteschlangen-ARN ein, der das folgende Format hat:
- Standard-AWS-Regionen:
```
arn:aws:sqs:us-east-1:1234567890:event-queue
```
- AWS GovCloud-Regionen:
```
arn:aws-us-gov:sqs:us-gov-east-1:1234567890:event-queue
```
Optional können Sie Objekte nach Präfix filtern oder nach dem Datum der letzten Änderung. Wenn Sie einen Ordner als Quellspeicherort angegeben haben, sind Präfixfilter relativ zu diesem Ordner. Wenn Ihre Quelle beispielsweise my-test-bucket/path/ ist, enthält ein Einschlussfilter von file alle Dateien, die mit my-test-bucket/path/file beginnen.
Klicken Sie auf Nächster Schritt.
Geben Sie im Feld Bucket oder Ordner den Namen des Ziel-Buckets und optional des Zielordners ein oder klicken Sie auf Durchsuchen , um einen Bucket aus einer Liste vorhandener Buckets in Ihrem aktuellen Projekt auszuwählen. Wenn Sie einen neuen Bucket erstellen möchten, klicken Sie auf Neuen Bucket erstellen.
Klicken Sie auf Nächster Schritt.
Wählen Sie die gewünschten Zeitplanoptionen aus:

Hinweis: Der Storage Transfer Service zeigt Zeitpläne für Übertragungsjobs in Ihrer lokalen Zeitzone an, speichert diese Zeiten aber in der koordinierten Weltzeit (UTC). Wenn Sie von der Sommerzeit betroffen sind, kann sich der Zeitplan für Übertragungsjobs ändern, wenn die Sommerzeit beginnt oder endet.
1. Wählen Sie in der Drop-down-Liste Einmal ausführen eine der folgenden Optionen aus:
  - Einmal ausführen: Führt eine einzelne Übertragung zu einem von Ihnen ausgewählten Zeitpunkt aus.
  - Täglich ausführen: Führt täglich eine Übertragung zu einem von Ihnen ausgewählten Zeitpunkt aus.
    
    Sie können optional ein Enddatum eingeben oder das Feld Enddatum leer lassen, um die Übertragung kontinuierlich auszuführen.
  - Wöchentlich ausführen: Führt wöchentlich eine Übertragung zu einem von Ihnen ausgewählten Zeitpunkt aus.
  - Mit benutzerdefinierter Häufigkeit ausführen: Führt eine Übertragung mit der von Ihnen ausgewählten Häufigkeit aus. Sie können die Übertragung in einem regelmäßigen Intervall von Stunden, Tagen oder Wochen wiederholen.
    
    Sie können optional ein Enddatum eingeben oder das Feld Enddatum leer lassen, um die Übertragung kontinuierlich auszuführen.
  - Auf Anfrage ausführen: Löst keine Ausführung aus, wenn dieser Übertragungsjob erstellt wird. Sie müssen den Job manuell starten.
2. Wählen Sie in der Drop-down-Liste Jetzt starten eine der folgenden Optionen aus:
  - Jetzt starten: Startet die Übertragung, nachdem Sie auf Erstellen geklickt haben.
  - Starten am: Startet die Übertragung am ausgewählten Datum und zur ausgewählten Uhrzeit. Klicken Sie auf Kalender , um ein Kalender zur Auswahl des Startdatums aufzurufen.
Klicken Sie auf Nächster Schritt.
Wählen Sie die Einstellungen für den Übertragungsjob aus.
1. Geben Sie im Feld Beschreibung eine Beschreibung der Übertragung ein. Geben Sie eine aussagekräftige und eindeutige Beschreibung ein, damit Sie Jobs unterscheiden können.
2. Optional können Sie ein Manifest angeben, um die zu übertragenden Objekte genau festzulegen.
3. Wählen Sie unter Metadatenoptionen die gewünschte Speicherklasse und das Verhalten für die Erstellungszeit aus. Weitere Informationen finden Sie unter Metadaten beibehalten.
4. Wählen Sie unter Überschreiben, wenn eine der folgenden Optionen aus:
  - Nie: Überschreibt keine Zieldatei, wenn die Quelldatei denselben Namen hat. Die Quelldatei wird übersprungen.
  - Unterschiedlich: Überschreibt Zieldateien, wenn die Quelldatei mit demselben Namen unterschiedliche Etags oder Prüfsummen Werte hat.
  - Immer: Überschreibt Zieldateien immer, wenn die Quelldatei denselben Namen hat, auch wenn sie identisch sind.
5. Wählen Sie unter Löschen, wenn eine der folgenden Optionen aus:
  - Nie: Löscht niemals Dateien aus der Quelle oder dem Ziel.
  - Dateien nach der Übertragung aus der Quelle löschen: Löscht Dateien aus der Quelle, nachdem sie zum Ziel übertragen wurden. Wenn eine Quelldatei nicht übertragen wird, z. B. weil sie bereits im Ziel vorhanden ist, wird sie nicht gelöscht.
    
    Wichtig: Wenn Sie keine lokale Sicherung haben, ist diese Option eine nicht umkehrbare Aktion.
  - Dateien aus dem Ziel löschen, wenn sie nicht auch in der Quelle vorhanden sind: Wenn sich Dateien im Ziel-Cloud Storage- Bucket nicht auch in der Quelle befinden, werden sie aus dem Cloud Storage-Bucket gelöscht.
    
    Mit dieser Option wird sichergestellt, dass der Ziel-Cloud Storage Bucket genau mit Ihrer Quelle übereinstimmt.
6. Netzwerk-Routingoptionen auswählen:
  - Wählen Sie Verwaltetes privates Netzwerk verwenden aus.
7. Wählen Sie unter Logging-Optionen die Option Logging in Cloud Logging aktivieren aus, wenn Sie einen detaillierten Datensatz der Aktionen erstellen möchten, die für jede übertragene Datei ausgeführt wurden. Es fallen Kosten für Cloud Logging an. Weitere Informationen finden Sie unter Übertragungsaktionen protokollieren.
8. Optional können Sie Aktualisierungen des Übertragungsstatus über Cloud Pub/Sub Benachrichtigungen erhalten) auswählen, Ihr Pub/Sub-Thema auswählen und festlegen, welche Ereignisse Benachrichtigungen auslösen. Weitere Informationen finden Sie unter Pub/Sub Benachrichtigungen.
9. Wählen Sie unter Dienstkontotyp auswählen die zu verwendende Identität aus:
  - Storage Transfer Service-Dienst-Agent: Der von Google verwaltete Standard-Dienst-Agent erhält automatisch Zugriff auf die Quell- und Ziel-Buckets.
  - Vom Nutzer verwalteter Dienstagent: Verwenden Sie ein benutzerdefiniertes Dienstkonto, das Sie erstellt haben. Bevor Sie diese Option auswählen, müssen Sie sicherstellen dass Ihrem Dienstkonto Zugriff auf den Quell Bucket, den Ziel-Bucket und Pub/Sub gewährt wurde. Weitere Informationen finden Sie unter Vom Nutzer verwalteten Dienstagent verwenden.
Klicken Sie auf Erstellen , um die Übertragung zu erstellen.

gcloud CLI

Die gcloud CLI unterstützt das Konfigurieren von Übertragungen über ein von Google verwaltetes privates Netzwerk nicht. Verwenden Sie die Google Cloud console oder die REST API, um diese Option zu aktivieren.

Clientbibliotheken

Storage Transfer Service-Clientbibliotheken unterstützen das Konfigurieren von Übertragungen über ein von Google verwaltetes privates Netzwerk nicht. Verwenden Sie die Google Cloud console oder REST API, um diese Option zu aktivieren.

REST API

Wenn Sie eine Übertragung mit der REST API konfigurieren möchten, legen Sie das boolesche Feld transferSpec.awsS3DataSource.managedPrivateNetwork auf true in Ihrer JSON-Anfragennutzlast fest, wenn Sie transferJobs.create oder transferJobs.patch aufrufen.

HTTP-Anfrage

POST https://storagetransfer.googleapis.com/v1/transferJobs

Anfragetext

{
  "description": "S3 to Cloud Storage over Google-managed private network",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
      "bucketName": "AWS_SOURCE_NAME",
      "managedPrivateNetwork": true,
      "awsAccessKey": {
        "accessKeyId": "AWS_ACCESS_KEY_ID",
        "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
      }
    },
    "gcsDataSink": {
      "bucketName": "GCS_SINK_NAME"
    },
    "transferOptions": {
      "overwriteWhen": "DIFFERENT",
      "deleteObjectsFromSourceAfterTransfer": false
    }
  }
}

In diesem Beispiel werden AWS-Zugangsdaten zur Authentifizierung verwendet. Weitere Informationen zur Verwendung von föderierten Identitäten oder Anmeldedaten in Secret Manager finden Sie unter Zugriff auf Amazon S3 konfigurieren.

Routing privater Netzwerke überwachen und überprüfen

Nachdem Sie den Übertragungsjob gestartet haben, prüfen Sie, ob die Daten über das von Google verwaltete private Netzwerk übertragen werden:

Cloud Logging: When transfer-logs are enabled (--log-actions=COPY,DELETE,FAILED), inspect the structured logs for your Übertragungsvorgang. Die Metadaten der Verbindung im Log der Aktion COPY bestätigen die erfolgreiche Replikation über den privaten Netzwerkpfad.
Abrechnungsprüfung: Prüfen Sie Ihre AWS- und Google Cloud Abrechnungsdashboards. Auf Ihrer AWS-Rechnung sehen Sie keine Gebühren für die ausgehende Übertragung von Daten über das öffentliche Internet (DataTransfer-Out-Bytes) für die übertragenen Objekte. Stattdessen wird die Gebühr für die Datenverarbeitung pro GiB auf Ihrer Google Cloud-Rechnung unter Storage Transfer Service angezeigt.

Alternative Netzwerk-Routingoptionen

Wenn das von Google verwaltete private Netzwerk die Anforderungen Ihrer Arbeitslast nicht erfüllt, unterstützt der Storage Transfer Service mehrere andere Netzwerk-Routingoptionen für Amazon S3:

Routing über das öffentliche Internet: Datenübertragungen über Standard-Peering-Links für das öffentliche Internet zwischen Amazon S3 und Google Cloud. Alle API-Befehle, Authentifizierungsheader und Objektdatenstreams werden bei der Übertragung mit HTTPS und TLS 1.3 (Transport Layer Security) End-to-End verschlüsselt. Es gelten die Standardgebühren für ausgehenden Internet-Traffic von AWS. Weitere Informationen finden Sie unter Übertragung von Amazon S3.
Vom Kunden verwaltetes privates Netzwerk: Daten werden über Ihre vorkonfigurierte Hybridverbindungsinfrastruktur (z. B. Cloud Interconnect, Cloud VPN oder AWS Direct Connect) über private IP-Adressen übertragen. Mit dieser Option haben Sie die vollständige architektonische Kontrolle und eine dedizierte, vorhersehbare Netzwerkbandbreite. Weitere Informationen finden Sie unter Übertragungen über ein vom Kunden verwaltetes privates Netzwerk.
Amazon CloudFront CDN-Routing: Daten werden über eine Amazon CloudFront-Verteilung vor Ihrem S3-Bucket abgerufen. Je nach AWS CloudFront-Preisstufe und Datenvolumen können so die Gebühren für ausgehenden Internet-Traffic im Vergleich zu direkten öffentlichen S3-Downloads gesenkt werden. Weitere Informationen finden Sie unter Übertragung von S3 über CloudFront.