Große Datasets von Cloud Storage zu Filestore übertragen

Verwenden Sie Storage Transfer Service , um große Datasets von Cloud Storage zu Ihren Filestore -Dateifreigaben zu verschieben.

Storage Transfer Service hilft Ihnen, große Datasets schnell und sicher zwischen Objekt- und Dateispeichersystemen zu übertragen, unabhängig davon, ob Ihre Daten in Cloud Storage, bei Drittanbietern von Cloud-Diensten oder lokal gehostet werden.

Storage Transfer Service unterstützt beschleunigte Übertragungen großer Datasets mit Hunderten von Terabyte oder mehr. Verschieben Sie Ihre großen Datasets in die Cloud um die Analyse- und Machine-Learning-Vorgänge zu nutzen, die von den zugrunde liegenden Compute Engine-Instanzen verfügbar sind, in denen Ihre Filestore-Instanzen bereitgestellt werden.

Mit Storage Transfer Service können Sie von Google verwaltete Übertragungen erstellen oder selbst gehostete Übertragungen konfigurieren, um die volle Kontrolle über das Netzwerk-Routing und die Bandbreitennutzung zu haben.

Hinweis: Wenn Sie weniger als 1 TB Daten aus Cloud Storage-Buckets übertragen möchten, verwenden Sie die Google Cloud CLI. Weitere Informationen finden Sie unter Daten aus einem Cloud Storage Bucket in eine Filestore-Dateifreigabe kopieren oder Wann sollte Storage Transfer Service verwendet werden?.

Daten aus einem Cloud Storage-Bucket in eine Filestore-Dateifreigabe übertragen

Für die Übertragung von Daten aus Cloud Storage in eine Filestore-Dateifreigabe mit Storage Transfer Service sind die folgenden Aufgaben erforderlich:

1. die Umgebung einrichten
2. Filestore konfigurieren
3. Storage Transfer Service konfigurieren
4. Übertragungsjob erstellen und starten

In den folgenden Abschnitten werden die einzelnen Aufgaben beschrieben.

Umgebung einrichten

1. Projekt auswählen oder erstellen

   Für diese Anleitung müssen sich die Quell- und Zielressourcen im selben Projekt befinden.

   Wählen Sie in der Google Cloud Console auf der Seite für die Projektauswahl ein Projekt von aus oder erstellen Sie ein Google Cloud es.

   Wenn Sie Filestore testen und die erstellten Ressourcen nicht behalten möchten, empfehlen wir, ein Projekt zu erstellen, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie mit dem Testen fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

   Zur Projektauswahl

2. Abrechnung aktivieren

   Die Abrechnung für Ihr Google Cloud Projekt muss aktiviert sein. So prüfen Sie, ob die Abrechnung für Ihr Projekt aktiviert ist.

3. Folgende APIs aktivieren

   • Filestore API

   • Resource Manager API

   • Pub/Sub API

   • Cloud Storage API

   • Storage Transfer API

   • Cloud Logging API

   • Compute Engine API

   • Service Usage API

   • Identity and Access Management API

4. Optional: gcloud, eine wichtige Komponente des Google Cloud SDK, ist auf jeder Compute Engine-VM installiert. Wenn Sie einen der folgenden Schritte über die lokale Befehlszeile ausführen, richten Sie das Google Cloud SDK ein.

   Installieren und initialisieren Sie das Google Cloud SDK.

   Wenn Sie das Google Cloud SDK bereits installiert haben, prüfen Sie, ob Sie die neueste verfügbare Version haben. Führen Sie dazu den folgenden Befehl aus:

   gcloud components update
   

5. Dienstkonto erstellen Weisen Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen die folgenden Rollen zu:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Pub/Sub Editor

   • Cloud Filestore Editor

   • Storage Object Admin

   • Storage Transfer Admin

   • Storage Transfer Agent

   1. Kopieren und speichern Sie den Namen des Dienstkontos, das Sie für einen späteren Schritt erstellt haben.

   2. Erstellen Sie einen Dienstkontoschlüssel für das gerade erstellte Konto. Für diese Anleitung erstellen Sie nur einen Schlüssel. Laden Sie die Schlüsseldatei herunter und speichern Sie sie für einen späteren Schritt.

      Hinweis: Dienstkontoschlüssel stellen ein Sicherheitsrisiko dar, wenn sie nicht ordnungsgemäß verwaltet werden. Sie sollten nach Möglichkeit eine sicherere Alternative zu Dienstkontoschlüsseln auswählen. Wenn Sie sich mit einem Dienstkontoschlüssel authentifizieren müssen, sind Sie für die Sicherheit des privaten Schlüssels und für andere Vorgänge verantwortlich, die unter Best Practices für die Verwaltung von Dienstkontoschlüsseln beschrieben werden. Wenn Sie keinen Dienstkontoschlüssel erstellen können, ist das Erstellen von Dienstkontoschlüsseln für Ihre Organisation möglicherweise deaktiviert. Weitere Informationen finden Sie unter Standardmäßig sichere Organisationsressourcen verwalten.

      Wenn Sie den Dienstkontoschlüssel von einer externen Quelle erhalten haben, müssen Sie ihn vor der Verwendung validieren. Weitere Informationen finden Sie unter Sicherheitsanforderungen für Anmeldedaten aus externen Quellen.

6. Nutzerkonto Rollen zuweisen Suchen Sie auf der Seite „IAM “ Ihr Nutzerkonto und weisen Sie ihm die folgenden Rollen zu:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Storage Transfer Admin

   • Storage Admin

   Weitere Informationen finden Sie unter Nutzerberechtigungen.

Filestore konfigurieren

1. Filestore-Instanz erstellen Wenden Sie beim Erstellen der Instanz die folgenden Spezifikationen an:

   1. Der Cloud Storage-Bucket, die Client-VM und die Filestore Instanz müssen sich alle in derselben Region befinden.

   2. Wählen Sie einen regionalen oder Enterprise-Instanztyp aus.

   3. Optional: Für größere Datasets können Sie eine Kontingenterhöhung beantragen.

   4. Kopieren Sie den Instanznamen und die IP-Adresse und speichern Sie sie für einen späteren Schritt.

2. Filestore-Instanz auf einem Clientcomputer bereitstellen

   In dieser Anleitung wird eine Übertragung beschrieben, bei der vier Compute Engine-VMs als NFS-Clientcomputer verwendet werden. Sie erstellen ein einzelnes Dienstkonto, das im Namen der vier Clientcomputer ausgeführt wird. Auf jedem Clientcomputer werden drei Storage Transfer Service-Agents installiert.

   Hinweis: Für optimale Leistung, sollten Nutzer für dieses Szenario mindestens vier Compute Engine-VMs verwenden.

   1. Erstellen Sie eine Compute Engine-VM-Instanz mit Zugriff auf andere Google Cloud Dienste.

      1. Konfigurieren Sie eine VM mit den folgenden Spezifikationen:

         1. Wenn Sie einen Standort angeben, müssen sich der Google Cloud Bucket, die Client-VM und die Filestore-Instanz alle in derselben Region befinden.

         2. Jeder Storage Transfer Service-Agent benötigt 4 vCPUs und 8 GB RAM. Für eine optimale Leistung sollten Sie mehrere Agents pro VM ausführen. Für diese Anleitung stellen Sie eine e2-standard-32 Compute Engine-VM-Instanz bereit.

         3. Geben Sie im Abschnitt Identität und API-Zugriff Folgendes an:

            1. Wählen Sie im Drop-down-Menü Dienstkonten das gerade erstellte Dienstkonto aus.

   2. Nachdem die Compute Engine-VM-Instanz erstellt wurde, melden Sie sich über SSH auf dem Computer an. Suchen Sie auf der Seite „Compute Engine-VM-Instanz “ die von Ihnen erstellte Instanz und klicken Sie auf SSH.

   3. Verwenden Sie einen Texteditor wie Vim, um eine Kopie der Dienstkontoschlüsseldatei zu erstellen und sie vorübergehend lokal auf der VM zu speichern. Beispiel: service-account-key.json.

   4. Installieren Sie Docker auf der -VM.

   5. gcloud ist bereits auf der Compute Engine-VM-Instanz installiert. Geben Sie in der SSH-Befehlszeile den folgenden Befehl ein, um das Dienstkonto für die Verwendung von gcloud zu autorisieren:

      gcloud auth activate-service-account ACCOUNT --key-file=KEY_FILE
      

      Dabei gilt:

      • ACCOUNT ist die E-Mail-Adresse für das von Ihnen erstellte Dienstkonto. Beispiel: [e-mail].

      • KEY_FILE ist der relative lokale Pfad zur zuvor kopierten Schlüsseldatei, die Sie kopiert haben. Beispiel: sa-key.json.

   6. Installieren Sie NFS über die SSH-Befehlszeile:

      sudo apt-get -y update && sudo apt-get install nfs-common
      

   7. Erstellen Sie ein lokales Verzeichnis, das der Filestore-Dateifreigabe zugeordnet werden soll. Wenn Sie diese Schritte für nachfolgende Compute Engine-VM-Instanzen wiederholen, verwenden Sie denselben Namen und Pfad:

      sudo mkdir -p MY_DIRECTORY
      

      Dabei gilt:

      • MY_DIRECTORY ist der Name des lokalen POSIX-Verzeichnisses für die Compute Engine-VM-Instanz. Beispiel: /usr/local/my_dir.

   8. Stellen Sie die mit der Filestore-Instanz verknüpfte Dateifreigabe bereit, indem Sie den Befehl mount ausführen. Sie können beliebige NFS-Bereitstellungsoptionen verwenden. Die besten Ergebnisse erzielen Sie mit den NFS-Bereitstellungsempfehlungen unter Dateifreigabe auf einer Compute Engine-VM-Instanz bereitstellen:

      sudo mount -o rw IP_ADDRESS:/FILE_SHARE MY_DIRECTORY
      

      Dabei gilt:

      • IP_ADDRESS ist die IP-Adresse für die Filestore Instanz. Sie finden sie auf der Seite „Filestore-Instanzen“.

      • FILE_SHARE ist der Name der Dateifreigabe für die Instanz. Beispiel: my_fs_instance.

      • MY_DIRECTORY ist der Name des Verzeichnisses, dem Sie im vorherigen Schritt zugeordnet haben. Dies ist ein Verzeichnis auf der Compute Engine-VM-Instanz, in dem Sie die Filestore-Instanz bereitstellen möchten.

   9. Bestätigen Sie den Bereitstellungspunkt:

      mount -l | grep nfs
      

      Es wird Folgendes oder Ähnliches zurückgegeben:

      10.66.55.194:/my_fs_instance on /home/usr/my_dir type nfs (rw,relatime,vers=3,rsize=524288,wsize=524288,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.66.55.194,mountvers=3,mountport=2050,mountproto=udp,local_lock=none,addr=10.66.55.194)
      

      Alternativ können Sie auch den folgenden Befehl verwenden:

      df -h --type=nfs
      

      Es wird Folgendes oder Ähnliches zurückgegeben:

      Filesystem                       Size  Used Avail Use% Mounted on
      10.66.55.194:/my_fs_instance  1.0T     0  1.0T   0% /home/usr/my_dir
      

   10. Notieren Sie sich den Pfad zum lokalen POSIX-Verzeichnis und speichern Sie ihn für einen späteren Schritt.

   11. Wiederholen Sie die vorherigen Schritte, um drei weitere Compute Engine-VM-Instanzen zu erstellen und dieselbe Filestore-Instanz auf jeder bereitzustellen. Verwenden Sie dasselbe Dienstkonto, um alle vier Compute Engine-VMs zu verwalten. Speichern Sie vorübergehend eine lokale Kopie des Dienstkontoschlüssels auf jeder VM.

Storage Transfer Service konfigurieren

1. Agent-Pool erstellen

2. Dienst-Agent für alle Storage Transfer Service-Funktionen autorisieren

   1. Geben Sie den folgenden Befehl ein:

      gcloud transfer authorize --add-missing --creds-file=KEY_FILE
      

      Dabei gilt:

      • KEY_FILE ist der relative lokale Pfad zur zuvor kopierten Schlüsseldatei, die Sie kopiert haben. Beispiel: sa-key.json.

      Notieren Sie sich die zurückgegebene Benachrichtigung zum Dienst-Agent und speichern Sie die zugehörige E-Mail-Adresse für den nächsten Schritt.

   2. Nach einigen Minuten sollte der Dienst-Agent auf der IAM Seite angezeigt werden. Prüfen Sie nach der Weitergabe, ob die folgenden Rollen zugewiesen sind:

      • Pub/Sub Editor

      • Storage Admin

      Hinweis: Die Weitergabe von Berechtigungen dauert in der Regel nur wenige Sekunden, in einigen Fällen aber bis zu sieben Minuten.

3. Übertragungs-Agents installieren

   Jeder Storage Transfer Service-Agent benötigt 4 vCPUs und 8 GB RAM.

   Hinweis: Storage Transfer Service behält POSIX-Attribute und Symlinks während der Übertragung bei. Weitere Informationen finden Sie unter Metadatenaufbewahrung.

   1. Wir empfehlen, mehrere Agents zu installieren, um die Fehlertoleranz zu maximieren und die dynamische Skalierung von Storage Transfer Service zu nutzen. Das folgende Beispiel zeigt, wie Sie drei Agents auf einem Clientcomputer installieren. Führen Sie in der SSH-Befehlszeile den folgenden Befehl aus:

      gcloud transfer agents install --pool=MY_AGENT_POOL --count=3 \
      --creds-file=MY_SERVICE_ACCOUNT_KEY_FILE
      

      Dabei gilt:

      • MY_AGENT_POOL ist der Name des zuvor erstellten Agent-Pools. Beispiel: my-agent-pool.

      • MY_SERVICE_ACCOUNT_KEY_FILE ist der relative Pfad zum Dienstkontoschlüssel. Beispiel: /relative/path/to/service-account-key.json.

   2. Wiederholen Sie diese Schritte für jeden Clientcomputer.

Übertragungsjob erstellen und starten

1. Erstellen Sie einen Übertragungsjob, um Daten aus Ihrem Cloud Storage-Bucket in Ihre Filestore-Instanz zu verschieben. Geben Sie den Zielpfad an, indem Sie auf das zuvor gespeicherte lokale POSIX-Verzeichnis verweisen. Beispiel: /home/usr/my_dir.

Übertragungsstatus überwachen

Console

Sie können den Status Ihrer Übertragung auf der Seite „Übertragungsjobs“ der Google Cloud Console überwachen.

Befehlszeile

Sie können den Status über die Befehlszeile überwachen:

gcloud transfer jobs monitor JOB_NAME

Dabei gilt:

• JOB_NAME ist der Name Ihres Übertragungsjobs. Beispiel: transferJobs/OPI6300379522015192941.

Die Antwort sieht in etwa so aus:

Polling for latest operation name...done.
Operation name: my-sts-project_transferJobs/OPI6300379522015192941_0000000001660692377
Parent job: OPI6300379522015192941
Start time: 2022-08-16T23:26:17.600981Z
SUCCESS | 100% (731.9MiB of 731.9MiB) | Skipped: 129.8kiB | Errors: 0
End time: 2022-08-16T23:27:23.429472Z

Weitere Informationen finden Sie unter Agent-Aktivität überwachen oder Details zur Dateisystemübertragung.

Nächste Schritte

• Leistung für alle Ressourcen verbessern Google Cloud .
• Compute Engine-VM-Instanz mit Zugriff auf andere Google Cloud Dienste erstellen