Daten übertragen

Transfer Appliance unterstützt die folgenden Methoden zum Kopieren von Daten in die Appliance:

Nachdem Sie Daten auf die Transfer Appliance kopiert haben, prüfen Sie, ob die Datenübertragung in den Cloud Storage-Bucket abgeschlossen ist, bevor Sie Ihre Quelldaten löschen.

Anforderungen an Dateigröße und ‑benennung

Dateien, die auf das Gerät hochgeladen werden, müssen den Cloud Storage-Dateigrößenbeschränkungen und Benennungsrichtlinien entsprechen:

Die Dateigröße oder die Dateinamen werden von Transfer Appliance nicht validiert. Wenn das Gerät Dateien enthält, die nicht diesen Regeln entsprechen, wenn es an Google zurückgesendet wird, können wir diese Dateien möglicherweise nicht übertragen.

Daten über SCP oder SFTP kopieren

So kopieren Sie Daten mit SCP oder SFTP in die Appliance:

Microsoft Windows

  1. Laden Sie einen SCP- oder SFTP-Client herunter, der UTF-8-Dateinamen wie WinSCP unterstützt.

  2. Stellen Sie mit dem SCP-Tool eine Verbindung zur Appliance mithilfe der folgenden Einstellungen her:

    • Dateiprotokoll: SFTP
    • Hostname: Die IP-Adresse für die Appliance.
    • Portnummer: 22
    • Nutzername: Der Appliance-Nutzername, der vom Transfer Appliance-Team bereitgestellt wurde.
    • Passwort: Das vom Transfer Appliance-Team bereitgestellte Passwort für die Appliance.

    Das Zielverzeichnis auf der Transfer Appliance muss /mnt/ta_data sein.

Linux

  1. Führen Sie dazu diesen Befehl aus:

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data

    Dabei gilt:

    • PATH_TO_FILES: Der Pfad zu den Dateien, die Sie kopieren.
    • USERNAME: Der vom Transfer Appliance-Team bereitgestellte Nutzername für die Appliance.
    • IP_ADDRESS: Die IP-Adresse für die Appliance.

  2. Geben Sie bei entsprechender Aufforderung das vom Transfer Appliance-Team bereitgestellte Appliance-Passwort ein.

Apple macOS

  1. Führen Sie dazu diesen Befehl aus:

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data

    Dabei gilt:

    • PATH_TO_FILES: Der Pfad zu den Dateien, die Sie kopieren.
    • USERNAME: Der vom Transfer Appliance-Team bereitgestellte Nutzername für die Appliance.
    • IP_ADDRESS: Die IP-Adresse für die Appliance.

  2. Geben Sie bei entsprechender Aufforderung das vom Transfer Appliance-Team bereitgestellte Appliance-Passwort ein.

Daten über NFS-Freigabe kopieren

Führen Sie die folgenden Schritte aus, um Daten mithilfe der NFS-Freigabe in die Appliance zu kopieren:

  1. Führen Sie die folgenden Befehle für Ihre Datenquelle aus, um Transfer Appliance bereitzustellen:

    Linux

    1. sudo mkdir /mnt/data

    2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data

      Ersetzen Sie IP_ADDRESS durch die IP-Adresse für die Appliance.

    Apple macOS

    1. cd ~

    2. mkdir ta_data

    3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data

      Ersetzen Sie IP_ADDRESS durch die IP-Adresse für die Appliance.

  2. Verwenden Sie ein Kopierprogramm Ihrer Wahl, um Daten in die Appliance zu kopieren.

    Das Kopieren von Daten ist ein lang andauernder Vorgang. Unter Apple macOS oder Linux empfehlen wir die Verwendung von tmux oder screen, damit der Kopiervorgang eine Abmeldung oder Trennung vom Netzwerk übersteht.

SSH-Schlüssel speichern

Speichern Sie Ihren SSH-Schlüssel, um sich schneller bei Ihrer Transfer Appliance anzumelden. Das Speichern Ihres SSH-Schlüssels kann auch die Übertragungsgeschwindigkeit verbessern.

  1. Generieren Sie auf Ihrer Workstation mit dem folgenden Befehl ein Schlüsselpaar:

    posix-terminal
ssh-keygen -t rsa

  2. Erstellen Sie auf der Appliance eine /tmp/ssh_key-Datei.

  3. Kopieren Sie den Inhalt der öffentlichen Schlüsseldatei von Ihrer Workstation in /tmp/ssh_key auf der Appliance. Die Datei mit dem öffentlichen Schlüssel befindet sich auf Ihrer Workstation unter folgendem Pfad:

    • Linux: ~/.ssh/id_rsa.pub
    • Windows: C:Users/USERNAME/.ssh

    Wenn Sie mehrere Schlüssel autorisieren möchten, fügen Sie jeden Schlüssel in einer neuen Zeile in /tmp/ssh_key hinzu.

  4. Führen Sie den folgenden Befehl auf der Appliance aus. Alle vorhandenen Schlüssel werden überschrieben.

    ta copy_ssh_keys

  5. Melden Sie sich bei der Appliance an.

    • Wenn sich der private Schlüssel am Standardspeicherort auf Ihrer Workstation befindet, verwenden Sie den folgenden Befehl, um sich bei der Appliance anzumelden:

      ssh ta_customer@IP_ADDRESS

    • Wenn sich der private Schlüssel nicht am Standardspeicherort befindet, verwenden Sie den folgenden Befehl, um sich in der Appliance anzumelden:

      ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS

SMB zum Übertragen von Daten verwenden

So aktivieren Sie die SMB-Dateifreigabe:

  1. Konfigurieren Sie die Appliance für die Verwendung von SMB mit dem folgenden Flag für das Dateifreigabeprotokoll:

     ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb

    Das Verzeichnis ta_data wird freigegeben und der folgende Nutzer wird erstellt:

    • Nutzername: ta_customer
    • Passwort: ta_customer

  2. Stellen Sie je nach Hosttyp eine Verbindung zur SMB-Dateifreigabe her:

    Microsoft Windows

    Dateimanager

    1. Öffnen Sie den Dateimanager und bearbeiten Sie den Dateipfad zu \\IP_ADDRESS\ta_data.

    2. Geben Sie Ihren Nutzernamen und Ihr Passwort ein, wenn Sie dazu aufgefordert werden.

    Befehlszeile

    1. Geben Sie in der Windows-Eingabeaufforderung Folgendes ein: net use X: \\IP_ADDRESS\ta_data

    2. Geben Sie Ihren Nutzernamen und Ihr Passwort ein, wenn Sie dazu aufgefordert werden.

    Linux

    Dateimanager

    1. Öffnen Sie den Standarddateimanager und klicken Sie auf Mit Server verbinden.

    2. Geben Sie smb://IP_ADDRESS/ta_data ein.

    3. Geben Sie Ihren Nutzernamen und Ihr Passwort ein, wenn Sie dazu aufgefordert werden.

    Befehlszeile

    1. SMB-Client installieren: sudo apt-get install smbclient.

    2. Verbindung zur SMB-Dateifreigabe herstellen: smbclient //IP_ADDRESS/ta_data -U USERNAME

      Die Eingabeaufforderung smb:\> wird angezeigt.

Eigene Dateifreigaben auf der Appliance verwenden

Auf der Appliance wird ein umschlossener Linux-Bereitstellungsbefehl verwendet, um Freigaben auf der Appliance bereitzustellen:

  1. Führen Sie folgende Befehle aus:

    NFS

    1. Aktualisieren Sie die Datei „/etc/exports“ auf dem Gerät, auf dem der NFS-Server gehostet wird, und gewähren Sie IP_ADDRESS Zugriff auf den Server.

    2. Führen Sie die folgenden Befehle auf der Appliance aus:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
--target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
--options=OPTIONS

      Ersetzen Sie Folgendes:

      • IP_ADDRESS: Die IP-Adresse der Appliance.
      • MOUNT_POINT: Der Name des Bereitstellungspunkts für diese Freigabe.
      • NFS_SERVER_IP: Die IP-Adresse des Geräts, auf dem der NFS-Server gehostet wird
      • NFS_DIRECTORY: Der Pfad zu Ihrer NFS-Freigabe.
      • OPTIONS: Die durch Kommas getrennte Liste der Optionen. Diese Optionen sind die, die vom Linux-Befehl „mount“ zugelassen werden.

    CIFS

    1. Führen Sie die folgenden Befehle auf der Appliance aus:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
--target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
--options=OPTIONS

      Ersetzen Sie Folgendes:

      • MOUNT_POINT: Der Name des Bereitstellungspunkts für diese Freigabe.
      • CIFS_SERVER_IP: Die IP-Adresse des Geräts, auf dem sich der CIFS-Server befindet.
      • CIFS_NAME: Der Name der CIFS-Freigabe.
      • OPTIONS: Die durch Kommas getrennte Liste der Optionen, einschließlich des Passworts und des Nutzernamens der CIFS-Freigabe. Diese Optionen sind die, die vom Linux-Befehl „mount“ zugelassen werden.

    Sofern in den Mount-Optionen nichts anderes angegeben ist, wird der Mount-Punkt beim Neustart wieder bereitgestellt, bis Sie ihn mit dem Befehl „ta unmount“ entfernen.

  2. Führen Sie Folgendes aus, um alle Bereitstellungen auf der Appliance aufzuheben:

     ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

  3. Verwenden Sie ein Kopierprogramm Ihrer Wahl, um Daten in die Appliance zu kopieren.

    RClone

    1. Führen Sie Folgendes aus, um einen Kopierbefehl mit RClone auf der Appliance auszuführen:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Ersetzen Sie Folgendes:

      • MOUNT_POINT: Das Verzeichnis mit den zu übertragenden Daten.

    Archivabruf

    1. Wenn Sie Ihre Daten während der Übertragung in TAR-Dateien archivieren möchten, führen Sie Folgendes aus:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
--destination=/mnt/ta_data --count=THREAD_COUNT

      Ersetzen Sie Folgendes:

      • MOUNT_POINT: Das Verzeichnis mit den zu übertragenden Daten.
      • ARCHIVE_SIZE_BYTES: Die Zielgröße der Tarballs, die am Zielort generiert werden sollen. Standardmäßig auf 1 GB festgelegt. Der Wert sollte zwischen 5 MB und 20 GB liegen (einschließlich).
      • THREAD_COUNT: Die Anzahl der Threads, die gleichzeitig Archive erstellen. Der Standardwert ist 20. Der Wert muss zwischen 1 und 10.000 (einschließlich) liegen.

      Archiv-Pull-Vorgänge werden im Hintergrund ausgeführt. Sie können das Terminal also ohne Bedenken schließen. Der Abruf beginnt mit einer Phase, in der die Daten aufgelistet werden, bevor die Übertragung beginnen kann.

    2. Eine ID wird zurückgegeben, wenn Sie einen Pull starten. Dieser Wert kann verwendet werden, um mit dem Pull zu interagieren:

      Führen Sie Folgendes aus, um den Status eines Pull-Vorgangs zu prüfen: 

      ta pull --id=ID --status

      Führen Sie den folgenden Befehl aus, um einen Pull zu pausieren: 

      ta pull --id=ID --pause

      So setzen Sie einen pausierten oder unterbrochenen Pull-Vorgang fort: 

      ta pull --id=ID --resume

      Ersetzen Sie Folgendes:

      • ID: Die Pull-ID.

    3. Nachdem der Pull abgeschlossen ist, finden Sie die Tarballs im Verzeichnis /mnt/ta_data/TA_ARCHIVE_ID/. Eine Manifestdatei wird generiert und unter /mnt/ta_data/manifest_ID.tsv gespeichert. Diese Datei enthält Informationen zu den übertragenen Dateien, einschließlich der Dateien, die in den einzelnen Tarball-Dateien enthalten sind. Eine Fehlermanifestdatei wird ebenfalls unter /mnt/ta_data/manifest_ID_ERROR.tsv gespeichert. Sie enthält Details zu allen Fehlern, die beim Pull aufgetreten sind.

    Es wird empfohlen, jeweils nur einen Pull-Befehl auszuführen.

    Geschwindigkeitstests wurden mit einem Dataset mit einer Größe von 100 GB auf einem TA7 (jetzt eingestellt) durchgeführt. Diese Werte sollen Ihnen bei der Auswahl zwischen den beiden verfügbaren Kopierprogrammen helfen. Die Übertragungsgeschwindigkeiten können je nach Gerätetyp und Netzwerkverbindung variieren.

    Methode Dateigröße Archivgröße in Byte (nur Archivabruf) Preis (NFS) Preis (KMU)
    RClone 100 MB – 600 MB/s* 620 MB/s
    Archivabruf 100 MB 10 GB 750 MB/s 850 MB/s
    RClone 1 MB – 280 MB/s 270 MB/s
    Archivabruf 1 MB 500 MB 630 MB/s 380 MB/s
    RClone 100 KB – 150 MB/s 150 MB/s
    Archivabruf 100 KB 5 MB 270 MB/s 90 MB/s

Benchmarks für die Datenübertragung

Diese Datenübertragungsgeschwindigkeiten stellen die maximale Schreibleistung der Transfer Appliance bei Verwendung von Standardkopiertools dar. Um die Schreibleistung zu isolieren und potenzielle Lesebotlenecks aus der Datenquelle zu eliminieren, wurden Daten direkt auf der bereitgestellten NFS-Freigabe der Appliance generiert. Das Gerät (TA40) wurde über einen 10‑Gb-Port mit der Datenquelle verbunden. Die Geschwindigkeiten wurden für die folgenden Dateigrößen gemessen:

  • Dateien mit 10 GB, 1 GB und 100 MB (Datensatz mit 5 TB)
  • 10-MB- und 1-MB-Dateien (1-TB-Datensatz)
Dateigröße Durchschnittliche Kopiergeschwindigkeit(NFS) Geschätzte Zeit für die Übertragung von 40 TB Geschätzte Zeit für die Übertragung von 300 TB
10 GB 560 Mbit/s 21 Stunden 6 Tage und 12 Stunden
1 GB 400 Mbit/s 1 Tag und 5 Stunden 9 Tage
100 MB 300 Mbit/s 1 Tag und 15 Stunden 12 Tage
10 MB 130 Mbit/s 3 Tage, 18 Stunden 28 Tage
1 MB 30 Mbit/s 16 Tage 120 Tage