Mentransfer data

Transfer Appliance mendukung metode berikut untuk menyalin data ke perangkat:

• SCP atau SFTP untuk Microsoft Windows, Linux, dan macOS.
• Berbagi NFS untuk Linux dan macOS.
• Berbagi SMB untuk Microsoft Windows dan Linux.
• Mount on the Appliance untuk NFS dan CIFS.

Setelah Anda menyalin data ke Transfer Appliance, verifikasi bahwa transfer data ke bucket Cloud Storage telah selesai sebelum Anda menghapus data sumber.

Persyaratan ukuran dan penamaan file

File yang diupload ke appliance harus mematuhi batas ukuran file dan panduan penamaan Cloud Storage:

• Batas ukuran file didokumentasikan di halaman Kuota & batas Cloud Storage.
• Pedoman nama file didokumentasikan di halaman Pedoman penamaan objek.

Transfer Appliance tidak memvalidasi ukuran atau nama file. Jika peralatan berisi file yang tidak mematuhi aturan ini saat peralatan dikirim kembali ke Google, kami mungkin tidak dapat mentransfer file tersebut.

Menggunakan SCP atau SFTP untuk menyalin data

Untuk menyalin data ke appliance menggunakan SCP atau SFTP, ikuti langkah-langkah berikut:

Microsoft Windows

1. Download klien SCP atau SFTP yang mendukung nama file UTF-8, seperti WinSCP.

2. Dengan menggunakan alat SCP, hubungkan ke appliance menggunakan setelan berikut:

   • Protokol file: SFTP
   • Nama host: Alamat IP untuk appliance.
   • Nomor port: 22
   • Nama pengguna: Nama pengguna appliance yang disediakan oleh Tim Transfer Appliance.
   • Sandi: Sandi perangkat yang diberikan oleh Tim Transfer Appliance.

   Direktori tujuan di Transfer Appliance harus berupa /mnt/ta_data.

Linux

1. Jalankan perintah berikut:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Ganti kode berikut:

   • PATH_TO_FILES: Jalur ke file yang Anda salin.
   • USERNAME: Nama pengguna appliance yang diberikan oleh Tim Transfer Appliance.
   • IP_ADDRESS: Alamat IP untuk appliance.

2. Jika diminta, masukkan sandi perangkat yang diberikan oleh Tim Transfer Appliance.

Apple macOS

1. Jalankan perintah berikut:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Ganti kode berikut:

   • PATH_TO_FILES: Jalur ke file yang Anda salin.
   • USERNAME: Nama pengguna appliance yang diberikan oleh Tim Transfer Appliance.
   • IP_ADDRESS: Alamat IP untuk appliance.

2. Jika diminta, masukkan sandi perangkat yang diberikan oleh Tim Transfer Appliance.

Menggunakan berbagi NFS untuk menyalin data

Untuk menyalin data ke appliance menggunakan berbagi NFS, ikuti langkah-langkah berikut:

1. Untuk memasang Transfer Appliance, jalankan perintah berikut di sumber data Anda:

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      Ganti IP_ADDRESS dengan alamat IP untuk perangkat.

   Apple macOS

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      Ganti IP_ADDRESS dengan alamat IP untuk perangkat.

2. Untuk menyalin data ke appliance, gunakan utilitas penyalinan pilihan Anda.

   Menyalin data adalah operasi yang berjalan lama. Di Apple macOS atau Linux, sebaiknya gunakan tmux atau screen untuk memastikan proses penyalinan tetap berjalan saat logout atau koneksi jaringan terputus.

Menyimpan kunci SSH Anda

Simpan kunci SSH Anda untuk login yang lebih cepat ke Transfer Appliance. Menyimpan kunci SSH juga dapat meningkatkan kecepatan transfer.

1. Di workstation Anda, buat pasangan kunci menggunakan perintah berikut:

   posix-terminal
   ssh-keygen -t rsa
   

2. Buat file /tmp/ssh_key di appliance.

3. Salin konten file kunci publik dari workstation Anda ke /tmp/ssh_key di appliance. File kunci publik berada di lokasi berikut di workstation Anda:

   • Linux: ~/.ssh/id_rsa.pub
   • Windows: C:Users/USERNAME/.ssh

   Untuk mengizinkan beberapa kunci, tambahkan setiap kunci di baris baru di /tmp/ssh_key.

4. Jalankan perintah berikut di appliance. Semua kunci yang ada akan ditimpa.

   ta copy_ssh_keys
   

5. Login ke perlengkapan.

   • Jika kunci pribadi berada di lokasi default di workstation Anda, gunakan perintah berikut untuk login ke appliance:

     ssh ta_customer@IP_ADDRESS
     

   • Jika kunci pribadi tidak ada di lokasi default, gunakan perintah berikut untuk login ke appliance:

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

Menggunakan SMB untuk mentransfer data

Untuk mengaktifkan berbagi file SMB, ikuti langkah-langkah di bawah:

1. Konfigurasi appliance untuk menggunakan SMB menggunakan tanda protokol berbagi file berikut:

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   Direktori ta_data dibagikan dan pengguna berikut dibuat:

   • Nama pengguna: ta_customer
   • Sandi: ta_customer

2. Berdasarkan jenis host Anda, hubungkan ke berbagi file SMB:

   Microsoft Windows

   Pengelola file

   1. Buka pengelola file dan edit jalur file menjadi \\IP_ADDRESS\ta_data.

   2. Masukkan nama pengguna dan sandi Anda saat diminta.

   Command line

   1. Masukkan perintah berikut di command prompt Windows: net use X: \\IP_ADDRESS\ta_data

   2. Masukkan nama pengguna dan sandi Anda saat diminta.

   Linux

   Pengelola file

   1. Buka pengelola file default dan klik Hubungkan ke server.

   2. Masukkan smb://IP_ADDRESS/ta_data.

   3. Masukkan nama pengguna dan sandi Anda saat diminta.

   Command line

   1. Instal klien SMB: sudo apt-get install smbclient.

   2. Hubungkan ke berbagi file SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME

      Perintah smb:\> akan muncul.

Menggunakan berbagi file Anda sendiri di appliance

Perangkat menggunakan perintah pemasangan Linux yang di-wrap untuk memasang berbagi di perangkat:

1. Jalankan perintah berikut:

   NFS

   1. Perbarui file /etc/exports di perangkat yang menghosting server NFS untuk memberikan akses IP_ADDRESS ke server.

   2. Jalankan perintah berikut di appliance:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Ganti kode berikut:

      • IP_ADDRESS: Alamat IP appliance.
      • MOUNT_POINT: Nama titik pemasangan untuk berbagi ini.
      • NFS_SERVER_IP: Alamat IP perangkat Anda yang menghosting server NFS
      • NFS_DIRECTORY: Jalur ke berbagi NFS Anda.
      • OPTIONS: Daftar opsi yang dipisahkan koma. Opsi ini adalah opsi yang diizinkan oleh perintah pemasangan Linux.

   CIFS

   1. Jalankan perintah berikut di appliance:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Ganti kode berikut:

      • MOUNT_POINT: Nama titik pemasangan untuk berbagi ini.
      • CIFS_SERVER_IP: Alamat IP perangkat Anda yang menghosting server CIFS.
      • CIFS_NAME: Nama berbagi CIFS.
      • OPTIONS: Daftar opsi yang dipisahkan koma, termasuk sandi dan nama pengguna berbagi CIFS. Opsi ini adalah opsi yang diizinkan oleh perintah mount Linux.

   Kecuali jika ditentukan lain dalam opsi pemasangan, titik pemasangan akan dipasang ulang saat dimulai ulang hingga Anda menghapusnya dengan perintah 'ta unmount'.

2. Untuk melepas semua pemasangan di appliance, jalankan perintah berikut:

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. Untuk menyalin data ke appliance, gunakan utilitas penyalinan pilihan Anda.

   RClone

   1. Untuk menjalankan perintah salin dengan RClone di appliance, jalankan perintah berikut:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Ganti kode berikut:

      • MOUNT_POINT: Direktori yang berisi data yang akan ditransfer.

   Tarik Arsip

   1. Untuk mengarsipkan data Anda ke dalam file tar selama transfer, jalankan perintah berikut:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      Ganti kode berikut:

      • MOUNT_POINT: Direktori yang berisi data yang akan ditransfer.
      • ARCHIVE_SIZE_BYTES: Ukuran target tarball yang akan dibuat di tujuan. Default ke 1 GB, diharapkan antara 5 MB dan 20 GB inklusif.
      • THREAD_COUNT: Jumlah thread yang berjalan secara bersamaan saat membuat arsip. Nilai defaultnya adalah 20, dan diharapkan berada di antara 1 dan 10000 inklusif.

      Penarikan arsip berjalan di latar belakang sehingga Anda dapat keluar dari terminal dengan aman. Penarikan dimulai dengan fase mencantumkan data sebelum transfer dapat dimulai.

   2. ID ditampilkan saat Anda memulai penarikan, nilai ini dapat digunakan untuk berinteraksi dengan penarikan:

      Untuk memeriksa status penarikan, jalankan perintah berikut:

      ta pull --id=ID --status

      Untuk menjeda penarikan, jalankan perintah berikut:

      ta pull --id=ID --pause

      Untuk melanjutkan penarikan yang dijeda atau terhenti, jalankan perintah berikut:

      ta pull --id=ID --resume

      Ganti kode berikut:

      • ID: ID penarikan.

   3. Setelah penarikan selesai, tar ball dapat ditemukan di direktori /mnt/ta_data/TA_ARCHIVE_ID/. File manifes akan dibuat dan disimpan di /mnt/ta_data/manifest_ID.tsv. File ini akan berisi informasi file yang ditransfer, yang menjelaskan file tar ball mana yang menyimpan file apa. File manifes error juga akan disimpan di /mnt/ta_data/manifest_ID_ERROR.tsv yang menjelaskan error yang terjadi selama penarikan.

   Sebaiknya jalankan satu perintah pull dalam satu waktu.

   Catatan: Penarikan tidak dirancang untuk menangani set data dengan direktori yang berisi lebih dari 50.000 subdirektori. Untuk menghindari waktu tunggu yang lama, pertimbangkan untuk menggunakan metode penyalinan lainnya.

   Uji kecepatan dilakukan pada ukuran set data 100 GB di TA7 (sekarang tidak digunakan lagi). Nilai ini diberikan untuk membantu memilih antara dua utilitas salinan yang tersedia. Kecepatan transfer dapat bervariasi bergantung pada jenis peralatan dan konektivitas jaringan.

   Metode	Ukuran File	Ukuran Arsip dalam Byte (Khusus Penarikan Arsip)	Tarif (NFS)	Tarif (SMB)
   RClone	100 MB	T/A	600 MB/dtk	620 MB/dtk
   Tarik Arsip	100 MB	10 GB	750 MB/dtk	850 MB/dtk
   RClone	1 MB	T/A	280 MB/dtk	270 MB/dtk
   Tarik Arsip	1 MB	500 MB	630 MB/dtk	380 MB/dtk
   RClone	100 KB	T/A	150 MB/dtk	150 MB/dtk
   Tarik Arsip	100 KB	5 MB	270 MB/dtk	90 MB/dtk

Tolok Ukur Transfer Data

Kecepatan transfer data ini menunjukkan performa penulisan maksimum Transfer Appliance saat menggunakan alat salin standar. Untuk mengisolasi performa penulisan dan menghilangkan potensi hambatan pembacaan dari sumber data, data dibuat langsung di berbagi NFS yang di-mount di appliance. Perangkat (TA40) terhubung ke sumber data dengan port 10 Gb, dan kecepatan diukur untuk ukuran file berikut:

• File 10 GB, 1 GB, dan 100 MB (dataset 5 TB)
• File 10 MB dan 1 MB (set data 1 TB)

Ukuran File	Kecepatan Penyalinan Rata-Rata(NFS)	Perkiraan Waktu Transfer 40 TB	Perkiraan Waktu Transfer 300 TB
10 GB	560 MBps	21 jam	6 hari 12 jam
1 GB	400 MBps	1 hari 5 jam	9 hari
100 MB	300 MBps	1 hari 15 jam	12 hari
10 MB	130 MBps	3 hari 18 jam	28 hari
1 MB	30 MBps	16 hari	120 hari