Halaman ini menjelaskan praktik terbaik untuk transfer sistem file.
Praktik terbaik performa
Berikut adalah praktik terbaik untuk memastikan performa transfer yang baik:
Lakukan tolok ukur performa Anda dengan mentransfer korpus data besar, biasanya berukuran minimal 100 GB.
Storage Transfer Service adalah layanan berskala besar yang dioptimalkan untuk throughput, sehingga performa Anda pada set data pengujian yang sangat kecil tidak menunjukkan performa Anda pada set data besar dalam produksi.
Batasi setiap folder sumber hingga 1 juta file. Direktori yang berisi jutaan file dapat memperlambat seluruh transfer.
Jalankan agen di virtual machine (VM) terpisah agar Anda dapat menskalakan konsumsi resource dengan lebih efektif.
Pastikan antarmuka jaringan pada mesin agen memiliki ukuran yang sesuai untuk bandwidth baca/tulis yang Anda perlukan.
Misalnya, jika Anda ingin menggunakan sepenuhnya jaringan area luas (WAN) 20 Gbps, antarmuka jaringan mesin agen Anda harus mendukung 20 Gbps untuk membaca data dari sistem file jaringan, dan 20 Gbps lainnya untuk mentransfer data ke Cloud Storage, atau total bandwidth 40 Gbps.
Pantau CPU, memori, dan jaringan pada mesin agen untuk memastikan bahwa mesin tidak kewalahan oleh workload lain, karena hal ini dapat berdampak negatif pada performa. Lihat persyaratan hardware agen untuk mengetahui angka memori dan CPU yang disarankan.
Upload multibagian
Jika transfer Anda berasal dari sistem file POSIX ke Cloud Storage, atau antar-sistem file POSIX, pertimbangkan untuk mengaktifkan upload multibagian. Upload multibagian dapat mempercepat transfer yang menyertakan file besar hingga 300% dengan memecah file besar (>1 GiB) menjadi bagian-bagian yang lebih kecil dan mengupload bagian-bagian tersebut secara paralel.
Sistem file yang kompatibel dengan HDFS dan S3 tidak mendukung upload multibagian.
Mengaktifkan upload multibagian
Untuk mengaktifkan upload multibagian:
Anda harus memberikan izin yang diperlukan ke akun yang mengizinkan agen transfer, baik akun pengguna maupun akun layanan.
Bucket tujuan atau perantara tidak boleh memiliki kebijakan retensi atau penangguhan objek.
Setelah diaktifkan, Storage Transfer Service akan otomatis menggunakan upload multibagian jika hal ini dapat mempercepat transfer.
Mengonfigurasi aturan siklus proses objek multibagian
Anda dapat menggunakan Object Lifecycle Management Cloud Storage untuk membatalkan upload multibagian yang tidak lengkap dan menghapus bagian terkait. Lihat Membatalkan upload multibagian yang tidak lengkap dalam dokumentasi Cloud Storage.
Sebaiknya tetapkan nilai age sebesar 7 hari.
Menonaktifkan upload multibagian
Untuk menonaktifkan upload multibagian, instal ulang agen transfer menggunakan docker run
dan teruskan --enable-multipart=false:
sudo docker run --ulimit memlock=64000000 -d --rm \ -v /usr/local/research:/usr/local/research \ -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --agent-pool=AGENT_POOL \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --enable-multipart=false
Ganti kode berikut:
PROJECT_IDmenentukan project ID yang menghosting transfer.PATH/TO/KEY.JSON: jika agen transfer menggunakan akun layanan untuk autentikasi, tentukan jalur host ke file kredensial akun layanan berformat JSON. (Atau, instal ulang agen dengangcloud transfer agents install --no-enable-multipart.)
Atau, cabut izin yang diperlukan dari akun yang memberikan otorisasi kepada agen transfer, baik akun pengguna maupun akun layanan.
Memaksimalkan performa agen transfer
Performa transfer Anda dipengaruhi oleh variabel berikut:
Kemampuan sistem file.
Batasan hardware yang mendasarinya.
Jenis media hard drive, bus input/output, dan konektivitas jaringan area lokal (LAN) semuanya memengaruhi performa.
Throughput dan pemanfaatan WAN.
WAN yang lebih lambat atau sangat sering digunakan akan memperlambat performa.
Karakteristik file.
Misalnya, banyak file besar memiliki throughput jaringan yang lebih tinggi daripada banyak file kecil karena overhead jaringan.
Karena variabel ini, kami tidak dapat memprediksi performa sebenarnya atau memberikan jumlah agen yang optimal untuk digunakan.
Setidaknya, sebaiknya gunakan tiga agen, di berbagai mesin jika memungkinkan, sehingga transfer Anda tetap fault-tolerant. Anda dapat menambahkan agen transfer saat transfer sedang berjalan, karena performa meningkat secara dinamis.
Untuk mengamati dampak penambahan agen, dan untuk memilih jumlah agen yang paling sesuai untuk lingkungan Anda, lakukan hal berikut:
Mulai transfer besar yang memerlukan waktu minimal 1 jam untuk dijalankan. Misalnya, mulai transfer yang berisi setidaknya 100 ribu file dan berukuran total minimal 100 GB.
Gunakan Cloud Monitoring untuk mengamati throughput agen secara keseluruhan.
Tunggu hingga throughput stabil, dan tentukan apakah Anda dibatasi oleh kapasitas WAN atau batas bandwidth.
Jika Anda belum memenuhi kapasitas WAN, dan belum mencapai batas transfer yang diinginkan, tambahkan agen lain. Agen tambahan akan otomatis meningkatkan throughput transfer. Tunggu sekitar 3 menit hingga throughput stabil di Cloud Monitoring.
Ulangi langkah 3 dan 4, dengan menambahkan satu agen dalam satu waktu hingga Anda mencapai batas yang diinginkan. Selama resource komputasi, sistem file, dan jaringan tersedia, Anda dapat menjalankan hingga 100 agen secara serentak per kumpulan agen.
Jika Anda memenuhi bandwidth keluar sebelum mencapai batas yang diinginkan, Anda dapat melakukan salah satu hal berikut:
- Mengontrol bandwidth yang digunakan oleh Storage Transfer Service.
- Dapatkan lebih banyak bandwidth jaringan.
Jika Anda telah menambahkan agen, tetapi throughput tidak meningkat dan WAN Anda tidak jenuh, selidiki throughput sistem file. Dalam kasus yang jarang terjadi, throughput sistem file menjadi jenuh, sehingga menghambat kemampuan Anda untuk meningkatkan performa transfer.
Agen penamaan
Saat memberi nama agen, sebaiknya lakukan hal berikut:
Selalu sertakan nama host di agen Anda. Hal ini membantu Anda menemukan mesin tempat agen berjalan. Sebaiknya teruskan
--hostname=$(hostname)ke perintahrunDocker.Pilih skema awalan agen yang membantu Anda mengidentifikasi agen dalam konteks organisasi pemantauan dan infrastruktur Anda. Contoh:
Jika memiliki tiga project transfer terpisah, Anda mungkin ingin menyertakan nama tim di agen Anda. Misalnya,
logistics.Jika Anda menjalankan dua project transfer yang berbeda untuk dua pusat data yang berbeda, Anda mungkin ingin menyertakan nama pusat data di awalan agen. Misalnya,
omaha.