Halaman ini mendokumentasikan batasan umum Cloud Storage dan Storage Transfer Service.
Batasan umum
Batas ukuran objek 5 TiB Cloud Storage
Cloud Storage mendukung ukuran maksimum objek tunggal hingga 5 tebibyte. Jika Anda memiliki objek yang lebih besar dari 5 TiB, transfer objek akan gagal untuk objek tersebut, baik untuk Cloud Storage maupun Storage Transfer Service.
Persyaratan penamaan objek Cloud Storage
Cloud Storage menerapkan persyaratan nama objek yang berlaku untuk semua transfer Storage Transfer Service.
Objek yang diubah tidak ditransfer
Storage Transfer Service tidak mengunci file sumber selama transfer.
Jika data objek diperbarui selama transfer, berikut ini menjelaskan cara Storage Transfer Service merespons:
Transfer dari cloud non-Google ke Google Cloud: Jika data objek diperbarui selama transfer, Storage Transfer Service akan gagal melakukan transfer untuk objek tersebut dan objek tidak akan ditransfer.
Transfer dari sistem file ke Google Cloud: Jika data objek diperbarui selama transfer, Storage Transfer Service akan mencoba mengupload lagi. Jika upload gagal beberapa kali, Storage Transfer Service akan mencatat
FILE_MODIFIED_FAILURE. Untuk mengetahui informasi selengkapnya, lihat Pemecahan masalah.Transfer dari Google Cloud ke sistem file: Jika data objek diperbarui selama transfer, Storage Transfer Service akan mencoba mendownload lagi. Jika download gagal beberapa kali, Storage Transfer Service akan mencatat
PRECONDITION_FAILURE. Untuk mengetahui informasi selengkapnya, lihat Pemecahan masalah.
Untuk mengatasi kegagalan:
- Coba lakukan transfer lagi.
Jika transfer objek terus gagal, pastikan datanya tidak dapat diperbarui selama transfer:
- Sumber Cloud Storage - Menempatkan pembekuan objek.
- Sumber Amazon S3 - Tetapkan kunci Objek S3.
- Sumber Microsoft Azure Storage - Menetapkan kebijakan keabadian untuk Blob Storage.
- Sumber sistem file - Setel file dalam mode hanya baca atau batasi penulisan ke file yang sedang ditransfer.
Setelah transfer selesai, Anda dapat mengaktifkan kembali update pada objek.
Folder di Cloud Storage
Objek Cloud Storage berada dalam namespace datar dalam bucket. Untuk mengetahui informasi selengkapnya, lihat Namespace objek. Oleh karena itu, Storage Transfer Service tidak membuat namespace hierarkis dalam Cloud Storage. Misalnya, jika Anda mentransfer dari Azure Data Lake Storage (ADLS) Gen 2, Storage Transfer Service tidak akan membuat ulang namespace ADLS Gen 2 di Cloud Storage.
Menghapus objek di bucket Amazon S3 yang pembuatan versinya ditangguhkan
Saat menggunakan fitur hapus objek dari sumber setelah transfer Storage Transfer Service di bucket Amazon S3 yang ditangguhkan versinya, Storage Transfer Service akan menghapus objek dengan ID versi null, bukan versi saat ini.
Lokasi tugas Storage Transfer Service
Storage Transfer Service memilih lokasinya berdasarkan region bucket Cloud Storage sumber. Mulai hari ini, kami membuat tugas Storage Transfer Service di lokasi berikut. Daftar ini dapat berubah seiring dengan penambahan dukungan Storage Transfer Service untuk region baru.
Jika bucket Cloud Storage sumber Anda berada di region yang tidak tercantum, kami akan memilih region default dalam region luar sumber.
| Lokasi yang didukung | ||
|---|---|---|
| africa-south1 | europe-north1 | nam4 |
| asia-east1 | europe-north2 | northamerica-northeast1 |
| asia-east2 | europe-southwest1 | northamerica-northeast2 |
| asia-northeast1 | europe-west1 | northamerica-south1 |
| asia-northeast2 | europe-west2 | southamerica-east1 |
| asia-northeast3 | europe-west3 | Southamerica-west1 |
| asia-south1 | europe-west4 | us-central1 |
| asia-south2 | europe-west6 | us-central2 |
| asia-southeast1 | europe-west8 | us-east1 |
| asia-southeast2 | europe-west9 | us-east4 |
| asia1 | europe-west10 | us-east5 |
| australia-southeast1 | europe-west12 | us-east7 |
| australia-southeast2 | me-central1 | us-west1 |
| me-central2 | us-west2 | |
| me-west1 | us-west3 | |
| us-west4 |
Batasan umum transfer sistem file
Tidak ada dukungan real-time
Storage Transfer Service tidak mendukung deteksi perubahan sub-jam. Storage Transfer Service adalah layanan pemindahan data batch yang dapat memindai sumber dengan frekuensi hingga sekali per jam.
Konfigurasi sistem operasi yang didukung
Agen transfer memerlukan Docker yang diinstal, dan berjalan di server Linux atau virtual machine (VM). Untuk menyalin data di sistem file CIFS atau SMB, Anda dapat memasang volume di server atau VM Linux, lalu menjalankan agen dari server atau VM Linux.
Persyaratan memori
Berikut adalah persyaratan memori untuk agen Transfer Service untuk data lokal:- Memori minimum: 1GiB
- Memori minimum untuk mendukung upload berperforma tinggi: 6 GiB
Batasan penskalaan
Storage Transfer Service mendukung transfer individual yang:
- Berukuran ratusan terabyte
- Hingga 1 miliar file
- Kecepatan transfer beberapa puluh Gbps
Transfer individual yang lebih besar dari ukuran ini dapat diandalkan, tetapi belum diuji performanya.
Jika Anda memiliki set data yang lebih besar daripada batas ini, sebaiknya pisahkan data Anda di beberapa tugas transfer.
Saat ini kami mendukung direktori besar, asalkan setiap agen memiliki memori yang tersedia minimal 1 GB untuk setiap 1 juta file dalam direktori terbesar, sehingga kami dapat melakukan iterasi pada konten direktori tanpa melebihi memori.
Batasan agen dan kumpulan agen
Kami mendukung hingga 100 agen untuk satu kumpulan agen. Anda kemungkinan tidak memerlukan lebih banyak agen untuk mencapai performa yang lebih baik dalam lingkungan yang umum.
Hingga 800 kumpulan agen didukung per project.
Satu direktori per tugas
Kami hanya mendukung transfer seluruh konten direktori sistem file (secara rekursif). Anda dapat mempartisi transfer dengan membuat beberapa tugas yang mentransfer subdirektori yang berbeda dari set data Anda, tetapi saat ini kami tidak mendukung globbing file atau dukungan pemfilteran dalam satu tugas.
Nama file yang didukung
Aturan berikut berlaku untuk semua nama file yang merupakan bagian dari transfer:
- Nama file harus menggunakan encoding UTF8.
- Nama file harus kompatibel dengan unicode.
- Nilai ini tidak boleh berisi baris baru (
\n) atau enter (\r).
Jika direktori sumber Anda berisi nama file yang tidak didukung, tugas listingan file untuk direktori tersebut akan gagal.
Jika hal ini terjadi, perbarui nama file yang tidak didukung dan jalankan ulang tugas.
Jenis file yang didukung
Storage Transfer Service mendukung transfer file reguler dan file tersembunyi seperti Unix.
File tersembunyi gaya Unix adalah file yang diawali dengan karakter .. Saat menemukan file non-reguler, seperti perangkat, named pipe, atau socket, Storage Transfer Service akan memunculkan error UNSUPPORTED_FILE_MODE.
Direktori kosong tidak dibuat di Cloud Storage, karena objek tidak berada dalam subdirektori dalam bucket. Untuk mengetahui informasi selengkapnya, lihat Namespace objek.
Panjang jalur maksimum
Storage Transfer Service mengikuti panjang jalur maksimum Cloud Storage sebesar 1024 byte. Awalan objek untuk objek tujuan disertakan dalam batasan panjang, karena awalan dimasukkan dalam nama objek di Cloud Storage.
Metadata file yang didukung
Lihat Penyimpanan metadata untuk mengetahui detail metadata yang dipertahankan, baik secara default maupun opsional.
Jeda tugas yang diperpanjang
Tugas yang dijeda selama lebih dari 30 hari dianggap tidak aktif. Jika tugas tidak aktif, tugas yang dijeda akan dibatalkan dan jadwal konfigurasi tugas akan dinonaktifkan. Tidak ada tugas baru yang dimulai kecuali jika Anda mengaktifkan tugas tersebut lagi secara eksplisit.
Keamanan sumber sistem file
Akses agen
Pengguna yang dapat membuat tugas transfer dapat mengambil data dari, dan mendownload data ke, direktori sistem file mana pun yang dapat diakses oleh agen. Jika agen dijalankan sebagai root dan diberi akses ke seluruh sistem file, pihak tidak bertanggung jawab mungkin dapat mengambil alih host. Sebaiknya Anda membatasi akses agen hanya ke direktori yang diperlukan.