Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Transfer melalui jaringan pribadi yang dikelola Google

Saat mentransfer data dari Amazon S3 ke Cloud Storage, data biasanya melintasi link peering internet publik, tempat AWS menagih biaya traffic keluar data internet standar. Storage Transfer Service menawarkan opsi jaringan pribadi yang dikelola Google untuk transfer dari Amazon S3, sehingga data Anda dapat mengalir melalui perutean pribadi yang aman dan disediakan secara otomatis oleh Google.

Menggunakan jaringan pribadi yang dikelola Google akan mengurangi biaya keluar internet AWS dan menyederhanakan keamanan jaringan dengan menghilangkan kebutuhan untuk mengonfigurasi dan memelihara interkoneksi fisik yang dikelola pelanggan.

Manfaat utama

Opsi jaringan pribadi yang dikelola Google memberikan manfaat operasional dan finansial berikut untuk transfer Amazon S3:

Mengurangi biaya traffic keluar internet: Transfer dari Amazon S3 melalui jaringan pribadi yang dikelola Google akan melewati tarif traffic keluar internet AWS standar. Anda tidak membayar biaya traffic keluar internet AWS S3; sebagai gantinya, Anda membayar tarif pemrosesan data per-GiB yang dapat diprediksi ke Google Cloud. Lihat Harga untuk mengetahui detailnya. Biaya permintaan API AWS standar (seperti operasi LIST, GET, dan HEAD Amazon S3) tetap berlaku sesuai dengan jadwal harga AWS.
Menghilangkan eksposur internet publik: Data ditransfer langsung melalui koneksi Interconnect pribadi yang dikelola Google antara AWS dan Google Cloud. Karena paket tidak pernah melintasi tabel perutean internet publik, Anda menghilangkan risiko penyadapan publik sekaligus menyederhanakan kepatuhan firewall dan zero-trust.
Pemeliharaan infrastruktur nol: Tidak seperti jaringan pribadi yang dikelola pelanggan, Anda tidak perlu menyediakan, mengonfigurasi, atau membayar biaya port berulang untuk interkoneksi fisik (seperti Cloud Interconnect atau AWS Direct Connect), gateway VPN, atau perutean DNS kustom. Google mengelola sepenuhnya stack jaringan pribadi end-to-end.
Deployment instan tanpa waktu tunggu: Penyiapan sirkuit interkoneksi khusus dapat memakan waktu berminggu-minggu. Dengan jaringan pribadi yang dikelola Google, Anda dapat segera memulai pengalihan perutean pribadi tanpa menginstal atau mengelola agen transfer apa pun.

Pertimbangan bandwidth dan performa

Semua tugas Storage Transfer Service di semua project yang menggunakan jaringan pribadi yang dikelola Google berbagi kapasitas jaringan gabungan yang sama. Selama periode penggunaan global puncak, kecepatan transfer mungkin mengalami pembatasan atau peningkatan latensi.

Workload yang sebagian besar terdiri dari objek besar lebih terpengaruh oleh pemanfaatan pool yang tinggi daripada workload yang sebagian besar terdiri dari objek yang lebih kecil. Jika workload Anda memerlukan bandwidth khusus tanpa persaingan kumpulan bersama, pertimbangkan untuk mengonfigurasi jaringan pribadi yang dikelola pelanggan.

Region AWS yang didukung

Opsi jaringan pribadi yang dikelola Google tersedia untuk transfer tanpa agen dari region Amazon S3 berikut:

ap-east-1
ap-northeast-1
ap-northeast-2
ap-northeast-3
ap-south-1
ap-south-2
ap-southeast-1
ca-central-1
ca-west-1
eu-central-1
eu-central-2 eu-north-1
eu-south-1
eu-south-2
eu-west-1
eu-west-2
eu-west-3
us-east-1
us-east-2
us-west-1
us-west-2

Sebelum memulai

Sebelum membuat transfer, Anda harus mengonfigurasi IAM dan izin sumber.

Mengonfigurasi izin IAM

Ikuti petunjuk di Izin transfer tanpa agen untuk memberikan izin Google Cloud yang diperlukan.

Mengonfigurasi akses ke bucket S3

Ikuti petunjuk di Mengonfigurasi akses ke sumber: Amazon S3 untuk mengonfigurasi akses ke data Anda di Amazon S3.

Membuat transfer jaringan pribadi yang dikelola Google

Anda dapat mengaktifkan opsi jaringan pribadi yang dikelola Google saat membuat tugas transfer baru atau saat memperbarui spesifikasi transfer Amazon S3 yang ada menggunakan konsol Google Cloud atau REST API.

Konsol

Opsi jaringan pribadi yang dikelola Google diaktifkan dengan kotak centang di langkah Pilih setelan saat membuat tugas transfer.

Untuk membuat pekerjaan baru menggunakan jaringan pribadi yang dikelola Google:

Buka halaman Storage Transfer Service di konsol Google Cloud .

Buka Storage Transfer Service
Klik Buat tugas transfer. Halaman Buat tugas transfer akan ditampilkan.
Di bagian Source type, pilih Amazon S3.
Sebagai Destination type, pilih Google Cloud Storage.
Pilih Mode penjadwalan Anda. Transfer batch dieksekusi satu kali atau sesuai jadwal. Transfer yang didorong peristiwa terus memantau sumber dan mentransfer data saat ditambahkan atau diubah.

Untuk mengonfigurasi transfer yang didorong peristiwa, ikuti petunjuk di Transfer yang didorong peristiwa.
Klik Next step.
Di kolom Bucket or folder name, masukkan nama bucket sumber.

Nama bucket adalah nama seperti yang muncul di AWS Management Console.
Pilih metode autentikasi Amazon Web Services (AWS) Anda. Lihat Mengonfigurasi akses ke sumber: Amazon S3 untuk mengetahui detailnya.
- Secret resource: Pilih opsi ini untuk menggunakan kredensial Amazon yang disimpan di Secret Manager. Pilih rahasia dari daftar, atau masukkan secara manual dalam format projects/PROJECT_NUMBER/secrets/SECRET_NAME.
- Kunci akses: Masukkan kunci akses Anda di kolom Access key ID dan rahasia yang terkait dengan kunci akses Anda di kolom Secret access key.
- Peran IAM AWS untuk penggabungan identitas: Masukkan ARN Anda di kolom AWS IAM role ARN, dengan sintaksis berikut:
  - Region AWS standar:
```
arn:aws:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
```
  - Region AWS GovCloud:
```
arn:aws-us-gov:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
```
  Ganti kode berikut:
  - AWS_ACCOUNT: ID akun AWS tanpa tanda hubung.
  - AWS_ROLE_NAME: Nama peran AWS. Jika organisasi Anda menggunakan jalur untuk mengatur peran, sertakan jalur dengan nama peran. Misalnya, developers/transfer_user.
  Untuk mengetahui informasi selengkapnya tentang ARN, lihat ARN IAM.
Jika ini adalah transfer berbasis peristiwa, masukkan ARN antrean Amazon SQS, yang memiliki format berikut:
- Region AWS standar:
```
arn:aws:sqs:us-east-1:1234567890:event-queue
```
- Region AWS GovCloud:
```
arn:aws-us-gov:sqs:us-gov-east-1:1234567890:event-queue
```
Secara opsional, pilih untuk memfilter objek menurut awalan atau menurut tanggal terakhir diubah. Jika Anda menentukan folder sebagai lokasi sumber, filter awalan akan relatif terhadap folder tersebut. Misalnya, jika sumber Anda adalah my-test-bucket/path/, filter sertakan file akan menyertakan semua file yang diawali dengan my-test-bucket/path/file.
Klik Next step.
Di kolom Bucket atau folder, masukkan bucket tujuan dan (opsional) nama folder, atau klik Jelajahi untuk memilih bucket dari daftar bucket yang ada di project Anda saat ini. Untuk membuat bucket baru, klik Buat bucket baru.
Klik Next step.
Pilih opsi penjadwalan Anda:

Catatan: Storage Transfer Service menampilkan jadwal tugas transfer di zona waktu lokal Anda, tetapi menyimpan waktu tersebut dalam Universal Time Coordinated (UTC). Jika Anda terpengaruh oleh Waktu Musim Panas (DST), Anda mungkin mengalami perubahan jadwal tugas transfer saat DST dimulai atau berakhir.
1. Dari menu drop-down Jalankan sekali, pilih salah satu opsi berikut:
  - Jalankan sekali: Menjalankan satu transfer, dimulai pada waktu yang Anda pilih.
  - Jalankan setiap hari: Menjalankan transfer setiap hari, mulai pada waktu yang Anda pilih.
    
    Anda dapat memasukkan Tanggal akhir opsional, atau membiarkan Tanggal akhir kosong untuk menjalankan transfer secara berkelanjutan.
  - Jalankan setiap minggu: Menjalankan transfer setiap minggu, dimulai pada waktu yang Anda pilih.
  - Jalankan dengan frekuensi khusus: Menjalankan transfer pada frekuensi yang Anda pilih. Anda dapat memilih untuk mengulangi transfer pada interval reguler Jam, Hari, atau Minggu.
    
    Anda dapat memasukkan Tanggal akhir opsional, atau membiarkan Tanggal akhir kosong untuk menjalankan transfer secara berkelanjutan.
  - Jalankan sesuai permintaan: Tidak akan memicu eksekusi saat tugas transfer ini dibuat. Anda harus memulai tugas secara manual.
2. Dari menu drop-down Mulai sekarang, pilih salah satu opsi berikut:
  - Mulai sekarang: Memulai transfer setelah Anda mengklik Buat.
  - Mulai pada: Memulai transfer pada tanggal dan waktu yang Anda pilih. Klik Kalender untuk menampilkan kalender guna memilih tanggal mulai.
Klik Next step.
Pilih setelan untuk tugas transfer.
1. Di kolom Deskripsi, masukkan deskripsi transfer. Sebagai praktik terbaik, masukkan deskripsi yang bermakna dan unik sehingga Anda dapat membedakan tugas.
2. Secara opsional, berikan manifest untuk menentukan objek yang tepat untuk ditransfer.
3. Di bagian Opsi metadata, pilih class penyimpanan yang diinginkan dan perilaku waktu pembuatan. Lihat Penyimpanan metadata untuk mengetahui detailnya.
4. Di bagian Kapan menimpa, pilih salah satu opsi berikut:
  - Jangan Pernah: Tidak menimpa file tujuan jika file sumber memiliki nama yang sama. File sumber dilewati.
  - Jika berbeda: Menimpa file tujuan jika file sumber dengan nama yang sama memiliki nilai ETag atau checksum yang berbeda.
  - Selalu: Selalu menimpa file tujuan saat file sumber memiliki nama yang sama, meskipun identik.
5. Di bagian Kapan harus dihapus, pilih salah satu opsi berikut:
  - Jangan Pernah: Jangan pernah menghapus file dari sumber atau tujuan.
  - Hapus file dari sumber setelah file ditransfer: Hapus file dari sumber setelah file ditransfer ke tujuan. Jika file sumber tidak ditransfer, misalnya karena sudah ada di tujuan, file sumber tidak akan dihapus.
    
    Penting: Jika Anda tidak memiliki cadangan lokal, opsi ini adalah tindakan yang tidak dapat dibatalkan.
  - Hapus file dari tujuan jika file itu juga tidak ada di sumber: Jika file di bucket Cloud Storage tujuan juga tidak ada di sumber, maka hapus file dari bucket Cloud Storage.
    
    Opsi ini memastikan bahwa bucket Cloud Storage tujuan sama persis dengan sumber Anda.
6. Pilih opsi pemilihan rute jaringan:
  - Pilih Gunakan jaringan pribadi terkelola.
7. Di bagian Opsi logging, pilih Aktifkan logging di Cloud Logging jika Anda ingin membuat catatan terperinci tentang tindakan yang dilakukan pada setiap file yang ditransfer. Biaya Cloud Logging berlaku. Lihat Tindakan transfer log untuk mengetahui detailnya.
8. Atau, pilih Dapatkan update status operasi transfer melalui notifikasi Cloud Pub/Sub), pilih topik Pub/Sub Anda, dan pilih peristiwa yang memicu notifikasi. Lihat notifikasi Pub/Sub untuk mengetahui detailnya.
9. Di bagian Pilih jenis akun layanan, pilih identitas yang akan digunakan:
  - Agen layanan Storage Transfer Service: Agen layanan default yang dikelola Google secara otomatis diberi akses ke bucket sumber dan tujuan.
  - Agen layanan yang dikelola pengguna: Menggunakan akun layanan kustom yang telah Anda buat. Sebelum memilih opsi ini, pastikan akun layanan Anda telah diberi akses ke bucket sumber, bucket tujuan, dan Pub/Sub. Lihat Menggunakan agen layanan yang dikelola pengguna.
Klik Buat untuk membuat tugas transfer.

gcloud CLI

gcloud CLI tidak mendukung konfigurasi transfer melalui jaringan pribadi yang dikelola Google. Gunakan konsol Google Cloud atau REST API untuk mengaktifkan opsi ini.

Library klien

Library klien Storage Transfer Service tidak mendukung konfigurasi transfer melalui jaringan pribadi yang dikelola Google. Gunakan konsol Google Cloud atau REST API untuk mengaktifkan opsi ini.

REST API

Untuk mengonfigurasi transfer menggunakan REST API, tetapkan kolom boolean transferSpec.awsS3DataSource.managedPrivateNetwork ke true di dalam payload permintaan JSON saat memanggil transferJobs.create atau transferJobs.patch.

Permintaan HTTP

POST https://storagetransfer.googleapis.com/v1/transferJobs

Isi permintaan

{
  "description": "S3 to Cloud Storage over Google-managed private network",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
      "bucketName": "AWS_SOURCE_NAME",
      "managedPrivateNetwork": true,
      "awsAccessKey": {
        "accessKeyId": "AWS_ACCESS_KEY_ID",
        "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
      }
    },
    "gcsDataSink": {
      "bucketName": "GCS_SINK_NAME"
    },
    "transferOptions": {
      "overwriteWhen": "DIFFERENT",
      "deleteObjectsFromSourceAfterTransfer": false
    }
  }
}

Contoh ini menggunakan kredensial akses AWS untuk melakukan autentikasi. Lihat Mengonfigurasi akses ke Amazon S3 untuk mengetahui detail tentang penggunaan kredensial atau identitas gabungan di Secret Manager.

Memantau dan memverifikasi perutean jaringan pribadi

Setelah memulai tugas transfer, verifikasi bahwa data keluar melalui jaringan pribadi yang dikelola Google:

Cloud Logging: Jika transfer-logs diaktifkan (--log-actions=COPY,DELETE,FAILED), periksa log terstruktur untuk operasi transfer Anda. Metadata koneksi di dalam log tindakan COPY mengonfirmasi keberhasilan replikasi melalui jalur jaringan pribadi.
Verifikasi penagihan: Periksa dasbor penagihan AWS dan Google Cloud Anda. Pada invoice AWS, Anda akan melihat nol biaya transfer data keluar (DataTransfer-Out-Bytes) internet publik untuk objek yang ditransfer. Sebagai gantinya, biaya pemrosesan data per-GiB muncul di invoice Google Cloud Anda di bagian Storage Transfer Service.

Opsi perutean jaringan alternatif

Jika jaringan pribadi yang dikelola Google tidak memenuhi persyaratan workload Anda, Storage Transfer Service mendukung beberapa opsi perutean jaringan lainnya untuk Amazon S3:

Perutean internet publik: Transfer data melalui link peering internet publik standar antara Amazon S3 dan Google Cloud. Semua perintah API, header autentikasi, dan aliran data objek dienkripsi end-to-end dalam pengiriman menggunakan HTTPS dengan Transport Layer Security (TLS 1.3). Tarif traffic keluar data internet AWS standar berlaku. Untuk mengetahui detailnya, lihat Transfer dari Amazon S3.
Jaringan pribadi yang dikelola pelanggan: Data melintasi infrastruktur konektivitas hibrida yang telah dikonfigurasi sebelumnya (seperti Cloud Interconnect, Cloud VPN, atau AWS Direct Connect) melalui alamat IP pribadi. Opsi ini memberi Anda kontrol arsitektur penuh dan bandwidth jaringan yang khusus dan dapat diprediksi. Untuk mengetahui detailnya, lihat Transfer melalui jaringan pribadi yang dikelola pelanggan.
Perutean CDN Amazon CloudFront: Data diambil melalui distribusi Amazon CloudFront di depan bucket S3 Anda. Bergantung pada tingkat harga AWS CloudFront dan volume data Anda, hal ini dapat mengurangi biaya keluar internet dibandingkan dengan download S3 publik langsung. Untuk mengetahui detailnya, lihat Mentransfer dari S3 melalui CloudFront.