Transfer dari AWS atau Azure melalui jaringan pribadi yang dikelola pelanggan

Koneksi jaringan pribadi, yang dibuat menggunakan Google Cloud Cross-Cloud Interconnect atau Partner Interconnect, dapat menawarkan keuntungan signifikan untuk transfer data antara AWS atau Azure dan Cloud Storage:

• Potensi pengoptimalan biaya: Berpotensi mencapai penghematan biaya keluar. Hal ini dapat bermanfaat bagi pelanggan yang memiliki interconnect atau yang melakukan transfer data besar atau berulang, sehingga menghasilkan penghematan jangka panjang yang besar.
• Bandwidth jaringan khusus: Penggunaan interconnect dapat menawarkan throughput yang konsisten dan berkapasitas tinggi serta latensi yang lebih rendah, yang sangat penting untuk migrasi besar yang sensitif terhadap waktu dan sinkronisasi data real-time.
• Memenuhi kebutuhan kepatuhan: Ideal untuk workload yang persyaratan peraturan mengharuskan data disimpan di luar internet publik. Fitur ini membantu Anda mentransfer data secara pribadi menggunakan interconnect untuk mencapai kepatuhan, mendukung kedaulatan data, dan menyederhanakan audit.

Ringkasan

Dokumen ini memandu Anda melalui langkah-langkah untuk:

• Memesan dan mengonfigurasi Cross-Cloud Interconnect
• Membuat endpoint di S3 atau Azure
• Menyiapkan Load Balancer Jaringan proxy internal regional dengan konektivitas hybrid
• Mendaftarkan load balancer Anda dengan Direktori Layanan
• Membuat transfer
• Mengonfirmasi bahwa traffic menggunakan interconnect

Izin yang diperlukan

Anda memerlukan izin tertentu untuk menyelesaikan setiap bagian berikut. Izin ini tercantum dalam dokumentasi untuk kumpulan langkah tersebut.

Opsi Interconnect

Storage Transfer Service dapat mentransfer data dari AWS dan Azure melalui Cross-Cloud Interconnect (CCI) atau Partner Interconnect.

Langkah-langkah di bawah khusus untuk CCI, tetapi juga berlaku saat mengonfigurasi jaringan untuk Partner Interconnect.

Memesan dan mengonfigurasi Cross-Cloud Interconnect

Cross-Cloud Interconnect adalah koneksi fisik khusus antara Google Cloud dan penyedia cloud lainnya.

Jika Anda sudah memiliki koneksi CCI, lewati ke bagian berikutnya.

AWS

Ikuti petunjuk untuk Menghubungkan ke Amazon Web Services untuk memesan dan mengonfigurasi Cross-Cloud Interconnect baru. Anda memerlukan izin yang benar untuk mengonfigurasi jaringan di Google Cloud dan di AWS.

Tonton video yang membahas langkah-langkah untuk memesan dan mengonfigurasi CCI antara AWS dan Google Cloud.

Azure

Ikuti petunjuk untuk Menghubungkan ke Microsoft Azure untuk memesan dan mengonfigurasi Cross-Cloud Interconnect baru. Anda memerlukan izin yang benar untuk mengonfigurasi jaringan di Google Cloud dan di Azure.

Tonton video yang membahas langkah-langkah untuk memesan dan mengonfigurasi CCI antara Azure dan Google Cloud.

Jika bucket Cloud Storage Anda adalah bucket regional, Anda harus mengonfigurasi CCI di region yang sama dengan bucket Anda untuk mengurangi latensi jaringan.

Membuat endpoint di S3 atau Azure

Buat endpoint di akun S3 atau Azure Anda.

AWS

Di akun Amazon Web Services Anda, buat endpoint VPC yang terhubung ke S3.

Ikuti petunjuk AWS berikut: Mengakses layanan AWS menggunakan endpoint VPC antarmuka untuk membuat endpoint.

Azure

Konfigurasi Endpoint Pribadi di Akun Penyimpanan di Azure dengan mengikuti langkah-langkah berikut.

Storage Transfer Service memerlukan endpoint *.blob.core.microsoft.net. Endpoint *.dfs.core.microsoft.net tidak didukung.

Setelah dibuat, catat alamat IP endpoint. Anda harus menentukan alamat IP saat membuat load balancer di bagian berikutnya.

Menyiapkan Load Balancer Jaringan proxy internal regional dengan konektivitas hybrid

Di Google Cloud, siapkan Load Balancer Jaringan proxy internal regional dengan konektivitas hybrid. Hal ini menyediakan alamat IP internal yang dibatasi untuk klien yang berjalan di jaringan VPC yang sama dengan load balancer, dan yang merutekan traffic ke endpoint VPC S3 atau endpoint pribadi Azure Storage yang Anda buat di bagian sebelumnya.

Anda harus membuat load balancer di project dan jaringan VPC yang sama dengan lampiran VLAN yang berinteraksi dengan Cloud Interconnect. Meskipun interconnect itu sendiri dapat berada di project yang berbeda dalam organisasi yang sama, lampiran harus berada di VPC dan region yang sama dengan load balancer.

• Menyiapkan Load Balancer Jaringan proxy internal regional dengan konektivitas hybrid

Tentukan alamat IP endpoint VPC S3 atau endpoint pribadi Azure Storage saat Anda mencapai langkah yang diberi label Add endpoints to the hybrid connectivity NEG.

Catat alamat IP dan port frontend NLB, karena Anda harus menentukannya di bagian berikutnya.

Memvalidasi koneksi

Sebelum melanjutkan, sebaiknya validasi bahwa load balancer dapat terhubung ke endpoint penyimpanan jarak jauh.

Untuk melakukannya:

1. Buat VM Compute Engine di jaringan VPC yang sama dengan load balancer Anda.

2. Dari VM, gunakan curl untuk menguji konektivitas ke alamat IP dan port load balancer:

   curl -v --resolve HOSTNAME:PORT:LOAD_BALANCER_IP https://HOSTNAME
   

   Ganti kode berikut:

   • HOSTNAME adalah nama host penyedia penyimpanan sumber Anda.
     • Untuk AWS S3, gunakan endpoint S3 API untuk region bucket Anda, misalnya s3.us-west-1.amazonaws.com.
     • Untuk Azure Storage, gunakan endpoint blob akun penyimpanan Anda, misalnya mystorageaccount.blob.core.windows.net.
   • PORT adalah port yang Anda konfigurasi pada aturan penerusan load balancer, biasanya 443.
   • LOAD_BALANCER_IP adalah alamat IP frontend load balancer Anda.

Respons dari endpoint jarak jauh, bahkan error, menunjukkan bahwa konektivitas berhasil. Waktu tunggu koneksi menunjukkan kesalahan konfigurasi dalam penyiapan jaringan yang harus Anda selesaikan sebelum melanjutkan.

Mendaftarkan NLB Anda dengan Direktori Layanan

Daftarkan NLB di Direktori Layanan. Storage Transfer Service menggunakan Direktori Layanan untuk menyelesaikan alamat load balancer dan terhubung langsung ke alamat tersebut.

Ikuti petunjuk untuk mendaftarkan load balancer internal. Gunakan alamat IP dan port load balancer yang Anda buat saat menentukan aturan penerusan.

Setelah dibuat, catat self-link layanan. Formatnya adalah projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}. Anda akan memerlukan nilai ini saat membuat tugas transfer.

Membuat transfer

Berikan izin berikut kepada agen layanan. Untuk mengetahui petunjuk tentang cara mengambil agen layanan dan memberikan izin kepada agen layanan, lihat Izin agen layanan yang dikelola Google.

• Service Directory Viewer (roles/servicedirectory.viewer) di tingkat project, pada project yang berisi Resource Direktori Layanan.
• Private Service Connect Authorized Service (roles/servicedirectory.pscAuthorizedService) di tingkat project, pada project yang berisi VPC.
• Storage Legacy Bucket Writer (roles/storage.legacyBucketWriter) di bucket tujuan.

Catatan: Jika Anda mendelegasikan izin agen layanan ke akun layanan yang dikelola pengguna, berikan izin ini ke akun layanan yang dikelola pengguna.

Untuk membuat tugas transfer yang menggunakan Cross-Cloud Interconnect, Anda harus menggunakan Storage Transfer Service REST API. Kirim permintaan sebagai berikut. Perhatikan kolom privateNetworkService, tempat Anda akan menentukan selfLink layanan Direktori Layanan.

AWS

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
        "privateNetworkService": "SERVICE_SELF_LINK",
        "bucketName": "S3_BUCKET_NAME",
        "awsAccessKey": {
          "accessKeyId": "ACCESS_KEY_ID",
          "secretAccessKey": "SECRET_ACCESS_KEY"
        }
    },
    "gcsDataSink": {
        "bucketName": "GCS_BUCKET_NAME"
    }
  }
}

Azure

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "azureBlobStorageDataSource": {
          "privateNetworkService": "SERVICE_SELF_LINK",
          "storageAccount": "AZURE_SOURCE_NAME",
          "container": "AZURE_CONTAINER",
          "azureCredentials": {
              "sasToken": "AZURE_SAS_TOKEN",
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_BUCKET_NAME"
      }
  }
}

Ganti kode berikut:

• SERVICE_SELF_LINK adalah self-link layanan Direktori Layanan. Formatnya adalah projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}.

Untuk mengetahui informasi tentang kolom lainnya, lihat dokumentasi referensi transferSpec.

Mengonfirmasi bahwa traffic menggunakan interconnect

Gunakan Cloud Monitoring untuk memverifikasi traffic yang mengalir melalui interconnect Anda dari AWS atau Azure.

1. Di Konsol Google Cloud, buka Konektivitas Hybrid > Cloud Interconnect.
2. Pilih lampiran VLAN yang terhubung ke lingkungan AWS/Azure Anda.
3. Di halaman detail untuk koneksi Anda, pilih tab Monitoring. Cari metrik yang menunjukkan transfer data. Secara khusus:
   • Ingress Bytes: Metrik ini menunjukkan data yang berasal dari AWS atau Azure ke VPC Google Cloud Anda.
   • Operational Status: Pastikan koneksi fisik dan sesi BGP berada dalam status operasional yang baik.