Transfer dari AWS atau Azure melalui jaringan pribadi yang dikelola pelanggan

Koneksi jaringan pribadi, yang dibuat menggunakan Google Cloud Cross-Cloud Interconnect atau Partner Interconnect, dapat menawarkan keuntungan signifikan untuk transfer data antara AWS atau Azure dan Cloud Storage:

  • Potensi pengoptimalan biaya: Berpotensi mencapai penghematan biaya egress. Hal ini dapat bermanfaat bagi pelanggan yang sudah memiliki interkoneksi atau yang melakukan transfer data dalam jumlah besar atau berulang, sehingga menghasilkan penghematan jangka panjang yang signifikan.
  • Bandwidth jaringan khusus: Menggunakan interkoneksi dapat menawarkan throughput yang konsisten dan berkapasitas tinggi serta latensi yang lebih rendah, yang sangat penting untuk migrasi besar yang sensitif terhadap waktu dan sinkronisasi data real-time.
  • Memenuhi kebutuhan kepatuhan: Ideal untuk workload yang persyaratan peraturannya mengharuskan data tidak diakses melalui internet publik. Fitur ini membantu Anda mentransfer data secara pribadi menggunakan interkoneksi untuk mencapai kepatuhan, mendukung kedaulatan data, dan menyederhanakan audit.

Ringkasan

Dokumen ini akan memandu Anda melalui langkah-langkah untuk:

  • Memesan dan mengonfigurasi Cross-Cloud Interconnect
  • Membuat endpoint di S3 atau Azure
  • Menyiapkan Load Balancer Jaringan proxy internal regional dengan konektivitas hybrid
  • Mendaftarkan load balancer Anda ke Direktori Layanan
  • Buat transfer
  • Memastikan bahwa traffic menggunakan interconnect

Izin yang diperlukan

Anda memerlukan izin khusus untuk menyelesaikan setiap bagian berikut. Izin ini tercantum dalam dokumentasi untuk rangkaian langkah tersebut.

Opsi Interconnect

Storage Transfer Service dapat mentransfer data dari AWS dan Azure melalui Cross-Cloud Interconnect (CCI) atau Partner Interconnect.

Langkah-langkah di bawah ini khusus untuk CCI, tetapi juga berlaku saat mengonfigurasi jaringan untuk Partner Interconnect.

Memesan dan mengonfigurasi Cross-Cloud Interconnect

Cross-Cloud Interconnect adalah koneksi fisik khusus antara Google Cloud dan penyedia cloud lainnya.

Jika Anda sudah memiliki koneksi CCI, lanjutkan ke bagian berikutnya.

AWS

Ikuti petunjuk untuk Menghubungkan ke Amazon Web Services guna memesan dan mengonfigurasi Cross-Cloud Interconnect baru. Anda memerlukan izin yang benar untuk mengonfigurasi jaringan di Google Cloud serta di AWS.

Tonton video yang membahas langkah-langkah untuk memesan dan mengonfigurasi CCI antara AWS dan Google Cloud.

Azure

Ikuti petunjuk untuk Terhubung ke Microsoft Azure guna memesan dan mengonfigurasi Cross-Cloud Interconnect baru. Anda memerlukan izin yang benar untuk mengonfigurasi jaringan di Google Cloud serta di Azure.

Tonton video yang membahas langkah-langkah untuk memesan dan mengonfigurasi CCI antara Azure dan Google Cloud.

Jika bucket Cloud Storage Anda adalah bucket regional, Anda harus mengonfigurasi CCI di region yang sama dengan bucket Anda untuk mengurangi latensi jaringan.

Membuat endpoint di S3 atau Azure

Buat endpoint di akun S3 atau Azure Anda.

AWS

Di akun Amazon Web Services Anda, buat endpoint VPC yang terhubung ke S3.

Ikuti petunjuk AWS ini: Mengakses layanan AWS menggunakan endpoint VPC antarmuka untuk membuat endpoint.

Azure

Konfigurasikan Endpoint Pribadi di Akun Penyimpanan di Azure dengan mengikuti langkah-langkah ini.

Storage Transfer Service memerlukan endpoint *.blob.core.windows.net. Endpoint *.dfs.core.windows.net tidak didukung.

Setelah dibuat, catat alamat IP endpoint. Anda harus menentukan alamat IP saat membuat load balancer di bagian berikutnya.

Menyiapkan Load Balancer Jaringan proxy internal regional dengan konektivitas hybrid

Di Google Cloud, siapkan Load Balancer Jaringan proxy internal regional dengan konektivitas hybrid. Tindakan ini akan memberikan alamat IP internal yang dibatasi untuk klien yang berjalan di jaringan VPC yang sama dengan load balancer, dan yang merutekan traffic ke endpoint VPC S3 atau endpoint pribadi Azure Storage yang Anda buat di bagian sebelumnya.

Anda harus membuat load balancer dalam project dan jaringan VPC yang sama dengan lampiran VLAN yang berinteraksi dengan Cloud Interconnect. Meskipun interconnect itu sendiri dapat berada dalam project yang berbeda dalam organisasi yang sama, lampiran harus berada dalam VPC dan region yang sama dengan load balancer.

Tentukan endpoint VPC S3 atau alamat IP endpoint pribadi Azure Storage saat Anda mencapai langkah-langkah berlabel Menambahkan endpoint ke NEG konektivitas hybrid.

Catat alamat IP dan port frontend NLB, karena Anda harus menentukannya di bagian berikutnya.

Memvalidasi koneksi

Sebelum melanjutkan, sebaiknya validasi bahwa load balancer dapat terhubung ke endpoint penyimpanan jarak jauh.

Untuk melakukannya:

  1. Buat VM Compute Engine di jaringan VPC yang sama dengan load balancer Anda.
  2. Dari VM, gunakan curl untuk menguji konektivitas ke alamat IP dan port load balancer:

    curl -v --resolve HOSTNAME:PORT:LOAD_BALANCER_IP https://HOSTNAME
    

    Ganti kode berikut:

    • HOSTNAME adalah nama host penyedia penyimpanan sumber Anda.
      • Untuk AWS S3, gunakan endpoint API S3 untuk region bucket Anda, misalnya s3.us-west-1.amazonaws.com.
      • Untuk Azure Storage, gunakan endpoint blob akun penyimpanan Anda, misalnya mystorageaccount.blob.core.windows.net.
    • PORT adalah port yang Anda konfigurasi pada aturan penerusan load balancer, biasanya 443.
    • LOAD_BALANCER_IP adalah alamat IP frontend load balancer Anda.

Respons dari endpoint jarak jauh, bahkan error, menunjukkan bahwa konektivitas berhasil. Waktu tunggu koneksi habis menunjukkan kesalahan konfigurasi dalam penyiapan jaringan yang harus Anda selesaikan sebelum melanjutkan.

Mendaftarkan NLB Anda ke Direktori Layanan

Daftarkan NLB di Direktori Layanan. Storage Transfer Service menggunakan Direktori Layanan untuk me-resolve alamat load balancer dan terhubung langsung ke alamat tersebut.

Ikuti petunjuk untuk mendaftarkan load balancer internal. Gunakan alamat IP dan port load balancer yang Anda buat saat menentukan aturan penerusan.

Setelah dibuat, catat self-link layanan. Formatnya adalah projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}. Anda akan memerlukan nilai ini saat membuat tugas transfer.

Buat transfer

Berikan izin berikut ke agen layanan. Untuk mengetahui petunjuk tentang cara mengambil agen layanan dan memberikan izin kepada agen layanan, lihat Mengonfigurasi akses ke sink: Cloud Storage.

Untuk membuat tugas transfer yang menggunakan Cross-Cloud Interconnect, Anda harus menggunakan REST API Storage Transfer Service. Kirim permintaan sebagai berikut. Perhatikan kolom privateNetworkService, yang merupakan tempat Anda akan menentukan selfLink layanan Direktori Layanan.

AWS

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
        "privateNetworkService": "SERVICE_SELF_LINK",
        "bucketName": "S3_BUCKET_NAME",
        "awsAccessKey": {
          "accessKeyId": "ACCESS_KEY_ID",
          "secretAccessKey": "SECRET_ACCESS_KEY"
        }
    },
    "gcsDataSink": {
        "bucketName": "GCS_BUCKET_NAME"
    }
  }
}

Azure

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "azureBlobStorageDataSource": {
          "privateNetworkService": "SERVICE_SELF_LINK",
          "storageAccount": "AZURE_SOURCE_NAME",
          "container": "AZURE_CONTAINER",
          "azureCredentials": {
              "sasToken": "AZURE_SAS_TOKEN",
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_BUCKET_NAME"
      }
  }
}

Ganti kode berikut:

  • SERVICE_SELF_LINK adalah self-link layanan Direktori Layanan. Formatnya adalah projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}.

Untuk mengetahui informasi tentang kolom lain, lihat dokumentasi referensi transferSpec.

Memastikan bahwa traffic menggunakan interkoneksi

Gunakan Cloud Monitoring untuk memverifikasi traffic yang mengalir melalui interkoneksi Anda dari AWS atau Azure.

  1. Di Konsol Google Cloud, buka Hybrid Connectivity > Cloud Interconnect.
  2. Pilih lampiran VLAN yang terhubung ke lingkungan AWS/Azure Anda.
  3. Di halaman detail untuk koneksi Anda, pilih tab Monitoring. Cari metrik yang menunjukkan transfer data. Secara khusus:
    • Ingress Bytes: Metrik ini menunjukkan data yang berasal dari AWS atau Azure ke VPC Google Cloud Anda.
    • Status Operasional: Pastikan koneksi fisik dan sesi BGP dalam status operasional yang baik.