Transfer dari AWS atau Azure melalui jaringan pribadi yang dikelola pelanggan

Koneksi jaringan pribadi, yang dibuat menggunakan Google Cloud Cross-Cloud Interconnect atau Partner Interconnect, dapat menawarkan keuntungan signifikan untuk transfer data antara AWS atau Azure dan Cloud Storage:

• Pengoptimalan biaya potensial: Berpotensi menghemat biaya keluar. Hal ini dapat bermanfaat bagi pelanggan dengan interkoneksi yang ada atau pelanggan yang melakukan transfer data besar atau berulang, sehingga menghasilkan penghematan jangka panjang yang signifikan.
• Bandwidth jaringan khusus: Penggunaan interconnect dapat menawarkan throughput berkapasitas tinggi yang konsisten dan latensi yang lebih rendah, yang sangat penting untuk migrasi besar yang sensitif terhadap waktu dan sinkronisasi data real-time.
• Memenuhi kebutuhan kepatuhan: Ideal untuk beban kerja yang persyaratan peraturannya mewajibkan data tidak berada di internet publik. Fitur ini membantu Anda mentransfer data secara pribadi menggunakan interkoneksi untuk mencapai kepatuhan, mendukung kedaulatan data, dan menyederhanakan audit.

Ringkasan

Dokumen ini akan memandu Anda melalui langkah-langkah untuk:

• Memesan dan mengonfigurasi Cross-Cloud Interconnect
• Membuat endpoint di S3 atau Azure
• Menyiapkan Network Load Balancer proxy internal regional dengan konektivitas hybrid
• Mendaftarkan load balancer Anda dengan Service Directory
• Buat transfer
• Mengonfirmasi bahwa traffic menggunakan interkoneksi

Izin yang diperlukan

Anda memerlukan izin tertentu untuk menyelesaikan setiap bagian berikut. Izin ini tercantum dalam dokumentasi untuk serangkaian langkah tersebut.

Opsi interkoneksi

Storage Transfer Service dapat mentransfer data dari AWS dan Azure melalui Cross-Cloud Interconnect (CCI) atau Partner Interconnect.

Langkah-langkah di bawah khusus untuk CCI, tetapi juga berlaku saat mengonfigurasi jaringan untuk Partner Interconnect.

Memesan dan mengonfigurasi Cross-Cloud Interconnect

Cross-Cloud Interconnect adalah koneksi fisik khusus antara Google Cloud dan penyedia cloud lainnya.

Jika Anda sudah memiliki koneksi CCI, lanjutkan ke bagian berikutnya.

AWS

Ikuti petunjuk untuk Menghubungkan ke Amazon Web Services untuk memesan dan mengonfigurasi Cross-Cloud Interconnect baru. Anda memerlukan izin yang benar untuk mengonfigurasi jaringan di Google Cloud dan juga di AWS.

Tonton video yang membahas langkah-langkah untuk memesan dan mengonfigurasi CCI antara AWS dan Google Cloud.

Azure

Ikuti petunjuk untuk Menghubungkan ke Microsoft Azure untuk memesan dan mengonfigurasi Cross-Cloud Interconnect baru. Anda memerlukan izin yang benar untuk mengonfigurasi jaringan di Google Cloud dan juga di Azure.

Tonton video yang membahas langkah-langkah untuk memesan dan mengonfigurasi CCI antara Azure dan Google Cloud.

Jika bucket Cloud Storage Anda adalah bucket regional, Anda harus mengonfigurasi CCI di region yang sama dengan bucket Anda untuk mengurangi latensi jaringan.

Buat endpoint di S3 atau Azure

Buat endpoint di akun S3 atau Azure Anda.

AWS

Di akun Amazon Web Services Anda, buat endpoint VPC yang terhubung ke S3.

Ikuti petunjuk AWS berikut: Mengakses layanan AWS menggunakan endpoint VPC antarmuka untuk membuat endpoint.

Azure

Konfigurasi Endpoint Pribadi di Akun Penyimpanan di Azure dengan mengikuti langkah-langkah berikut.

Storage Transfer Service memerlukan endpoint *.blob.core.microsoft.net. Endpoint *.dfs.core.microsoft.net tidak didukung.

Setelah dibuat, catat alamat IP endpoint. Anda harus menentukan alamat IP saat membuat load balancer di bagian berikutnya.

Menyiapkan Network Load Balancer proxy internal regional dengan konektivitas hybrid

Di Google Cloud, siapkan Load Balancer Jaringan proxy internal regional dengan konektivitas hibrida. Hal ini memberikan alamat IP internal yang dibatasi untuk klien yang berjalan di jaringan VPC yang sama dengan load balancer, dan yang merutekan traffic ke endpoint VPC S3 atau endpoint pribadi Azure Storage yang Anda buat di bagian sebelumnya.

Anda harus membuat load balancer di project dan jaringan VPC yang sama dengan lampiran VLAN yang berinteraksi dengan Cloud Interconnect. Meskipun interkoneksi itu sendiri dapat berada di project yang berbeda dalam organisasi yang sama, lampiran harus berada di VPC dan region yang sama dengan load balancer.

• Menyiapkan Load Balancer Jaringan proxy internal regional dengan konektivitas hibrida

Tentukan alamat IP endpoint VPC S3 atau endpoint pribadi Azure Storage saat Anda mencapai langkah-langkah yang diberi label Tambahkan endpoint ke NEG konektivitas hybrid.

Catat alamat IP dan port frontend NLB, karena Anda harus menentukannya di bagian berikutnya.

Memvalidasi koneksi

Sebelum melanjutkan, sebaiknya Anda memvalidasi bahwa load balancer dapat terhubung ke endpoint penyimpanan jarak jauh.

Untuk melakukannya:

1. Buat VM Compute Engine di jaringan VPC yang sama dengan load balancer Anda.

2. Dari VM, gunakan curl untuk menguji konektivitas ke alamat IP dan port load balancer:

   curl -v --resolve HOSTNAME:LOAD_BALANCER_IP:PORT https://HOSTNAME
   

   Dengan:

   • <var>HOSTNAME</var> adalah nama host penyedia penyimpanan sumber Anda.
     • Untuk AWS S3, gunakan endpoint API S3 untuk region bucket Anda, misalnya s3.us-west-1.amazonaws.com.
     • Untuk Azure Storage, gunakan endpoint blob akun penyimpanan Anda, misalnya mystorageaccount.blob.core.windows.net.
   • <var>PORT</var> adalah port yang Anda konfigurasi pada aturan penerusan load balancer, biasanya 443.
   • <var>LOAD_BALANCER_IP</var> adalah alamat IP frontend load balancer Anda.

Respons dari endpoint jarak jauh, bahkan error, menunjukkan bahwa konektivitas berhasil. Waktu tunggu koneksi habis menunjukkan adanya kesalahan konfigurasi dalam penyiapan jaringan yang harus Anda selesaikan sebelum melanjutkan.

Mendaftarkan NLB Anda dengan Direktori Layanan

Daftarkan NLB di Direktori Layanan. Storage Transfer Service menggunakan Service Directory untuk menyelesaikan alamat load balancer dan terhubung langsung ke load balancer.

Ikuti petunjuk untuk mendaftarkan load balancer internal. Gunakan alamat IP dan port load balancer yang Anda buat saat menentukan aturan penerusan.

Setelah dibuat, catat link mandiri layanan. Menggunakan format projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}. Anda akan memerlukan nilai ini saat membuat tugas transfer.

Buat transfer

Berikan izin berikut kepada agen layanan. Untuk mengetahui petunjuk tentang cara mengambil agen layanan, dan memberikan izin kepada agen layanan, lihat Izin agen layanan yang dikelola Google.

• Pelihat Service Directory (roles/servicedirectory.viewer) di tingkat project, pada project yang berisi Resource Service Directory.
• Layanan Resmi Private Service Connect (roles/servicedirectory.pscAuthorizedService) di tingkat project, pada project yang berisi VPC.
• Storage Legacy Bucket Writer (roles/storage.legacyBucketWriter) di bucket tujuan.

Catatan: Jika Anda mendelegasikan izin agen layanan ke akun layanan yang dikelola pengguna, berikan izin ini ke akun layanan yang dikelola pengguna.

Untuk membuat tugas transfer yang menggunakan Cross-Cloud Interconnect, Anda harus menggunakan REST API Storage Transfer Service. Kirim permintaan sebagai berikut. Perhatikan kolom privateNetworkService, tempat Anda akan menentukan selfLink layanan Service Directory.

AWS

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
        "privateNetworkService": "SERVICE_SELF_LINK",
        "bucketName": "S3_BUCKET_NAME",
        "awsAccessKey": {
          "accessKeyId": "ACCESS_KEY_ID",
          "secretAccessKey": "SECRET_ACCESS_KEY"
        }
    },
    "gcsDataSink": {
        "bucketName": "GCS_BUCKET_NAME"
    }
  }
}

Azure

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "azureBlobStorageDataSource": {
          "privateNetworkService": "SERVICE_SELF_LINK",
          "storageAccount": "AZURE_SOURCE_NAME",
          "container": "AZURE_CONTAINER",
          "azureCredentials": {
              "sasToken": "AZURE_SAS_TOKEN",
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_BUCKET_NAME"
      }
  }
}

Dengan:

• SERVICE_SELF_LINK adalah link mandiri layanan Service Directory. Menggunakan format projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}.

Untuk mengetahui informasi tentang kolom lain, lihat dokumentasi referensi transferSpec.

Mengonfirmasi bahwa traffic menggunakan interkoneksi

Gunakan Cloud Monitoring untuk memverifikasi traffic yang mengalir melalui interkoneksi Anda dari AWS atau Azure.

1. Di Konsol Google Cloud, buka Hybrid Connectivity > Cloud Interconnect.
2. Pilih lampiran VLAN yang terhubung ke lingkungan AWS/Azure Anda.
3. Di halaman detail untuk koneksi Anda, pilih tab Monitoring. Cari metrik yang menunjukkan transfer data. Secara khusus:
   • Byte Masuk: Metrik ini menunjukkan data yang masuk dari AWS atau Azure ke VPC Google Cloud Anda.
   • Status Operasional: Pastikan koneksi fisik dan sesi BGP dalam status operasional yang baik.