Mengonfigurasi akses ke sumber: Microsoft Azure Storage

Sebelum mentransfer data dari bucket Azure Storage, Anda harus mengonfigurasi akses ke bucket tersebut agar Storage Transfer Service dapat mengambil objeknya.

Storage Transfer Service mendukung metode autentikasi Azure berikut:

• Token tanda tangan akses bersama (SAS). Token SAS dapat ditentukan secara langsung saat membuat tugas transfer, atau dapat disimpan di Secret Manager.

• Kunci Bersama Azure dapat disimpan di Secret Manager dan secret diteruskan saat membuat tugas transfer.

• Kredensial gabungan diteruskan dalam objek federatedIdentityConfig selama pembuatan tugas transfer.

Dokumen ini juga mencakup informasi tentang cara menambahkan alamat IP pekerja Storage Transfer Service ke firewall Azure Storage Anda untuk mengizinkan akses. Lihat Pembatasan IP untuk mengetahui detailnya.

Region yang didukung

Storage Transfer Service dapat mentransfer data dari region Microsoft Azure Storage berikut:

• Amerika: US Timur, US Timur 2, US Barat, US Barat 2, US Barat 3, US Tengah, US Tengah Utara, US Tengah Selatan, US Tengah Barat, Kanada Tengah, Kanada Timur, Brasil Selatan
• Asia Pasifik: Australia Tengah, Australia Timur, Australia Tenggara, India Tengah, India Selatan, India Barat, Asia Tenggara, Asia Timur, Jepang Timur, Jepang Barat, Korea Selatan, Korea Tengah
• Eropa, Timur Tengah, Afrika (EMEA): Prancis Tengah, Jerman Tengah Barat, Norwegia Timur, Swedia Tengah, Swiss Utara, Eropa Utara, Eropa Barat, Inggris Raya Selatan, Inggris Raya Barat, Qatar Tengah, Uni Emirat Arab Utara, Afrika Selatan Utara

Opsi 1: Mengautentikasi menggunakan token SAS

Ikuti langkah-langkah berikut untuk mengonfigurasi akses ke container Microsoft Azure Storage menggunakan token SAS. Atau, Anda dapat menyimpan token SAS di Secret Manager; untuk melakukannya, ikuti petunjuk di Mengautentikasi menggunakan Kunci Bersama Azure atau token SAS di Secret Manager.

1. Buat atau gunakan pengguna Microsoft Azure Storage yang ada untuk mengakses akun penyimpanan untuk container Blob Microsoft Azure Storage Anda.

2. Buat token SAS di tingkat penampung. Lihat Memberikan akses terbatas ke resource Azure Storage menggunakan tanda tangan akses bersama untuk mengetahui petunjuknya.

   1. Layanan yang diizinkan harus mencakup Blob.

   2. Untuk Jenis resource yang diizinkan, pilih Container dan Object.

   3. Izin yang diperbolehkan harus mencakup Baca dan Buat daftar. Jika transfer dikonfigurasi untuk menghapus objek dari sumber, Anda juga harus menyertakan izin Hapus.

   4. Waktu habis masa berlaku default untuk token SAS adalah 8 jam. Tetapkan waktu habis masa berlaku yang wajar agar Anda dapat berhasil menyelesaikan transfer.

   5. Jangan tentukan alamat IP apa pun di kolom Alamat IP yang diizinkan. Storage Transfer Service menggunakan berbagai alamat IP dan tidak mendukung pembatasan alamat IP.

   6. Protokol yang diizinkan harus Khusus HTTPS.

3. Setelah token dibuat, catat nilai token SAS yang ditampilkan. Anda memerlukan nilai ini saat mengonfigurasi transfer dengan Storage Transfer Service.

Perhatian: Token SAS dasar tidak dapat dicabut, dan satu-satunya cara untuk membatalkan token SAS dasar adalah dengan menghapus kunci akses penyimpanan akun Anda. Sebaiknya buat token SAS dari kebijakan akses yang disimpan, sehingga Anda dapat mencabut kebijakan untuk membatalkan token SAS. Untuk mengetahui informasi selengkapnya, lihat Praktik terbaik saat menggunakan SAS.

Opsi 2: Mengautentikasi menggunakan Kunci Bersama Azure atau token SAS di Secret Manager

Secret Manager adalah layanan aman yang menyimpan dan mengelola data sensitif seperti sandi. Secret Manager menggunakan enkripsi yang kuat, role-based access control, dan logging audit untuk melindungi secret Anda.

Storage Transfer Service mendukung nama resource Secret Manager yang mereferensikan kredensial Azure Anda yang disimpan dengan aman.

Untuk menggunakan Kunci Bersama Azure, Anda harus menyimpan kunci di Secret Manager. Token SAS dapat disimpan di Secret Manager atau diteruskan secara langsung.

Saat Anda menentukan Kunci Bersama, Storage Transfer Service akan menggunakan kunci tersebut untuk membuat SAS layanan yang cakupannya dibatasi ke penampung Azure yang ditentukan dalam tugas transfer.

Mengaktifkan API

Aktifkan Secret Manager API, jika belum diaktifkan.

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

Mengaktifkan API

Mengonfigurasi izin tambahan

Izin pengguna

Pengguna yang membuat secret memerlukan peran berikut:

• Secret Manager Admin (roles/secretmanager.admin)

Pelajari cara memberikan peran.

Izin agen layanan

Agen layanan Storage Transfer Service memerlukan peran IAM berikut:

• Secret Manager Secret Accessor (roles/secretmanager.secretAccessor)

Untuk memberikan peran ke agen layanan Anda:

Cloud Console

1. Ikuti petunjuk untuk mengambil email agen layanan Anda.

2. Buka halaman IAM di konsol Google Cloud .

   Buka IAM

3. Klik Grant access.

4. Di kotak teks New principals, masukkan email agen layanan.

5. Di drop-down Select a role, cari dan pilih Secret Manager Secret Accessor.

6. Klik Simpan.

gcloud

Gunakan perintah gcloud projects add-iam-policy-binding untuk menambahkan peran IAM ke agen layanan Anda.

1. Ikuti petunjuk untuk mengambil email agen layanan Anda.

2. Dari command line, masukkan perintah berikut:

   gcloud projects add-iam-policy-binding PROJECT_ID \
     --member='serviceAccount:SERVICE_AGENT_EMAIL' \
     --role='roles/secretmanager.secretAccessor'
   

Membuat secret

Buat secret dengan Secret Manager:

Cloud Console

1. Buka halaman Secret Manager di konsol Google Cloud .

   Buka Secret Manager

2. Klik Create secret.

3. Masukkan nama.

4. Di kotak teks Secret value, masukkan kredensial Anda dalam salah satu format berikut.

   {
     "sas_token" : "SAS_TOKEN_VALUE"
   }
   

   Atau:

   {
     "access_key" : "ACCESS_KEY"
   }
   

5. Klik Create secret.

6. Setelah secret dibuat, catat nama resource lengkap secret:

   1. Pilih tab Ringkasan.

   2. Salin nilai Nama resource. Menggunakan format berikut:

      projects/1234567890/secrets/SECRET_NAME

gcloud

Untuk membuat secret baru menggunakan alat command line gcloud, teruskan kredensial berformat JSON ke perintah gcloud secrets create:

printf '{
  "sas_token" : "SAS_TOKEN_VALUE"
}' | gcloud secrets create SECRET_NAME --data-file=-

Atau:

printf '{
  "access_key" : "ACCESS_KEY"
}' | gcloud secrets create SECRET_NAME --data-file=-

Ambil nama lengkap resource secret:

gcloud secrets describe SECRET_NAME

Catat nilai name dalam respons. Menggunakan format berikut:

projects/1234567890/secrets/SECRET_NAME

Untuk mengetahui detail selengkapnya tentang cara membuat dan mengelola secret, lihat dokumentasi Secret Manager.

Teruskan rahasia Anda ke perintah pembuatan tugas

Penggunaan Secret Manager dengan Storage Transfer Service memerlukan penggunaan REST API untuk membuat tugas transfer.

Teruskan nama resource Secret Manager sebagai nilai kolom transferSpec.azureBlobStorageDataSource.credentialsSecret:

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "description": "Transfer with Secret Manager",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "azureBlobStorageDataSource": {
      "storageAccount": "AZURE_STORAGE_ACCOUNT_NAME",
      "container": "AZURE_CONTAINER_NAME",
      "credentialsSecret": "SECRET_RESOURCE_ID",
    },
    "gcsDataSink": {
      "bucketName": "CLOUD_STORAGE_BUCKET_NAME"
    }
  }
}

Lihat Membuat transfer untuk mengetahui detail selengkapnya tentang cara membuat transfer.

Opsi 3: Melakukan autentikasi menggunakan identitas gabungan

Storage Transfer Service mendukung penggabungan identitas workload Azure dengan Google Cloud. Storage Transfer Service dapat mengeluarkan permintaan ke Azure Storage melalui aplikasi Azure terdaftar, sehingga tidak perlu meneruskan kredensial ke Storage Transfer Service secara langsung.

Untuk mengonfigurasi identitas gabungan, ikuti petunjuk berikut.

Mengonfigurasi kredensial Google Cloud

Untuk mengizinkan Storage Transfer Service membuat token ID OpenID Connect (OIDC):

Agen layanan

Jika tugas transfer Anda tidak menentukan serviceAccount (yaitu, Anda tidak mendelegasikan izin agen layanan ke akun layanan yang dikelola pengguna), berikan peran Service Account Token Creator (roles/iam.serviceAccountTokenCreator) kepada agen layanan:

1. Ambil accountEmail agen layanan:

   1. Buka halaman referensi googleServiceAccounts.get.
   2. Di bagian Parameter permintaan, masukkan project ID Anda.
   3. Klik Jalankan. accountEmail dan subjectId ditampilkan.

2. Berikan peran Service Account Token Creator (roles/iam.serviceAccountTokenCreator) kepada agen layanan di dirinya sendiri. Ikuti petunjuk di Mengelola akses ke akun layanan.

Akun layanan yang dikelola pengguna

Jika Anda mendelegasikan izin agen layanan ke akun layanan yang dikelola pengguna, kredensial Google Anda dikonfigurasi saat Anda menyiapkan delegasi izin. Tidak diperlukan langkah tambahan.

Mengonfigurasi kredensial Microsoft

Pertama, daftarkan aplikasi dan tambahkan kredensial gabungan:

1. Login ke https://portal.azure.com.
2. Buka halaman App registrations.
3. Klik New registration.
4. Masukkan nama. Misalnya, azure-transfer-app.
5. Pilih Accounts in this organizational directory only.
6. Klik Daftar. Aplikasi dibuat. Catat Application (client) ID dan Directory (tenant) ID. Anda juga dapat mengambilnya nanti dari halaman Ringkasan aplikasi.
7. Klik Certificates & secrets, lalu pilih tab Federated credentials.
8. Klik Tambahkan kredensial.

9. Pilih Other issuer sebagai skenario dan masukkan informasi berikut:

   • Penerbit: https://accounts.google.com

   • ID subjek: Bergantung pada apakah Anda menggunakan agen layanan default atau akun layanan yang dikelola pengguna, salah satu dari berikut ini:

     • subjectId agen layanan Anda, yang Anda ambil di Konfigurasi kredensial Google Cloud.
     • uniqueId akun layanan yang dikelola pengguna Anda. Lihat Mengambil ID unik akun layanan untuk mengetahui detail tentang cara mengambil nilai ini.

   • Nama unik untuk kredensial gabungan.

   • Audiens harus tetap api://AzureADTokenExchange.

10. Klik Tambahkan.

Selanjutnya, berikan akses aplikasi ke container Azure Storage Anda:

1. Buka halaman Storage Accounts di akun Azure Anda.
2. Pilih akun penyimpanan Anda, lalu pilih Containers dari bagian Data storage.
3. Klik bucket yang akan diberi akses.
4. Klik Access Control (IAM) dari menu kiri, lalu pilih tab Roles.
5. Klik menu tambahan (...) di samping peran mana pun, lalu pilih Clone.
6. Masukkan nama untuk peran khusus ini, lalu pilih Mulai dari awal. Klik Berikutnya.
7. Klik Add permissions dan cari Microsoft.Storage/storageAccounts/blobServices/containers/blobs/read.
8. Klik kartu Microsoft Storage yang muncul.
9. Pilih tombol pilihan Tindakan data.
10. Pilih Baca : Baca Blob.
11. Klik Tambahkan.
12. Jika Anda akan menghapus objek di sumber setelah transfer, klik Tambahkan izin lagi dan telusuri Microsoft.Storage/storageAccounts/blobServices/containers/blobs/delete.
13. Klik kartu Microsoft Storage yang muncul, pilih Tindakan data, lalu pilih Hapus : Hapus blob.
14. Klik Tambahkan.
15. Klik Tinjau + buat, lalu Buat. Anda akan kembali ke halaman Kontrol Akses (IAM) bucket.
16. Klik Add, lalu pilih Add role assignment.
17. Dari daftar peran, pilih peran khusus Anda, lalu klik Berikutnya.
18. Klik Select members.
19. Di kolom Select, masukkan nama aplikasi yang sebelumnya Anda daftarkan. Contoh, azure-transfer-app.
20. Klik kartu aplikasi, lalu klik Pilih.
21. Klik Review + assign.

Teruskan ID aplikasi Anda ke perintah pembuatan tugas

ID aplikasi Anda diteruskan ke perintah pembuatan tugas menggunakan objek federatedIdentityConfig. Salin Application (client) ID dan Directory (tenant) ID yang Anda simpan selama langkah-langkah Mengonfigurasi kredensial Microsoft ke dalam kolom client_id dan tenant_id.

"federatedIdentityConfig": {
  "client_id": "efghe9d8-4810-800b-8f964ed4057f",
  "tenant_id": "abcd1234-c8f0-4cb0-b0c5-ae4aded60078"
}

Contoh permintaan pembuatan tugas terlihat seperti berikut:

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "description": "Transfer with Azure Federated Identity",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "azureBlobStorageDataSource": {
      "storageAccount": "AZURE_STORAGE_ACCOUNT_NAME",
      "container": "AZURE_CONTAINER_NAME",
      "federatedIdentityConfig": {
        "client_id": "AZURE_CLIENT_ID",
        "tenant_id": "AZURE_TENANT_ID"
      }
    },
    "gcsDataSink": {
      "bucketName": "CLOUD_STORAGE_BUCKET_NAME"
    }
  }
}

Lihat Membuat transfer untuk mengetahui detail selengkapnya tentang cara membuat transfer.

Pembatasan IP

Jika membatasi akses ke resource Azure menggunakan firewall Azure Storage, Anda harus menambahkan rentang IP yang digunakan oleh pekerja Storage Transfer Service ke daftar IP yang diizinkan.

Karena rentang IP ini dapat berubah, kami memublikasikan nilai saat ini sebagai file JSON di alamat permanen:

https://www.gstatic.com/storage-transfer-service/ipranges.json

Saat rentang baru ditambahkan ke file, kami akan menunggu setidaknya 7 hari sebelum menggunakan rentang tersebut untuk permintaan dari Storage Transfer Service.

Sebaiknya tarik data dari dokumen ini setidaknya setiap minggu agar konfigurasi keamanan Anda tetap terbaru. Untuk contoh skrip Python yang mengambil rentang IP dari file JSON, lihat artikel ini dari dokumentasi Virtual Private Cloud.

Untuk menambahkan rentang ini sebagai IP yang diizinkan, ikuti petunjuk di artikel Microsoft Azure, Mengonfigurasi firewall dan jaringan virtual Azure Storage.