Mengonfigurasi konektivitas pribadi untuk transfer Snowflake

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk mendapatkan dukungan, memberikan masukan, atau menanyakan batasan fitur ini, hubungi [e-mail].

Panduan ini menunjukkan cara mengonfigurasi konektivitas pribadi untuk membuat transfer data pribadi dari Snowflake ke BigQuery. Transfer data pribadi memungkinkan Anda mentransfer data dari satu sumber ke sumber lain dalam jaringan pribadi, dan memungkinkan Anda mengurangi risiko keamanan saat mentransfer data melalui internet publik.

Bagian berikut menunjukkan langkah-langkah yang diperlukan untuk mengonfigurasi konektivitas pribadi sebelum Anda dapat membuat transfer Snowflake.

Transfer pribadi didukung untuk instance Snowflake yang dihosting di Amazon Web Services (AWS), Microsoft Azure, dan Google Cloud.

Membuat link pribadi ke Snowflake

Buat link pribadi yang menghubungkan akun Snowflake Anda ke penyedia cloud Anda. Untuk mengetahui informasi selengkapnya, pilih salah satu opsi berikut:

AWS

Konfigurasi AWS PrivateLink untuk menghubungkan akun Snowflake Anda ke akun AWS Anda. Akun AWS Anda harus berisi bucket penyiapan Amazon S3 yang diperlukan untuk transfer Snowflake.

Azure

Konfigurasi Azure Private Link untuk menghubungkan Jaringan Virtual (VNet) Azure Anda ke VNet Snowflake di Azure. Akun Azure Anda harus berisi bucket penyiapan Blob yang diperlukan untuk transfer Snowflake.

Google Cloud

Konfigurasi Google Cloud Private Service Connect untuk menghubungkan subnet jaringan Virtual Private Cloud (VPC) Anda ke akun Snowflake Anda yang dihosting di Google Cloud.Google Cloud harus memiliki bucket penyiapan Cloud Storage yang diperlukan untuk transfer Snowflake.

Menyiapkan Cross-Cloud Interconnect atau VPN dengan Ketersediaan Tinggi (HA)

Siapkan Cross-Cloud Interconnect atau HA VPN dari AWS atau Azure. Langkah ini tidak diperlukan untuk akun Snowflake yang dihosting di Google Cloud.

AWS

VPN dengan ketersediaan tinggi memungkinkan Anda mentransfer data melalui tunnel VPN yang terenkripsi. Untuk menggunakan VPN dengan ketersediaan tinggi (HA) untuk transfer Snowflake pribadi, lihat Membuat koneksi VPN dengan ketersediaan tinggi (HA) antara Google Cloud dan AWS.

Koneksi Cross-Cloud Interconnect membuat link pribadi khusus antara penyedia cloud dan cocok untuk transfer data besar dengan persyaratan latensi rendah. Untuk menggunakan Cross-Cloud Interconnect untuk transfer Snowflake pribadi, lihat Menghubungkan ke AWS.

Azure

VPN dengan ketersediaan tinggi memungkinkan Anda mentransfer data melalui tunnel VPN yang terenkripsi. Untuk menggunakan VPN dengan ketersediaan tinggi (HA) untuk transfer Snowflake pribadi, lihat Membuat koneksi VPN dengan ketersediaan tinggi (HA) antara Google Cloud dan Azure.

Koneksi Cross-Cloud Interconnect membuat link pribadi khusus antara penyedia cloud dan cocok untuk transfer data besar dengan persyaratan latensi rendah. Untuk menggunakan Cross-Cloud Interconnect untuk transfer Snowflake pribadi, lihat Menghubungkan ke Azure.

Membuat VM proxy

Untuk menyelesaikan koneksi pribadi, VM proxy diperlukan untuk menyelesaikan koneksi antara sumber data Anda tanpa data Anda mencapai internet publik. Langkah ini diperlukan untuk instance Snowflake yang dihosting di AWS, Azure, atau Google Cloud.

Untuk membuat dan mengonfigurasi VM proxy untuk transfer pribadi Snowflake, lakukan hal berikut:

1. Buat satu atau beberapa instance VM Compute Engine dalam jaringan VPC konsumen.
2. Download software proxy TCP, seperti HAProxy atau Nginx, dan konfigurasi hal berikut:
   1. Tentukan port. Misalnya, 443.
   2. Teruskan semua traffic TCP masuk ke nama host dan port pribadi di instance Snowflake.
3. Konfigurasi VM untuk me-resolve nama host pribadi Snowflake melalui DNS yang dikonfigurasi di jaringan VPC konsumen.
4. Siapkan load balancer passthrough internal dengan melakukan langkah-langkah berikut:
   1. Kelompokkan VM proxy ke dalam grup instance terkelola (MIG).
   2. Siapkan Network Load Balancer passthrough internal dengan backend grup instance VM.

Membuat lampiran layanan

Gunakan Private Service Connect untuk membuat lampiran jaringan dan memublikasikan layanan. Langkah ini diperlukan untuk instance Snowflake yang dihosting di AWS, Azure, atau Google Cloud.

Lampiran layanan Anda harus berada di region yang sama dengan set data BigQuery Anda.

Jika layanan Anda menggunakan persetujuan eksplisit (connection-preference ditetapkan sebagai ACCEPT_MANUAL), maka akun layanan yang digunakan dalam transfer data pribadi Snowflake Anda harus memiliki izin IAM berikut:

• compute.serviceAttachments.get
• compute.serviceAttachments.update
• compute.regionOperations.get

Setelah membuat lampiran layanan, catat URI lampiran layanan. Anda akan memerlukan URI ini saat membuat konfigurasi transfer Snowflake.

Buat endpoint

Buat endpoint di akun AWS atau Azure Anda. Langkah ini tidak diperlukan untuk akun Snowflake yang dihosting di Google Cloud.

AWS

Di AWS, buat endpoint VPC yang terhubung ke Amazon S3. Untuk mengetahui informasi selengkapnya, lihat Mengakses layanan AWS menggunakan endpoint VPC antarmuka.

Azure

Konfigurasi Endpoint Pribadi di Akun Penyimpanan di Azure. Untuk mengetahui informasi selengkapnya, lihat Menggunakan endpoint pribadi untuk Azure Storage.

Storage Transfer Service memerlukan endpoint *.blob.core.microsoft.net. Endpoint *.dfs.core.microsoft.net tidak didukung.

Setelah dibuat, catat alamat IP endpoint. Anda harus menentukan alamat IP saat membuat load balancer di bagian berikut.

Membuat load balancer jaringan

Menyiapkan load balancer jaringan (NLB) proxy internal regional dengan konektivitas hybrid. Anda dapat membuat load balancer untuk merutekan traffic ke endpoint VPC Amazon S3 atau endpoint pribadi Azure Storage yang Anda buat di bagian sebelumnya. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan Load Balancer Jaringan proxy internal regional dengan konektivitas hibrida.

Mendaftarkan NLB Anda

Setelah membuat NLB jaringan, daftarkan di Service Directory di Storage Transfer Service. Untuk mengetahui informasi selengkapnya, lihat Mendaftarkan NLB Anda dengan Service Directory.

Catat link ke direktori layanan. Anda memerlukan link mandiri ke layanan saat membuat konfigurasi transfer Snowflake.

Membuat konfigurasi transfer Snowflake pribadi

Buat transfer Snowflake. Saat menyiapkan konfigurasi transfer, lakukan hal berikut:

Konsol

• Untuk Use Private Network, pilih True.
• Untuk PSC Service Attachment, masukkan URI lampiran layanan. Untuk mengetahui informasi tentang cara menemukan URI lampiran layanan, lihat Melihat detail untuk layanan yang dipublikasikan. URI lampiran layanan menggunakan format projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT.
• Untuk Private Network Service, masukkan link mandiri layanan NLB. Menggunakan format projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME.

bq

• Untuk parameter use_private_network, setel ke TRUE.
• Untuk parameter service_attachment, tentukan URI lampiran layanan. Untuk mengetahui informasi tentang cara menemukan URI lampiran layanan, lihat Melihat detail untuk layanan yang dipublikasikan. URI lampiran layanan menggunakan format projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT.
• Untuk parameter private_network_service, berikan link mandiri layanan NLB. Menggunakan format projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME.