Kontrol Layanan VPC dengan Vertex AI

Kontrol Layanan VPC dapat membantu Anda mengurangi risiko pemindahan data yang tidak sah dari Vertex AI. Gunakan Kontrol Layanan VPC untuk membuat perimeter layanan yang melindungi resource dan data yang Anda tentukan. Misalnya, saat Anda menggunakan Kontrol Layanan VPC untuk melindungi Vertex AI, artefak berikut tidak dapat meninggalkan perimeter layanan Anda:

  • Data pelatihan untuk model AutoML atau model kustom
  • Model yang Anda buat
  • Model yang Anda telusuri menggunakan Neural Architecture Search
  • Permintaan inferensi online
  • Hasil dari permintaan inferensi batch
  • Model Gemini

Mengontrol akses ke Google API

Vertex AI API, sebagaimana diuraikan dalam Mengakses Vertex AI dari lokal dan multicloud, mencakup berbagai opsi aksesibilitas, termasuk internet publik, Private Service Connect untuk Google API, dan Akses Google Pribadi.

Akses publik

Secara default, API publik ini dapat dijangkau dari internet; namun, izin IAM diperlukan untuk menggunakannya. Meskipun fitur seperti Private Service Connect untuk Google API dan Akses Google Pribadi memfasilitasi komunikasi pribadi melalui arsitektur jaringan hybrid, fitur tersebut tidak menghilangkan aksesibilitas internet publik untuk Vertex AI API.

Untuk menetapkan kontrol terperinci atas akses API dan membatasi secara eksplisit eksposur internet publik, penerapan Kontrol Layanan VPC menjadi penting. Saat Anda membuat perimeter Kontrol Layanan VPC (VPC-SC) dan menyertakan Vertex AI API dalam layanan yang dilindunginya, semua akses internet publik ke instance Vertex AI Anda akan otomatis diblokir. Akibatnya, pengguna yang mencoba mengakses layanan Vertex AI secara terprogram atau menggunakan konsol Google akan ditolak aksesnya kecuali jika mereka disertakan dalam daftar yang diizinkan. Google Cloud

Untuk memulihkan akses bagi sumber yang sah di luar perimeter (misalnya, pengguna di kantor perusahaan Anda), lihat Mengizinkan akses endpoint publik ke resource yang dilindungi dari luar perimeter Kontrol Layanan VPC untuk mengetahui petunjuk penyebaran.

Akses pribadi

Organisasi yang perlu membatasi akses publik ke Google API menjadi akses pribadi dapat menggunakan Kontrol Layanan VPC bersama dengan Private Service Connect untuk Google API (paket Kontrol Layanan VPC) atau Akses Google Pribadi. Saat di-deploy melalui jaringan hybrid dan dalam Google Cloud, kedua opsi memungkinkan akses pribadi ke Google API dari lokal. Namun, Private Service Connect untuk Google API juga menawarkan fleksibilitas dalam menentukan alamat IP dan nama endpoint DNS kustom.

Sebagai praktik terbaik, gunakan IP Virtual (VIP) terbatas dengan Private Service Connect untuk Google API atau Akses Google Pribadi guna menyediakan rute jaringan pribadi untuk permintaan ke layanan Google Cloud tanpa mengekspos permintaan ke internet. VIP terbatas mendukung semua API yang dapat dilindungi oleh Kontrol Layanan VPC yang memerlukan pertimbangan untuk jaringan VPC dan lokal. Berikut beberapa contohnya:

Mengontrol akses API melalui akses layanan pribadi

API Vertex AI berikut yang di-deploy dengan akses layanan pribadi memerlukan konfigurasi jaringan tambahan saat diterapkan di lingkungan yang dilindungi dengan Kontrol Layanan VPC:

  • Vector Search (kueri indeks)
  • Pelatihan kustom (bidang data)
  • Vertex AI Pipelines
  • Endpoint prediksi online pribadi

Misalnya, Vertex AI Pipelines adalah layanan yang dikelola Google (produser), di-deploy dalam project dan jaringan VPC tenant tunggal dengan kemampuan untuk menskalakan layanan yang didukung berdasarkan persyaratan konsumen. Komunikasi antara jaringan produsen dan konsumen dilakukan dengan Peering Jaringan VPC, kecuali untuk keluar internet, yang dirutekan melalui jaringan produsen.

Di jaringan produsen, ada rute default yang memungkinkan traffic keluar internet, selain akses tidak terbatas ke Google API. Memperbarui jaringan produsen untuk mendukung VIP terbatas memerlukan pengaktifan Kontrol Layanan VPC untuk peering, yang melakukan tindakan berikut pada semua layanan yang didukung yang di-deploy di jaringan produsen Jaringan Layanan Anda:

  • Menghapus rute default IPv4 (tujuan 0.0.0.0/0, next hop gateway internet default).
  • Membuat zona pribadi yang dikelola Cloud DNS dan memberikan otorisasi untuk mengakses zona tersebut di jaringan VPC produsen layanan. Zona ini mencakup googleapis.com, pkg.dev, gcr.io, dan nama host atau domain lain yang diperlukan untuk Google API dan layanan Google yang kompatibel dengan VPC Service Controls.
  • Data catatan di zona menyelesaikan semua nama host ke 199.36.153.4, 199.36.153.5, 199.36.153.6, dan 199.36.153.7.

Metode alternatif untuk menghapus rute default dari jaringan produsen tanpa memengaruhi layanan yang dikelola Google yang ada adalah dengan menggunakan VPN dengan ketersediaan tinggi (HA) melalui Cloud Interconnect yang terdiri dari langkah-langkah berikut:

  1. Deploy jaringan VPC layanan selain dengan HA VPN ke jaringan VPC konsumen.
  2. Deploy layanan terkelola Google di jaringan VPC layanan.
  3. Aktifkan Kontrol Layanan VPC untuk peering.
  4. Memberitahukan subnet akses layanan pribadi sebagai pemberitahuan rute kustom dari Cloud Router jika layanan terkelola memerlukan keterjangkauan lokal.
  5. Perbarui peering jaringan VPC Service Networking dengan opsi ekspor rute kustom.

Dukungan Kontrol Layanan VPC untuk pipeline penyesuaian AI Generatif

Dukungan Kontrol Layanan VPC disediakan dalam pipeline penyesuaian model berikut:

  • text-bison for PaLM 2
  • BERT
  • T5
  • Rangkaian model textembedding-gecko.

Menggunakan Kontrol Layanan VPC dengan Vertex AI Pipelines

Perimeter layanan memblokir akses dari Vertex AI ke API dan layanan pihak ketiga di internet. Jika Anda menggunakan Google Cloud komponen Pipeline atau membuat komponen pipeline kustom sendiri untuk digunakan dengan Vertex AI Pipelines, Anda tidak dapat menginstal dependensi PyPI dari registri Python Package Index (PyPI) publik. Sebagai gantinya, Anda harus melakukan salah satu hal berikut:

Menggunakan container kustom

Sebagai praktik terbaik software produksi, penulis komponen harus menggunakan komponen Python yang di-container dan membangun dependensi ke dalam image container mereka, sehingga tidak ada penginstalan langsung yang diperlukan selama menjalankan pipeline. Salah satu cara untuk melakukannya adalah sebagai berikut:

  1. Bangun image container Anda sendiri dengan Kubeflow Pipelines SDK dan paket lain yang sudah diinstal sebelumnya. Misalnya, Anda dapat menggunakan us-docker.pkg.dev/vertex-ai/training/tf-cpu.2-17:latest sebagai lapisan dasar image dan menambahkan lapisan ekstra untuk menginstal paket saat build container.

  2. Perbarui kode definisi komponen Anda untuk menyetel jalur base_image dan tanda install_kfp_package ke False. Flag ini menginstruksikan compiler KFP untuk tidak menyuntikkan perintah pip install kfp ke command line container, karena paket Kubeflow Pipelines SDK sudah diinstal dalam image. Contoh:

    @component(
    base_image='gcr.io/deeplearning-platform-release/tf-cpu.2-17',
    install_kfp_package=False,
)
def my_component(...):
    ...

Menginstal paket dari repositori Artifact Registry

Atau, Anda dapat membuat repositori Artifact Registry di project, menyimpan paket Python di dalamnya, dan mengonfigurasi lingkungan Vertex AI untuk menginstal dari repositori tersebut seperti yang diuraikan di bagian ini. Untuk mengetahui informasi selengkapnya, lihat Mengelola paket Python.

Mengonfigurasi peran dan izin

  1. Akun layanan untuk lingkungan Vertex AI Anda harus memiliki peran iam.serviceAccountUser.
  2. Jika Anda menginstal paket PyPI kustom dari repositori di jaringan project Anda, dan repositori ini tidak memiliki alamat IP publik:
    1. Tetapkan izin untuk mengakses repositori ini ke akun layanan lingkungan.
    2. Pastikan konektivitas ke repositori ini dikonfigurasi di project Anda.

Membuat repositori

  1. Buat repositori Artifact Registry dalam mode VPC di project Anda.
  2. Simpan paket Python yang diperlukan di repositori.

Mengonfigurasi lingkungan Vertex AI untuk menginstal dari repositori

Untuk menginstal paket PyPI kustom dari satu atau beberapa repositori Artifact Registry, lakukan panggilan yang mirip dengan berikut ke @dsl.component:

@dsl.component(packages_to_install=["tensorflow"],
pip_index_urls=['https://us-central1-python.pkg.dev/mygcpproject1/pypi-repo1/simple', 'https://us-central1-python.pkg.dev/mygcpproject2/pypi-repo2/simple'],)
def hello_world(text: str) -> str:
    import my_package
    import tensorflow

    return my_package.hello_world(text)

Menggunakan Kontrol Layanan VPC dengan Antarmuka PSC

API Vertex AI berikut yang di-deploy dengan antarmuka koneksi layanan pribadi memerlukan konfigurasi jaringan tambahan saat diterapkan di lingkungan yang dilindungi dengan Kontrol Layanan VPC:

  • Pelatihan kustom (bidang data)
  • Vertex AI Pipelines
  • Endpoint inferensi online pribadi
  • Vertex AI Agent Engine

Kemampuan layanan produsen Vertex AI untuk mengakses internet publik bergantung pada konfigurasi keamanan project Anda, khususnya apakah Anda menggunakan Kontrol Layanan VPC atau tidak:

  • Tanpa Kontrol Layanan VPC: Tenant yang dikelola Google yang menghosting Vertex AI mempertahankan akses internet defaultnya. Traffic keluar ini keluar langsung dari lingkungan terkelola Google yang aman tempat layanan produser Anda berjalan. Pengecualian untuk perilaku ini adalah Vertex AI Agent Engine, yang tidak menyediakan keluar internet. Sebagai gantinya, Anda harus men-deploy VM proxy dengan alamat RFC 1918 untuk keluar dari internet.

  • Dengan Kontrol Layanan VPC: Jika project Anda berada dalam perimeter Kontrol Layanan VPC (VPC-SC), akses internet default lingkungan yang dikelola Google yang menghosting Vertex AI akan diblokir. Pembatasan ini adalah langkah keamanan yang dirancang untuk mencegah pemindahan data yang tidak sah. Untuk mengizinkan Vertex AI mengakses internet publik dalam skenario ini, Anda harus secara eksplisit mengonfigurasi jalur keluar yang aman yang merutekan traffic melalui jaringan VPC Anda.

Metode yang direkomendasikan meliputi:

  1. Men-deploy server proxy di dalam perimeter VPC Anda dalam subnet RFC 1918.
  2. Membuat gateway Cloud NAT untuk mengizinkan VM proxy menjangkau internet.
  3. Menentukan server proxy (alamat IP atau FQDN) di lingkungan runtime Anda.

Tidak ada proxy jaringan yang ditentukan atau disukai untuk tugas ini. Anda dapat menggunakan solusi yang sesuai. Contohnya antara lain: Squid proxy, HAProxy, Envoy, dan TinyProxy.

Pembuatan perimeter layanan

Untuk ringkasan tentang cara membuat perimeter layanan, lihat Membuat perimeter layanan dalam dokumentasi Kontrol Layanan VPC.

Menambahkan layanan terbatas ke perimeter Anda

Saat membuat perimeter layanan, sebaiknya sertakan semua layanan yang dibatasi sebagai praktik terbaik keamanan. Pendekatan komprehensif ini membantu meminimalkan potensi kerentanan dan akses tidak sah. Namun, mungkin ada skenario saat organisasi Anda memiliki persyaratan khusus yang berfokus pada pengamanan Vertex AI dan API yang saling terhubung. Dalam kasus tersebut, Anda memiliki fleksibilitas untuk memilih dan menyertakan hanya API Vertex AI tertentu yang penting untuk operasi Anda.

Vertex AI API yang dapat Anda masukkan ke dalam perimeter layanan Anda mencakup hal berikut:

  • Vertex AI API mendukung layanan dan fitur berikut:
    • Inferensi batch
    • Set data
    • Vertex AI Feature Store (penyajian online Bigtable)
    • Vertex AI Feature Store (penyajian online yang dioptimalkan)
    • AI Generatif di Vertex AI (Gemini)
    • Vertex AI Model Registry
    • Inferensi online
    • Penyesuaian model terbuka
    • Vector Search (pembuatan indeks)
    • Vector Search (kueri indeks)
    • Pelatihan kustom (bidang kontrol)
    • Pelatihan kustom (bidang data)
    • Vertex AI Pipelines
    • Endpoint inferensi online pribadi
    • Colab Enterprise
    • Vertex AI Agent Engine
  • Notebooks API mendukung layanan berikut:
    • Vertex AI Workbench

Batasan

Batasan berikut berlaku saat Anda menggunakan Kontrol Layanan VPC:

  • Untuk pelabelan data, Anda harus menambahkan alamat IP pemberi label ke tingkat akses.
  • Untuk Komponen Pipeline Google Cloud , komponen meluncurkan container yang memeriksa semua persyaratan image dasarnya. Paket KFP, serta paket apa pun yang tercantum dalam argumen packages_to_install adalah persyaratan untuk container. Jika persyaratan yang ditentukan belum ada dalam image dasar (baik yang disediakan maupun kustom), komponen akan mencoba mendownloadnya dari Python Package Index (PyPI). Karena perimeter layanan memblokir akses dari Vertex AI ke API dan layanan pihak ketiga di internet, download gagal dengan Connection to pypi.org timed out. Untuk mengetahui cara menghindari error ini, lihat Menggunakan Kontrol Layanan VPC dengan Vertex AI Pipelines.
  • Saat menggunakan Kontrol Layanan VPC dengan kernel kustom di Vertex AI Workbench, Anda harus mengonfigurasi peering DNS untuk mengirim permintaan *.notebooks.googleusercontent.com ke subnet 199.36.153.8/30 (private.googleapis.com), bukan 199.36.153.4/30 (restricted.googleapis.com).
  • Saat menggunakan Kontrol Layanan VPC dengan Inferensi Vertex AI, endpoint harus dibuat setelah project ditambahkan ke perimeter layanan. Jika endpoint dibuat dalam project yang bukan bagian dari perimeter layanan, dan setelah itu project tersebut ditambahkan ke perimeter layanan, maka upaya untuk men-deploy model ke endpoint tersebut akan gagal. Jika endpoint adalah endpoint publik bersama, maka pengiriman permintaan ke endpoint juga akan gagal. Demikian pula, upaya untuk men-deploy model ke endpoint akan gagal jika endpoint dibuat dalam project yang merupakan bagian dari perimeter layanan, dan setelah itu project dihapus.
  • Saat menggunakan Kontrol Layanan VPC dengan Vertex AI Agent Engine, project harus menjadi bagian dari perimeter layanan sebelum Anda men-deploy agen. Jika agen di-deploy sebelum project ditambahkan ke perimeter, agen tidak akan diamankan oleh Kontrol Layanan VPC dan akan terus memiliki akses ke internet publik.
  • Deployment publik sekali klik Model Garden (endpoint khusus) tidak didukung dalam lingkungan VPC-SC. Sebagai gantinya, gunakan endpoint pribadi yang mendukung Kontrol Layanan VPC. Untuk mengetahui informasi selengkapnya, lihat Men-deploy model ke endpoint pribadi.

Langkah berikutnya