Konektivitas pribadi untuk aplikasi AI generatif berkemampuan RAG

Last reviewed 2026-11-03 UTC

Dokumen ini menyediakan arsitektur referensi yang dapat Anda gunakan untuk membantu mengamankan infrastruktur jaringan untuk aplikasi dengan retrieval-augmented generation (RAG). Arsitektur RAG biasanya berisi subsistem terpisah untuk menangani alur pemrosesan data dan pengambilan konten. Arsitektur referensi ini menunjukkan cara menggunakan VPC Bersama untuk melakukan hal berikut:

  • Buat pemisahan antara subsistem menggunakan izin Identity and Access Management (IAM).
  • Hubungkan komponen aplikasi menggunakan alamat IP pribadi.

Audiens yang dituju untuk dokumen ini mencakup arsitek, developer, serta administrator jaringan dan keamanan. Dokumen ini mengasumsikan bahwa Anda memiliki pemahaman dasar tentang jaringan. Dokumen ini tidak menjelaskan pembuatan aplikasi berbasis RAG.

Arsitektur

Diagram berikut menunjukkan arsitektur jaringan yang disajikan dalam dokumen ini:

Arsitektur jaringan untuk aplikasi dengan RAG.

Koneksi dan alur traffic untuk arsitektur jaringan.

Arsitektur dalam diagram sebelumnya menunjukkan komponen berikut:

Jaringan eksternal, baik lokal maupun di cloud lain

Jaringan eksternal yang menjalankan fungsi berikut:

  • Menyediakan konektivitas jaringan kepada data engineer yang mengupload data RAG mentah.
  • Menghentikan konektivitas jaringan eksternal.
  • Menghosting router eksternal.
  • Menyediakan konektivitas ke endpoint Private Service Connect di jaringan Virtual Private Cloud (VPC) perutean Google Cloud .
  • Berisi server DNS yang mengarah ke endpoint Private Service Connect.
Project pemilihan rute

Project Google Cloud yang menjalankan fungsi berikut:

  • Menghosting jaringan VPC perutean, yang terhubung ke jaringan eksternal melalui koneksi Cloud Interconnect atau Cloud VPN.
  • Menghosting hub Network Connectivity Center (NCC) yang menghubungkan jaringan eksternal, jaringan VPC perutean, dan jaringan VPC Bersama.
  • Menghosting endpoint Private Service Connect yang terhubung ke endpoint Cloud Storage regional. Endpoint ini memungkinkan data engineer mengupload data RAG ke bucket Cloud Storage.
Project host VPC Bersama RAG

Menghosting jaringan VPC Bersama yang menghosting Load Balancer Aplikasi internal layanan frontend dan layanan lain yang memerlukan jaringan VPC. Semua project layanan memiliki akses ke jaringan VPC Bersama tersebut.

Project layanan penyerapan data

Berisi bucket Cloud Storage untuk input data mentah. Berisi subsistem penyerapan data, yang mencakup komponen berikut:

  • Pemrosesan penyerapan: Membaca data mentah dan memprosesnya.
  • Output penyerapan: Menulis ke datastore akhir.
Project layanan penayangan

Berisi subsistem inferensi, yang mencakup komponen berikut yang menyediakan layanan dan fungsi untuk inferensi dan interaksi:

  • Datastore RAG yang berisi output subsistem penyerapan data.
  • Proses inferensi yang memberi makan model dengan menggabungkan kueri inferensi dengan data dari datastore RAG.
  • Model yang digunakan subsistem penyajian untuk membuat vektor dari data RAG yang diupload dan untuk memproses permintaan pengguna akhir.
Project layanan frontend

Berisi subsistem frontend, yang merupakan Load Balancer Aplikasi di depan layanan interaksi pengguna yang berjalan di Cloud Run atau Google Kubernetes Engine (GKE).

Project ini juga berisi Google Cloud Armor, yang membantu membatasi cara layanan Anda diakses. Jika ingin memberikan akses dari internet, Anda dapat menambahkan Load Balancer Aplikasi eksternal regional.

Perimeter Kontrol Layanan VPC

Membantu melindungi dari pemindahan data yang tidak sah. Data yang disimpan di bucket Cloud Storage tidak dapat disalin ke mana pun di luar perimeter, dan operasi bidang kontrol dilindungi.

Bagian berikut menjelaskan koneksi dan aliran traffic yang ada dalam arsitektur.

Koneksi antarkomponen

Bagian ini menjelaskan koneksi antara komponen dan jaringan dalam arsitektur ini.

Jaringan eksternal ke jaringan VPC pemilihan rute

Jaringan eksternal terhubung ke jaringan VPC perutean Google Cloud melalui Cloud Interconnect atau Cloud VPN, yang merupakan spoke hybrid dari hub NCC.

Cloud Router di jaringan VPC perutean dan router eksternal di jaringan eksternal bertukar rute Border Gateway Protocol (BGP):

  • Router di jaringan eksternal mengumumkan rute untuk subnet eksternal ke Cloud Router VPC perutean. Anda dapat menyatakan preferensi rute menggunakan metrik dan atribut BGP.
  • Cloud Router di jaringan VPC perutean memberitahukan rute untuk awalan di VPC Google Cloudke jaringan eksternal.

Merutekan jaringan VPC ke jaringan VPC Bersama

Anda menghubungkan jaringan VPC perutean dan jaringan VPC RAG menggunakan spoke VPC NCC dari hub NCC. Hub ini juga menghosting spoke hybrid ke jaringan eksternal.

Resource-ke-resource dalam jaringan VPC Bersama

Dalam desain ini, bucket Cloud Storage menerima data dari jaringan eksternal. Permintaan inferensi masuk melalui Load Balancer Aplikasi internal regional. Untuk bagian sistem lainnya, Anda memiliki opsi berikut:

  • Hosting semuanya di infrastruktur SaaS Google, seperti bucket Cloud Storage, Gemini Enterprise Agent Platform, Cloud Run, dan Pub/Sub. Dalam hal ini, komponen berkomunikasi melalui infrastruktur Google pribadi.
  • Hosting semuanya dalam workload yang berjalan di VM Compute Engine, cluster GKE, database Cloud SQL, atau komponen lain yang berjalan di jaringan VPC. Dalam hal ini, sistem berkomunikasi menggunakan alamat IP pribadi di seluruh jaringan yang Anda tautkan melalui NCC atau Peering Jaringan VPC.
  • Menggunakan kombinasi layanan terkelola sepenuhnya, platform, dan infrastruktur. Dalam hal ini, Anda dapat membuat koneksi antara jaringan VPC dan layanan terkelola sepenuhnya menggunakan metode berikut:
    • Akses Google Pribadi: Dengan metode ini, workload yang tidak memiliki alamat IP eksternal dan yang berjalan di jaringan VPC dapat mengakses Google API. Akses ini terjadi secara internal melalui infrastruktur Google dan proses ini tidak mengekspos traffic tersebut ke internet.
    • Private Service Connect: Dengan metode ini, Anda dapat membuat endpoint di project layanan untuk layanan seperti AlloyDB untuk PostgreSQL yang dihosting di jaringan VPC terkelola.

Jaringan eksternal ke Load Balancer Aplikasi layanan frontend

Endpoint Load Balancer Aplikasi internal regional adalah alamat IP di jaringan RAG. Jaringan RAG, jaringan pemilihan rute, dan koneksi hybrid ke jaringan eksternal semuanya merupakan spoke dari hub NCC yang sama. Oleh karena itu, Anda dapat menginstruksikan NCC untuk mengekspor semua subrentang spoke ke hub, yang kemudian mengekspor ulang subrentang tersebut ke jaringan spoke lainnya. Pengguna akhir sistem kemudian dapat menjangkau layanan yang di-load balanced dari jaringan eksternal.

Alur traffic

Alur traffic dalam arsitektur referensi ini mencakup alur data RAG dan alur inferensi.

Alur populasi RAG

Alur ini menjelaskan cara data RAG mengalir melalui sistem dari data engineer ke penyimpanan vektor.

  1. Dari jaringan eksternal, data engineer mengupload data mentah melalui koneksi Cloud Interconnect atau koneksi Cloud VPN. Data diupload ke endpoint Private Service Connect di jaringan VPC perutean.
  2. Data dikirim melalui infrastruktur internal Google ke bucket Cloud Storage di project layanan penyerapan data.

  3. Dalam project layanan penyerapan data, data berpindah antar-sistem menggunakan salah satu metode berikut:

    • Akses Google Pribadi
    • Endpoint Private Service Connect
    • Infrastruktur Google langsung

    Metodenya bergantung pada apakah sistem dihosting di jaringan VPCGoogle Cloud atau langsung diGoogle Cloud. Sebagai bagian dari alur ini, subsistem penyerapan data memasukkan data RAG yang telah dipotong-potong ke model, yang menghasilkan vektor untuk setiap potongan.

  4. Subsistem penyerapan data menulis data vektor dan data yang di-chunk ke datastore yang sesuai.

Alur inferensi

Alur ini menjelaskan permintaan pelanggan.

  1. Dari jaringan eksternal, pelanggan mengirimkan permintaan ke alamat IP layanan.
  2. Permintaan dikirim melalui koneksi Cloud Interconnect atau koneksi Cloud VPN ke jaringan VPC perutean.
  3. Permintaan berjalan melalui koneksi spoke VPC ke jaringan VPC RAG.
  4. Permintaan pelanggan tiba di Load Balancer Aplikasi, yang meneruskan permintaan ke subsistem frontend.
  5. Subsistem frontend meneruskan permintaan ke subsistem inferensi.
  6. Subsistem inferensi memperkaya permintaan menggunakan data kontekstual yang relevan dari datastore.
  7. Subsistem inferensi mengirimkan perintah yang telah diaugmentasi ke model AI, yang menghasilkan respons.

Produk yang digunakan

Arsitektur referensi ini menggunakan produk Google Cloud berikut:

  • Virtual Private Cloud (VPC): Sistem virtual yang menyediakan fungsionalitas jaringan global yang skalabel untuk workload Google Cloud Anda. VPC mencakup Peering Jaringan VPC, Private Service Connect, akses layanan pribadi, dan VPC Bersama.
  • VPC Bersama: Fitur Virtual Private Cloud yang memungkinkan Anda menghubungkan resource dari beberapa project ke jaringan VPC umum menggunakan alamat IP internal dari jaringan tersebut.
  • Private Service Connect: Fitur yang memungkinkan konsumen mengakses layanan terkelola secara pribadi dari dalam jaringan VPC mereka.
  • Akses Google Pribadi: Fitur yang memungkinkan instance VM tanpa alamat IP eksternal menjangkau alamat IP eksternal Google API dan layanan Google.
  • Cloud Interconnect: Layanan yang memperluas jaringan eksternal Anda ke jaringan Google melalui koneksi yang memiliki ketersediaan tinggi dan latensi rendah.
  • Cloud VPN: Layanan yang memperluas jaringan peer Anda dengan aman ke jaringan Google melalui tunnel VPN IPsec.
  • Cloud Router: Penawaran terdistribusi dan terkelola sepenuhnya yang menyediakan kemampuan speaker dan responder Border Gateway Protocol (BGP). Cloud Router berfungsi dengan Cloud Interconnect, Cloud VPN, dan Router appliance untuk membuat rute dinamis di jaringan VPC berdasarkan rute yang diterima BGP dan rute kustom yang dipelajari.
  • Network Connectivity Center: Framework orkestrasi yang menyederhanakan konektivitas jaringan di antara resource spoke yang terhubung ke resource pengelolaan terpusat yang disebut hub.
  • Kontrol Layanan VPC: Fungsi jaringan terkelola yang meminimalkan risiko pemindahan data yang tidak sah untuk resource Google Cloud Anda.
  • Cloud Load Balancing: Portofolio load balancer global dan regional yang berperforma tinggi dan skalabel.
  • Model Armor: Layanan yang memberikan perlindungan untuk resource AI generatif dan agentic Anda dari injeksi perintah, kebocoran data sensitif, dan konten berbahaya.
  • Google Cloud Armor: Layanan keamanan jaringan yang menawarkan aturan firewall aplikasi web (WAF) dan membantu melindungi dari serangan DDoS dan serangan aplikasi.
  • Cloud Storage: Penyimpanan objek berbiaya rendah dan tanpa batas untuk beragam jenis data. Data dapat diakses dari dalam dan luar Google Cloud, serta direplikasi di berbagai lokasi untuk redundansi.

Kasus penggunaan

Arsitektur ini dirancang untuk skenario perusahaan yang input, output, dan komunikasi internal dari keseluruhan sistemnya harus menggunakan alamat IP pribadi dan tidak boleh melintasi internet:

  • Input pribadi: Data yang diupload tidak dikirim melalui internet. Sebagai gantinya, Anda menghosting bucket Cloud Storage di balik endpoint Private Service Connect di jaringan VPC perutean Google Cloud Anda. Anda menyalin data RAG melalui koneksi Cloud Interconnect atau Cloud VPN hanya menggunakan alamat IP pribadi.
  • Konektivitas antar-layanan pribadi: Layanan berkomunikasi satu sama lain melalui antarmuka internal Google atau melalui alamat pribadi yang bersifat internal untuk jaringan VPC Anda.
  • Output pribadi: Hasil inferensi tidak dapat dijangkau melalui internet kecuali jika Anda memilih untuk menyiapkan akses tersebut. Secara default, hanya pengguna di jaringan eksternal yang ditetapkan yang dapat menjangkau endpoint pribadi layanan Anda.

Alternatif desain

Bagian ini menyajikan pendekatan desain jaringan alternatif yang dapat Anda pertimbangkan untuk aplikasi yang mendukung RAG di Google Cloud.

Membuat layanan tersedia secara publik

Dalam arsitektur yang ditampilkan dalam dokumen ini, hanya pengguna di jaringan internal Anda yang dapat mengirim kueri ke aplikasi Anda. Jika aplikasi Anda harus dapat diakses oleh klien di internet, gunakan Load Balancer Aplikasi eksternal regional.

Menggunakan GKE Inference Gateway

Jika subsistem frontend Anda berjalan di GKE, Anda dapat menggunakan GKE Inference Gateway, bukan Load Balancer Aplikasi.

Pertimbangan desain

Bagian ini memberikan panduan tambahan untuk membantu Anda men-deploy jaringan guna mendukung konektivitas pribadi untuk arsitektur yang mendukung RAG. Panduan ini dapat membantu Anda memenuhi persyaratan spesifik untuk keamanan, privasi, dan kepatuhan, keandalan, pengoptimalan biaya, efisiensi operasional, dan pengoptimalan performa. Panduan di bagian ini tidak lengkap. Untuk deployment tertentu, Anda mungkin perlu mempertimbangkan faktor desain tambahan yang tidak dibahas di bagian ini.

Keamanan, privasi, dan kepatuhan

Untuk membantu mengamankan arsitektur yang mendukung RAG dan memenuhi persyaratan privasi dan kepatuhan Anda, pertimbangkan rekomendasi berikut:

  • Penyaringan perintah dan respons: Deploy Model Armor di depan model AI untuk mengevaluasi perintah masuk dan hasil keluar terhadap injeksi perintah, upaya jailbreak, kebocoran data sensitif, dan pelanggaran kebijakan Responsible AI. Anda dapat mengintegrasikan Model Armor langsung dengan Gemini Enterprise Agent Platform atau melampirkan Model Armor ke Load Balancer Aplikasi menggunakan ekstensi traffic Service Extensions untuk menolak permintaan yang tidak pantas sebelum mencapai subsistem penyajian. Untuk mengakses endpoint regional Model Armor secara pribadi dari dalam jaringan VPC tanpa error sertifikat saat menggunakan Akses Google Pribadi atau Kontrol Layanan VPC, buat endpoint Private Service Connect regional untuk API Model Armor.
  • Mikrosegmentasi perimeter dan jaringan: Arsitektur ini menggunakan Kontrol Layanan VPC untuk membantu mencegah pemindahan data yang tidak sah di seluruh project layanan Anda. Selain perimeter layanan, gunakan kebijakan firewall hierarkis dan jaringan Cloud Next Generation Firewall dengan tag yang diatur IAM untuk membatasi traffic timur-barat antara workload penyerapan data, penyajian, dan frontend di jaringan VPC Bersama.
  • Identitas dan akses zero-trust: Terapkan kontrol akses zero-trust pada Load Balancer Aplikasi internal frontend atau Load Balancer Aplikasi eksternal regional dengan mengaktifkan Identity-Aware Proxy (IAP) sehingga hanya pengguna yang diautentikasi dan diotorisasi yang dapat mengkueri aplikasi RAG. Gabungkan akun layanan dengan hak istimewa terendah dengan kebijakan Batas Akses Akun Utama untuk membatasi resource yang dapat diakses oleh setiap akun utama subsistem. Jika subsistem inferensi Anda mengorkestrasi agen otonom atau alat Model Context Protocol (MCP) di seluruh jaringan pribadi, gunakan Agent Identity dan Agent Gateway untuk mengautentikasi dan mengatur traffic agen ke alat.
  • Privasi dan enkripsi data: Gunakan Sensitive Data Protection di subsistem penyerapan data untuk memeriksa, mengklasifikasikan, dan melakukan de-identifikasi informasi identitas pribadi (PII) dalam dokumen mentah yang diupload ke bucket Cloud Storage sebelum membuat embedding dan menulis ke datastore RAG. Jika kepatuhan terhadap peraturan memerlukan kontrol atas kunci enkripsi, konfigurasikan kunci enkripsi yang dikelola pelanggan (CMEK) di Cloud Key Management Service (Cloud KMS) untuk bucket Cloud Storage, datastore vektor, dan endpoint model.

Desain ini menggunakan prinsip keamanan yang sudah ada untuk membantu mengamankan workload RAG Anda. Untuk prinsip dan rekomendasi keamanan yang khusus untuk workload AI dan ML, lihat Perspektif AI dan ML: Keamanan dalam Well-Architected Framework.

Keandalan

Untuk membangun dan mengoperasikan infrastruktur jaringan yang andal untuk aplikasi yang mendukung RAG, pertimbangkan rekomendasi berikut:

  • Konektivitas hybrid redundan: Konfigurasikan lampiran VLAN Cloud Interconnect atau tunnel VPN dengan ketersediaan tinggi (HA) redundan di beberapa domain dan region ketersediaan edge, yang dipasangkan dengan Cloud Router redundan untuk failover BGP dinamis antara jaringan eksternal Anda dan jaringan VPC perutean.
  • Load balancing dan penyimpanan multi-region: Untuk ketersediaan tinggi di seluruh region, gunakan Load Balancer Aplikasi internal lintas region untuk mendistribusikan traffic inferensi di seluruh frontend dan backend inferensi di beberapa region, dan gunakan bucket Cloud Storage dual-region atau multi-region dengan datastore vektor yang direplikasi.
  • Penyerapan asinkron dan ketahanan kuota: Pisahkan upload data mentah ke bucket Cloud Storage dari pipeline pemrosesan penyerapan menggunakan Pub/Sub dengan topik yang dihentikan pengirimannya atau kebijakan percobaan ulang Eventarc sehingga kegagalan embedding atau pengindeksan sementara dapat dicoba ulang tanpa kehilangan data. Untuk latensi dan kapasitas yang dapat diprediksi selama pembuatan dan inferensi embedding bervolume tinggi, pesan Throughput yang Disediakan dan terapkan backoff eksponensial untuk respons HTTP 429.

Untuk prinsip dan rekomendasi keandalan yang khusus untuk workload AI dan ML, lihat Perspektif AI dan ML: Keandalan dalam Framework Arsitektur yang Baik.

Pengoptimalan biaya

Untuk mengoptimalkan biaya pembuatan dan menjalankan arsitektur yang mendukung RAG, pertimbangkan rekomendasi berikut:

  • Egress jaringan dan pemilihan endpoint: Tempatkan jaringan VPC perutean, endpoint Private Service Connect, bucket Cloud Storage, datastore RAG, dan endpoint model di region yang sama untuk menghindari biaya transfer data antar-region di seluruh spoke NCC. Gabungkan endpoint Private Service Connect bersama di jaringan VPC pemilihan rute atau host untuk mengurangi biaya endpoint dan pemrosesan data per jam.
  • Pengelolaan siklus proses penyimpanan: Konfigurasikan Object Lifecycle Management atau Autoclass Cloud Storage pada bucket penyerapan data mentah untuk mentransisikan dokumen sumber yang diproses ke kelas penyimpanan yang lebih dingin atau menghapus file staging setelah vektor ditulis ke datastore RAG.
  • Embedding batch dan cache konteks: Untuk update korpus RAG yang besar dan tidak mendesak di subsistem penyerapan data, gunakan prediksi batch untuk embedding atau inferensi batch dengan biaya yang lebih rendah daripada permintaan online. Di subsistem penyajian, aktifkan cache konteks untuk petunjuk sistem berulang dan dokumen referensi yang sering diambil guna mengurangi biaya token input.

Untuk prinsip dan rekomendasi pengoptimalan biaya yang khusus untuk workload AI dan ML, lihat Perspektif AI dan ML: Pengoptimalan biaya dalam Well-Architected Framework.

Efisiensi operasional

Untuk mengoperasikan dan mengelola infrastruktur jaringan dan RAG Anda secara efisien, pertimbangkan rekomendasi berikut:

  • Infrastructure as Code (IaC): Otomatiskan penyediaan project perutean, project host dan layanan VPC Bersama, hub dan spoke NCC, endpoint Private Service Connect, dan perimeter Kontrol Layanan VPC menggunakan modul Terraform dari Blueprint fondasi perusahaan dan Infrastructure Manager.
  • Resolusi DNS pribadi terpusat: Sederhanakan pengelolaan DNS di seluruh jaringan eksternal dan spoke VPC Anda menggunakan zona pribadi Cloud DNS dan kebijakan penerusan masuk atau keluar di jaringan VPC perutean sehingga klien lokal dan project layanan otomatis me-resolve endpoint Private Service Connect dan alamat IP Load Balancer Aplikasi internal.
  • Kemampuan observasi jaringan dan AI: Pantau konektivitas hybrid, traffic spoke NCC, dan penolakan kebijakan Kontrol Layanan VPC menggunakan Network Intelligence Center (termasuk Uji Konektivitas dan Flow Analyzer), Cloud Logging, dan Cloud Monitoring. Evaluasi relevansi dan keakuratan pengambilan secara berkelanjutan dalam subsistem inferensi menggunakan layanan evaluasi AI generatif.

Untuk prinsip dan rekomendasi keunggulan operasional yang khusus untuk workload AI dan ML, lihat Perspektif AI dan ML: Keunggulan operasional dalam Framework Arsitektur yang Baik.

Pengoptimalan performa

Untuk mengoptimalkan performa workload jaringan dan RAG, pertimbangkan rekomendasi berikut:

  • Bandwidth hybrid dan kolokasi regional: Atur ukuran lampiran VLAN Cloud Interconnect atau tunnel Cloud VPN Anda untuk menangani volume upload data mentah puncak dari jaringan eksternal Anda tanpa memenuhi bandwidth yang digunakan bersama dengan permintaan inferensi interaktif. Tempatkan endpoint Private Service Connect regional, bucket Cloud Storage, datastore vektor (seperti Penelusuran Vektor atau AlloyDB untuk PostgreSQL), dan endpoint model di region yang paling dekat dengan titik kehadiran interkoneksi hybrid Anda untuk meminimalkan latensi bolak-balik jaringan.
  • Penskalaan komputasi dan pemilihan rute inferensi: Jika subsistem frontend atau penyajian Anda berjalan di Cloud Run, konfigurasikan instance minimum dan sesuaikan setelan konkurensi untuk menghilangkan latensi cold start selama lonjakan traffic. Jika Anda menyajikan model terbuka di GKE, gunakan Inference Gateway untuk melakukan perutean yang mendukung KV-cache dan mendukung beban di seluruh server model.

Untuk mengetahui prinsip dan rekomendasi pengoptimalan performa yang khusus untuk workload AI dan ML, lihat Perspektif AI dan ML: Pengoptimalan performa dalam Well-Architected Framework.

Deployment

Bagian ini menjelaskan langkah-langkah untuk membuat aplikasi Anda:

  1. Identifikasi region untuk workload.
  2. Buat Google Cloud project dan jaringan VPC.
  3. Hubungkan jaringan eksternal ke jaringan VPC perutean Anda.
  4. Menautkan jaringan menggunakan NCC.
  5. Identifikasi komponen untuk deployment RAG dan buat akun layanan.
  6. Mengonfigurasi Kontrol Layanan VPC.
  7. Membangun subsistem penyerapan data.
  8. Membangun subsistem inferensi.
  9. Membangun subsistem frontend.
  10. Membuat aplikasi Anda dapat dijangkau dari internet.

Mengidentifikasi region untuk workload

Secara umum, Anda ingin menempatkan konektivitas, subnet VPC, dan workload Google Cloud di dekat jaringan lokal atau klien cloud lainnya. Untuk mengetahui informasi selengkapnya tentang cara memilih region untuk workload Anda, lihat Google Cloud Pemilih Region dan Praktik terbaik untuk pemilihan region Compute Engine.

Membuat Google Cloud project dan jaringan VPC

Jika organisasi Anda telah menyiapkan Cross-Cloud Network untuk aplikasi terdistribusi, project perutean dan jaringan VPC perutean Anda seharusnya sudah ada.

Buat projectGoogle Cloud dan jaringan VPC dengan urutan berikut:

  1. Buat project pemilihan rute.
  2. Buat jaringan VPC perutean dengan Akses Google Pribadi yang diaktifkan.
  3. Buat project RAG.
  4. Mempromosikan project RAG menjadi project host VPC Bersama.
  5. Buat project layanan penyerapan data.
  6. Buat project layanan inferensi.
  7. Buat project layanan frontend.
  8. Buat jaringan RAG VPC Bersama dengan Akses Google Pribadi yang diaktifkan.
  9. Berikan izin kepada project layanan untuk menggunakan jaringan RAG.

Menghubungkan jaringan eksternal ke jaringan VPC perutean Anda

Anda dapat melewati langkah ini jika sudah menyiapkan Cross-Cloud Network untuk aplikasi terdistribusi.

Siapkan konektivitas antara jaringan eksternal dan jaringan perutean Anda. Untuk memahami teknologi yang relevan, lihat Konektivitas eksternal dan hybrid. Untuk panduan tentang cara memilih produk konektivitas, lihat Memilih produk Network Connectivity.

  1. Dalam project pemilihan rute, buat hub NCC.
  2. Tambahkan koneksi Cloud Interconnect sebagai spoke lampiran VLAN, atau tambahkan koneksi Cloud VPN sebagai spoke VPN.
  3. Tambahkan jaringan VPC RAG dan jaringan VPC perutean ke hub sebagai spoke VPC.

Mengidentifikasi komponen untuk deployment RAG dan membuat akun layanan

  1. Pilih deployment RAG dan buat daftar komponen yang diperlukan.
  2. Identifikasi akses yang diperlukan setiap komponen.
  3. Untuk setiap komponen, buat akun layanan dengan izin yang sesuai. Dalam beberapa kasus, ini berarti Anda memberikan izin kepada komponen untuk membaca dari atau menulis ke project layanan yang berbeda.

Desain ini mengasumsikan bahwa Anda menggunakan bucket Cloud Storage sebagai komponen input data dan menggunakan Load Balancer Aplikasi di frontend inferensi Anda. Bagian lain dari desain Anda dapat bervariasi sesuai kebutuhan.

Idealnya, setiap komponen berjalan sebagai akun layanannya sendiri. Pastikan setiap komponen hanya memiliki izin IAM minimum yang diperlukan untuk menjalankan fungsi yang diperlukan. Misalnya, tugas Cloud Run di subsistem penyerapan data perlu membaca dari bucket Cloud Storage input, tetapi tidak perlu menulis ke bucket tersebut. Dalam contoh ini, project layanan yang menjalankan tugas Cloud Run harus memiliki izin untuk hanya membaca dari bucket, tanpa izin tulis.

Mengonfigurasi Kontrol Layanan VPC

  1. Buat perimeter Kontrol Layanan VPC di sekitar deployment Anda.
  2. Konfigurasi aturan akses.

Membangun subsistem penyerapan data

Subsistem penyerapan data mengambil data mentah dari data engineer dan memprosesnya untuk digunakan oleh subsistem inferensi.

  1. Dalam project layanan penyerapan data, buat bucket Cloud Storage.
  2. Di jaringan VPC perutean, buat endpoint Private Service Connect regional, dan hubungkan endpoint ke bucket.
  3. Di jaringan eksternal, tambahkan entri DNS untuk endpoint menggunakan alamat IP dan URL yang dibuat pada langkah sebelumnya.
  4. Perbarui aturan firewall jaringan eksternal untuk mengizinkan akses ke alamat IP endpoint.
  5. Dalam project layanan penyerapan data, bangun sisa pipeline penyerapan sesuai dengan arsitektur RAG yang Anda pilih.
  6. Berikan izin IAM agar resource yang relevan dalam pipeline penyerapan dapat mengakses model yang menghasilkan vektor.
  7. Berikan izin IAM agar resource yang relevan dalam pipeline penyerapan dapat menulis ke datastore vektor.

Membangun subsistem inferensi

  1. Di project layanan inferensi, bangun pipeline inferensi Anda.
  2. Berikan izin IAM agar akun layanan di sistem frontend dapat mengakses output subsistem inferensi.

Membangun subsistem frontend

Bagian ini mengasumsikan bahwa Anda menggunakan Load Balancer Aplikasi internal regional yang menggunakan NEG serverless di depan Cloud Run. Namun, Anda dapat menggunakan load balancer dan backend yang berbeda.

  1. Buat kode untuk sistem frontend Anda.
  2. Dalam project layanan frontend, deploy sistem frontend yang di-load balanced, yang mencakup langkah opsional untuk mengonfigurasi kebijakan keamanan Cloud Armor.
  3. Konfigurasikan Cloud Router di jaringan VPC perutean untuk meneruskan rute dari jaringan VPC RAG ke router lokal. Konfigurasi ini memungkinkan klien menjangkau Load Balancer Aplikasi.
  4. Di jaringan eksternal, konfigurasikan aturan firewall agar frontend load balancer dapat dijangkau dari jaringan eksternal.
  5. Di jaringan eksternal Anda, perbarui DNS agar mengarah ke aturan penerusan Load Balancer Aplikasi.

Membuat aplikasi Anda dapat dijangkau dari internet

Bagian ini bersifat opsional.

Desain ini mengasumsikan bahwa Anda ingin layanan Anda hanya dapat dijangkau dari jaringan eksternal, tetapi Anda juga dapat membuat layanan tersebut dapat dijangkau dari internet.

Agar layanan dapat dijangkau dari internet, selesaikan langkah-langkah berikut:

  1. Buat Load Balancer Aplikasi eksternal regional yang mengarah ke backend yang sama dengan yang ditunjuk oleh Load Balancer Aplikasi internal. Selesaikan langkah opsional untuk mengonfigurasi kebijakan keamanan Cloud Armor.
  2. Perbarui Kontrol Layanan VPC agar pelanggan layanan dapat menjangkau layanan backend.

Langkah berikutnya

Kontributor

Penulis:

  • Deepak Michael | Networking Specialist Customer Engineer
  • Mark Schlagenhauf | Technical Writer, Networking

Kontributor lainnya: