Dokumen ini menyediakan arsitektur tingkat tinggi untuk sistem AI agentic guna mengorkestrasi interaksi dengan berbagai sistem perusahaan. Agen orchestrator mengotomatiskan proses yang kompleks dan menyatukan akses ke beberapa sistem perusahaan melalui antarmuka percakapan yang modern. Sistem ini mungkin berupa aplikasi pihak ketiga komersial atau sistem internal eksklusif. Pendekatan desain ini menghilangkan integrasi sistem point-to-point, sehingga operator Anda dapat menghindari pengalihan konteks yang konstan (pemrosesan swivel-chair).
Audiens yang dituju untuk dokumen ini mencakup arsitek, developer, dan administrator yang membangun dan mengelola aplikasi AI agentic di cloud. Dokumen ini mengasumsikan bahwa Anda memiliki pemahaman dasar tentang AI agentic.
Arsitektur
Diagram berikut menunjukkan arsitektur multi-lapisan tempat agen orchestrator menggunakan AI untuk mengarahkan interaksi klien dari beberapa saluran ke sistem backend yang sesuai.
Komponen dalam arsitektur diatur dalam lapisan berikut:
- Saluran interaksi
Dalam contoh arsitektur, klien berinteraksi dengan sistem AI agentic melalui beberapa saluran:
- Frontend kustom, seperti aplikasi web yang berkomunikasi dengan agen melalui REST API yang aman dan mendukung proses human-in-the-loop.
- Antarmuka chat ad hoc di Gemini Enterprise yang memanggil agen sebagai alat yang aman dan memungkinkan pengguna berinteraksi dengan sistem backend yang kompleks menggunakan bahasa alami.
- Aplikasi eksternal yang memulai alur kerja otomatisasi sistem ke sistem dengan memublikasikan peristiwa bisnis ke topik Pub/Sub.
- Core agentic
Komponen inti arsitektur ini adalah agen orchestrator yang dibangun menggunakan Agent Development Kit (ADK) dan di-deploy di Cloud Run. Orchestrator mengelola sistem multi-agen. Platform serverless ini menyediakan skalabilitas dan kontrol akses menggunakan Identity and Access Management (IAM) untuk REST API agen.
Untuk mempertahankan status di seluruh tugas multi-langkah, agen menggunakan dukungan ADK bawaan untuk mempertahankan data status di Sesi Gemini Enterprise Agent Platform atau di Cloud Storage.
- Integrasi standar dengan sistem backend
Untuk komunikasi antara agen dan sistem backend, arsitektur ini menggunakan server Model Context Protocol (MCP) yang di-deploy di Cloud Run.
- MCP Toolbox for Databases menyediakan sekumpulan alat siap pakai yang aman untuk mengakses database seperti Cloud SQL.
- Server MCP kustom menyediakan akses ke aplikasi backend.
Setiap server MCP mengekspos API sistem backend tertentu sebagai sekumpulan alat yang terstandardisasi. Server MCP membentuk lapisan anti-korupsi yang mengisolasi agen dari sistem backend. Pendekatan ini membantu menghindari pengaitan erat antara agen dengan sistem backend. Hal ini menyederhanakan logika agen dan memungkinkan Anda memodernisasi sistem backend secara independen dari agen.
- Sistem backend
Dalam contoh arsitektur, agen AI mengatur akses ke sistem backend berikut:
- Database operasional di Cloud SQL.
- Aplikasi yang di-deploy di VM Compute Engine.
- Aplikasi yang berjalan di luar Google Cloud.
Produk yang digunakan
Contoh arsitektur ini menggunakan produk dan alat Google Cloud serta open source berikut:
- Gemini Enterprise Agent Platform: Platform komprehensif yang memungkinkan Anda membangun, menskalakan, mengatur, dan mengoptimalkan agen AI tingkat perusahaan.
- Cloud Run: Platform komputasi serverless yang memungkinkan Anda menjalankan container langsung di atas infrastruktur Google yang skalabel.
- Cloud SQL: Layanan database relasional yang terkelola sepenuhnya yang membantu Anda menyediakan, mengoperasikan, dan mengelola database MySQL, PostgreSQL, dan SQL Server di Google Cloud.
- Cloud Storage: Penyimpanan objek berbiaya rendah dan tanpa batas untuk beragam jenis data. Data dapat diakses dari dalam dan luar Google Cloud, serta direplikasi di berbagai lokasi untuk redundansi.
- Compute Engine: Layanan komputasi yang aman dan dapat disesuaikan yang memungkinkan Anda membuat dan menjalankan VM di infrastruktur Google.
- Gemini: Rangkaian model AI multimodal yang dikembangkan oleh Google.
- Gemini Enterprise: Platform aman yang terkelola sepenuhnya untuk men-deploy dan mengelola agen AI dalam perusahaan.
- Pub/Sub: Layanan pesan asinkron dan skalabel yang memisahkan layanan yang menghasilkan pesan dari layanan yang memproses pesan tersebut.
- Agent Development Kit (ADK): Serangkaian alat dan library untuk mengembangkan, menguji, dan men-deploy agen AI.
- Model Context Protocol (MCP): Standar open source untuk menghubungkan aplikasi AI ke sistem eksternal.
- MCP Toolbox for Databases: Server Model Context Protocol (MCP) open source yang memungkinkan agen AI terhubung secara aman ke database dengan mengelola kompleksitas database seperti penggabungan koneksi, autentikasi, dan kemampuan observasi.
Untuk mengetahui informasi tentang komponen alternatif untuk sistem AI agentic Anda, seperti runtime, alat, dan memori agen, lihat Memilih komponen arsitektur AI agentic Anda.
Kasus penggunaan
Arsitektur ini berguna untuk kasus penggunaan berikut:
- Mengotomatiskan pemrosesan swivel-chair antara aplikasi eksternal dan internal yang berbeda.
- Membuat antarmuka terpadu untuk beberapa sistem lama tanpa migrasi skala besar.
- Menambahkan kemampuan percakapan yang cerdas ke proses bisnis yang ada.
- Memodernisasi aplikasi Anda secara bertahap dengan fungsi berbasis peristiwa.
Arsitektur ini memberikan manfaat berikut:
- Produktivitas: Otomatiskan tugas berulang untuk mengurangi kesalahan manusia, sehingga tim Anda dapat berfokus pada tugas yang bernilai tambah.
- Skalabilitas: Gunakan pendekatan berbasis peristiwa untuk mengembangkan, men-deploy, dan menskalakan layanan secara independen.
- Pengalaman pengguna yang ditingkatkan: Bangun antarmuka yang modern dan fleksibel untuk mengintegrasikan proses bisnis yang kompleks.
- Integrasi yang siap menghadapi masa depan: Standarkan integrasi dengan sistem backend menggunakan server MCP, sehingga Anda dapat mengganti dan mengupgrade sistem backend secara independen.
Pertimbangan desain
Bagian ini menjelaskan faktor desain, praktik terbaik, dan rekomendasi yang perlu dipertimbangkan saat Anda menggunakan arsitektur referensi ini untuk mengembangkan topologi yang memenuhi persyaratan spesifik Anda terkait keamanan, efisiensi operasional, dan performa.
Panduan di bagian ini tidak lengkap. Untuk mengetahui informasi selengkapnya tentang faktor desain dan praktik terbaik, serta rekomendasi tentang cara membangun dan men-deploy sistem AI multi-agen, lihat Sistem AI multi-agen di Google Cloud.
Keamanan, privasi, dan kepatuhan
Untuk membantu mengatasi risiko keamanan unik agen AI, Google merekomendasikan pendekatan yang menggabungkan kontrol keamanan deterministik dengan pertahanan dinamis berbasis penalaran:
- Pengawasan manusia: Gabungkan alur human-in-the-loop dalam sistem yang penting bagi bisnis sehingga pengawas manusia dapat meninjau output dan menyetujui, mengganti, atau menjeda tindakan agen.
- Agent Identity: Tetapkan identitas yang terikat workload ke setiap agen untuk menerapkan kontrol akses dengan hak istimewa terendah dan mengelola kredensial untuk alat eksternal secara terpusat.
- Agent Gateway: Terapkan tata kelola traffic ingress dan egress, kebijakan akses tolak default, serta pemeriksaan perintah dan alat inline dengan Model Armor.
Agent Registry: Memastikan agen hanya terhubung ke sub-agen dan alat MCP yang disetujui.
Keamanan layanan Cloud Run: Untuk layanan Cloud Run, gunakan akun layanan IAM khusus dengan izin berdasarkan prinsip hak istimewa terendah. Amankan API agen dengan mengonfigurasi kontrol ingress Cloud Run untuk membatasi akses ke pemanggil yang diautentikasi. Untuk mengautentikasi dan mengizinkan permintaan agen dan alat masuk ke server MCP yang dihosting di Cloud Run, gunakan Identity-Aware Proxy (IAP) dengan Agent Gateway.
Efisiensi operasional
Untuk membantu memastikan bahwa konfigurasi agen Anda memenuhi persyaratan efisiensi operasional, pertimbangkan rekomendasi berikut:
- Kemampuan observasi: Dalam sistem terdistribusi, logging dan pelacakan sangat penting untuk pemecahan masalah. Untuk mendapatkan visibilitas ke seluruh alur kerja agen, instrumentasikan layanan Anda untuk menulis log terstruktur ke Cloud Logging dan mengirimkan trace ke Cloud Trace.
- Otomatisasi deployment: Otomatiskan penyediaan dan pengelolaan resource menggunakan alat infrastructure as code (IaC) seperti Terraform. IaC membantu memastikan deployment yang dapat diulang dan diaudit di seluruh pengembangan, staging, dan produksi.
- Tata kelola infrastruktur: Sederhanakan desain dan deployment infrastruktur aplikasi Anda menggunakan Application Design Center. Anda dapat menggunakan App Design Center untuk menentukan template yang menggabungkan aturan tata kelola dan praktik terbaik untuk organisasi Anda.
Pengoptimalan performa
Cloud Run melakukan penskalaan secara otomatis berdasarkan permintaan dan saat tidak ada beban, Cloud Run akan melakukan penskalaan hingga nol. Untuk aplikasi yang sensitif terhadap latensi, Anda dapat meminimalkan cold start dengan mengonfigurasi jumlah minimum instance.
Langkah berikutnya
- (Codelab) Cara men-deploy server MCP yang aman di Cloud Run.
- (Codelab) Membangun dan men-deploy agen yang menggunakan server MCP di Cloud Run.
- (Codelab) Pemanggilan asinkron aplikasi AI agentic menggunakan peristiwa.
- (Kursus Google Skills) Membangun Sistem Multi-Agen dengan ADK.
- (Contoh kode) Temukan contoh kode lainnya di GitHub untuk membangun agen dengan ADK.
- Untuk ringkasan prinsip dan rekomendasi arsitektur yang khusus untuk workload AI dan ML di Google Cloud, lihat Perspektif AI dan ML dalam Well-Architected Framework.
Kontributor
Penulis: Casey West | Architecture Advocate, Google Cloud
Kontributor lainnya:
- Amina Mansour | Tech Lead, Global Developer Relations & Strategic Content
- Kumar Dhanagopal | Developer Solusi Lintas Produk
- Leonid Yankulin | Developer Relations Engineer