Kasus penggunaan AI agentic: Mengklasifikasikan data multimodal

Last reviewed 2026-03-03 UTC

Dokumen ini memberikan arsitektur tingkat tinggi untuk sistem AI multi-agen yang di-deploy di Cloud Run yang menganalisis data multimodal yang berbeda-beda dan menghasilkan klasifikasi dengan keyakinan tinggi. Pendekatan ini melakukan validasi silang media yang terfragmentasi dengan mencocokkan data live dengan kebenaran dasar historis untuk menghasilkan insight yang berdasar dan dapat diverifikasi.

Audiens yang dituju untuk dokumen ini mencakup arsitek, developer, dan administrator yang membangun dan mengelola infrastruktur dan aplikasi AI di cloud. Dokumen ini mengasumsikan bahwa Anda memiliki pemahaman dasar tentang agen dan model AI. Dokumen ini tidak memberikan panduan khusus untuk mendesain dan membuat kode agen AI.

Bagian Deployment dalam dokumen ini mencantumkan contoh kode yang dapat Anda gunakan untuk mempelajari cara membangun dan men-deploy sistem AI multi-agen.

Arsitektur

Diagram berikut menunjukkan arsitektur sistem AI multi-agen yang menggunakan pola desain agen paralel untuk mengoordinasikan analisis independen pada data multimodal guna menghasilkan klasifikasi tunggal.

Arsitektur sistem AI multi-agen yang mengklasifikasikan data multimodal.

Arsitektur ini menampilkan aliran data berikut:

  1. Aplikasi web mengirimkan permintaan ke agen root untuk menganalisis sekumpulan data multimodal untuk klasifikasi. Agen root adalah agen koordinator yang menerima permintaan dan di-deploy di layanan Cloud Run.
  2. Agen root menangani permintaan dengan cara berikut:
    1. Agen root memulai before_agent_callback untuk mengumpulkan konfigurasi lingkungan, memvalidasi input pengguna, dan menyimpan jalur resource dalam status sesi bersama. Semua subagen dapat mengakses status sesi bersama, yang menghilangkan panggilan berlebihan untuk mengambil data status dan mengurangi latensi secara keseluruhan.
    2. Agen root menggunakan Gemini di Vertex AI untuk menafsirkan permintaan pengguna dan mendistribusikan tugas ke subagen khusus yang berjalan secara paralel.
  3. Setiap sub-agen dikhususkan dalam domain tertentu dan melakukan tugas berikut secara independen:
    1. Subagen analis gambar dan video berinteraksi dengan server Model Context Protocol (MCP) kustom untuk melakukan tindakan berikut:
      1. Mengambil data mentah tidak terstruktur yang disimpan di bucket Cloud Storage.
      2. Mengirim permintaan ke Gemini untuk menafsirkan data input, mengklasifikasikan data, dan menghitung tingkat keyakinan.
      3. Gemini mengirimkan klasifikasi yang disarankan dan tingkat keyakinan kembali ke server MCP kustom.
      4. Server MCP kustom meneruskan respons kembali ke subagen.
    2. Sub-agen analis data terstruktur mengatur analisis dengan menyelesaikan tugas berikut:
      1. Berinteraksi dengan server MCP BigQuery untuk mengambil data terstruktur dan kontekstual (seperti catatan historis, log peristiwa, atau pembacaan sensor) yang disimpan dalam set data BigQuery.
      2. Analis data terstruktur mengirim permintaan ke Gemini untuk menafsirkan data input, mengklasifikasikan data, dan menghitung tingkat keyakinan.
      3. Gemini mengirimkan kembali klasifikasi dan tingkat keyakinan yang disarankan ke sub-agen.
  4. Setiap subagen mengirimkan kembali saran klasifikasi dan tingkat keyakinan ke agen root.
  5. Agen root menggunakan Gemini untuk meringkas output dari subagen khusus untuk menghasilkan klasifikasi tunggal dengan tingkat keyakinan tinggi.
    • Jika sebagian besar klasifikasi dari subagen khusus cocok, maka agen root akan mengirimkan klasifikasi yang cocok ke aplikasi web.
    • Jika sub-agen tidak memberikan klasifikasi yang cocok, agen root akan memilih klasifikasi dengan tingkat keyakinan tertinggi dan mengirimkannya ke aplikasi web.

Produk yang digunakan

Arsitektur referensi ini menggunakan produk dan alat berikut: Google Cloud

  • Cloud Run: Platform komputasi serverless yang memungkinkan Anda menjalankan container langsung di atas infrastruktur Google yang bersifat skalabel.
  • Vertex AI: Platform ML yang memungkinkan Anda melatih dan men-deploy model ML dan aplikasi AI, serta menyesuaikan LLM untuk digunakan dalam aplikasi yang didukung AI.
  • Gemini: Rangkaian model AI multimodal yang dikembangkan oleh Google.
  • BigQuery: Data warehouse perusahaan yang membantu Anda mengelola dan menganalisis data dengan fitur bawaan seperti machine learning, analisis geospasial, dan business intelligence.
  • Cloud Storage: Penyimpanan objek berbiaya rendah dan tanpa batas untuk beragam jenis data. Data dapat diakses dari dalam dan luar Google Cloud, serta direplikasi di berbagai lokasi untuk redundansi.
  • Server MCP Google Cloud: Layanan jarak jauh yang dikelola Google yang menerapkan Model Context Protocol (MCP) untuk memberikan akses aplikasi AI ke produk dan layanan Google dan Google Cloud.
  • Model Context Protocol (MCP): Standar open source untuk menghubungkan aplikasi AI ke sistem eksternal.
  • Agent Development Kit (ADK): Kumpulan alat dan library untuk mengembangkan, menguji, dan men-deploy agen AI.

Untuk mengetahui informasi tentang cara memilih komponen alternatif untuk sistem AI agentic Anda, termasuk framework, runtime agen, alat, memori, dan pola desain, lihat Memilih komponen arsitektur AI agentic Anda.

Kasus penggunaan

Arsitektur ini dirancang untuk kasus penggunaan yang menyintesis data multimodal yang beragam untuk tugas klasifikasi dan deteksi. Untuk meningkatkan akurasi dan skalabilitas, arsitektur ini menggunakan sistem AI multi-agen, bukan pendekatan agen tunggal monolitik. Pola desain ini memberikan petunjuk yang terfokus, menghindari arahan yang bertentangan, memungkinkan set alat yang lebih kecil untuk pengambilan keputusan yang lebih cepat, dan mendukung update independen, yang menghasilkan hasil yang lebih kuat dan canggih.

Berikut adalah contoh kasus penggunaan untuk arsitektur yang dijelaskan dalam dokumen ini:

  • Diagnosis medis: Memberikan penilaian diagnostik yang komprehensif dengan men-deploy agen khusus untuk menganalisis gambar medis, gejala pasien, dan hasil lab secara independen. Sistem AI merangkum temuan ini berdasarkan nilai minimum tingkat keyakinan yang ditentukan untuk memberikan insight yang berdasar dan dapat diverifikasi bagi dokter.
  • Deteksi penipuan: Mendeteksi dan menandai potensi penipuan dengan men-deploy agen untuk menganalisis secara independen pola perilaku pengguna dan data transaksi seperti tanda terima yang dipindai dan invoice penjual. Dengan membandingkan silang bukti visual dari dokumen dengan aktivitas jaringan digital, sistem mengidentifikasi perbedaan dan menandai transaksi apa pun jika satu agen mengidentifikasi indikator mencurigakan.
  • Pemrosesan dokumen: Otomatiskan klasifikasi dan ekstraksi informasi dari dokumen dengan men-deploy agen khusus untuk Pengenalan Karakter Optik (OCR), klasifikasi dokumen, dan ekstraksi data. Untuk mendukung pemrosesan dengan keyakinan tinggi, sistem AI memerlukan semua agen untuk menyetujui output.
  • Kontrol Kualitas: Mengklasifikasikan kualitas produk atau mendeteksi anomali dengan men-deploy agen khusus untuk pemeriksaan visual, analisis data sensor, dan pemeriksaan spesifikasi. Sistem menentukan lulus atau gagal berdasarkan nilai minimum keyakinan yang ditentukan di antara agen.

Pertimbangan desain

Untuk menerapkan arsitektur ini untuk produksi, pertimbangkan rekomendasi berikut:

  • Keamanan agen: Untuk membatasi kemampuan agen dalam melakukan tindakan berbahaya, buat identitas agen, lalu amankan akses ke server MCP Anda menggunakan atribut Identity and Access Management (IAM). Dengan menerapkan prinsip hak istimewa terendah, Anda dapat membantu memastikan bahwa sistem AI berbasis agen Anda berperilaku sesuai harapan dan mencegah akses baca-tulis yang tidak diinginkan ke resource produksi Anda.
  • Keamanan Ingress: Untuk mengontrol akses ke aplikasi, nonaktifkan URL run.app default layanan Cloud Run frontend dan siapkan Load Balancer Aplikasi eksternal regional. Selain menyeimbangkan beban traffic masuk ke aplikasi, load balancer menangani pengelolaan sertifikat SSL. Untuk perlindungan tambahan, gunakan kebijakan keamanan Google Cloud Armor untuk menyediakan pemfilteran permintaan, perlindungan DDoS, dan pembatasan kecepatan untuk layanan.
  • Keamanan image container: Untuk memastikan bahwa hanya image container resmi yang di-deploy ke Cloud Run, gunakan Otorisasi Biner. Untuk mengidentifikasi dan memitigasi risiko keamanan dalam image container, jalankan pemindaian kerentanan secara otomatis menggunakan Artifact Analysis. Untuk mengetahui informasi selengkapnya, lihat Ringkasan pemindaian container.
  • Perintah yang hemat biaya: Panjang perintah (input) dan respons yang dihasilkan (output) secara langsung memengaruhi performa dan biaya. Tulis perintah yang singkat, langsung, dan memberikan konteks yang memadai. Untuk mengetahui informasi selengkapnya, lihat praktik terbaik untuk desain perintah.
  • Biaya penyimpanan: Untuk mengontrol biaya penyimpanan, Anda dapat memilih kelas penyimpanan Standard dan mengaktifkan object lifecycle management dan Autoclass. Fitur ini membantu Anda mengoptimalkan biaya dengan memindahkan atau menghapus data secara otomatis antar-kelas penyimpanan berdasarkan pola akses atau aturan yang Anda tetapkan.
  • Keamanan penyimpanan: Cloud Storage mendukung dua metode untuk mengontrol akses pengguna ke bucket dan objek Anda: IAM dan daftar kontrol akses (ACL). Dalam sebagian besar kasus, sebaiknya gunakan IAM, yang memungkinkan Anda memberikan izin di level bucket dan project. Untuk mengetahui informasi selengkapnya, lihat Ringkasan kontrol akses.
  • Alokasi resource: Bergantung pada persyaratan performa Anda, konfigurasikan batas memori dan batas CPU yang akan dialokasikan ke layanan Cloud Run. Untuk panduan pengoptimalan performa selengkapnya, lihat Tips pengembangan Cloud Run umum.

Untuk mengetahui informasi tentang faktor desain dan praktik terbaik, serta rekomendasi tentang cara membangun dan men-deploy sistem AI multi-agen, lihat Sistem AI multi-agen di Google Cloud.

Deployment

Untuk men-deploy contoh implementasi arsitektur ini, coba codelab Way Back Home Level 1.

Langkah berikutnya

Kontributor

Penulis: Samantha He | Technical Writer

Kontributor lainnya: