Kasus penggunaan AI agentic: Mengklasifikasikan data multimodal

Last reviewed 2026-03-03 UTC

Dokumen ini memberikan arsitektur tingkat tinggi untuk sistem AI multi-agen yang di-deploy di Cloud Run yang menganalisis data multimodal yang berbeda dan menghasilkan klasifikasi dengan keyakinan tinggi. Pendekatan ini melakukan validasi silang pada media yang terfragmentasi dengan mencocokkan data langsung dengan kebenaran dasar historis untuk menghasilkan insight yang mendasar dan dapat diverifikasi.

Audiens yang dituju untuk dokumen ini mencakup arsitek, developer, dan administrator yang membangun dan mengelola infrastruktur dan aplikasi AI di cloud. Dokumen ini mengasumsikan bahwa Anda memiliki pemahaman dasar tentang agen dan model AI. Dokumen ini tidak memberikan panduan khusus untuk mendesain dan membuat kode agen AI.

Bagian Deployment dari dokumen ini mencantumkan contoh kode yang dapat Anda gunakan untuk mempelajari cara membangun dan men-deploy sistem AI multi-agen.

Arsitektur

Diagram berikut menunjukkan arsitektur sistem AI multi-agen yang menggunakan pola desain agen paralel untuk mengoordinasikan analisis independen pada data multimodal guna menghasilkan klasifikasi tunggal.

Arsitektur sistem AI multi-agen yang mengklasifikasikan data multimodal.

Arsitektur ini menunjukkan alur data berikut:

  1. Aplikasi web mengirimkan permintaan ke agen root untuk menganalisis sekumpulan data multimodal untuk klasifikasi. Agen root adalah agen koordinator yang menerima permintaan dan di-deploy di layanan Cloud Run.
  2. Agen root menangani permintaan dengan cara berikut:
    1. Agen root memulai before_agent_callback untuk mengumpulkan konfigurasi lingkungan, memvalidasi input pengguna, dan menyimpan jalur resource dalam status sesi bersama. Semua sub-agen dapat mengakses status sesi bersama, yang menghilangkan panggilan berulang untuk mengambil data status dan mengurangi latensi keseluruhan.
    2. Agen root menggunakan Gemini di Gemini Enterprise Agent Platform untuk menafsirkan permintaan pengguna dan mendistribusikan tugas ke sub-agen khusus yang berjalan secara paralel.
  3. Setiap sub-agen dikhususkan untuk domain tertentu dan melakukan tugas berikut secara independen:
    1. Sub-agen analis gambar dan video berinteraksi dengan server Model Context Protocol (MCP) kustom untuk melakukan tindakan berikut:
      1. Mengambil data mentah tidak terstruktur yang disimpan di bucket Cloud Storage.
      2. Mengirim permintaan ke Gemini untuk menafsirkan data input, mengklasifikasikan data, dan menghitung tingkat keyakinan.
      3. Gemini mengirimkan klasifikasi dan tingkat keyakinan yang disarankan kembali ke server MCP kustom.
      4. Server MCP kustom meneruskan respons kembali ke sub-agen.
    2. Sub-agen analis data terstruktur mengatur analisis dengan menyelesaikan tugas berikut:
      1. Berinteraksi dengan server MCP BigQuery untuk mengambil data kontekstual terstruktur (seperti catatan historis, log peristiwa, atau pembacaan sensor) yang disimpan dalam set data BigQuery.
      2. Analis data terstruktur mengirimkan permintaan ke Gemini untuk menafsirkan data input, mengklasifikasikan data, dan menghitung tingkat keyakinan.
      3. Gemini mengirimkan klasifikasi dan tingkat keyakinan yang disarankan kembali ke sub-agen.
  4. Setiap sub-agen mengirimkan klasifikasi dan tingkat keyakinan yang disarankan kembali ke agen root.
  5. Agen root menggunakan Gemini untuk meringkas output dari sub-agen khusus guna menghasilkan klasifikasi tunggal dengan keyakinan tinggi.
    • Jika mayoritas klasifikasi dari sub-agen khusus cocok, agen root akan mengirimkan klasifikasi yang cocok ke aplikasi web.
    • Jika sub-agen tidak memberikan klasifikasi yang cocok, agen root akan memilih klasifikasi dengan tingkat keyakinan tertinggi dan mengirimkannya ke aplikasi web.

Produk yang digunakan

Arsitektur referensi ini menggunakan Google Cloud produk dan alat berikut:

Untuk mengetahui informasi tentang cara memilih komponen alternatif untuk sistem AI agentic Anda, termasuk framework, runtime agen, alat, memori, dan pola desain, lihat Memilih komponen arsitektur AI agentic.

Kasus penggunaan

Arsitektur ini dirancang untuk kasus penggunaan yang mensintesis data multimodal yang beragam untuk tugas klasifikasi dan deteksi. Untuk meningkatkan akurasi dan skalabilitas, arsitektur ini menggunakan sistem AI multi-agen, bukan pendekatan agen tunggal monolitik. Pola desain ini memberikan petunjuk yang terfokus, menghindari arahan yang bertentangan, memungkinkan kumpulan alat yang lebih kecil untuk pengambilan keputusan yang lebih cepat, dan mendukung pembaruan independen, yang menghasilkan hasil yang lebih kuat dan canggih.

Berikut adalah contoh kasus penggunaan untuk arsitektur yang dijelaskan dalam dokumen ini:

  • Diagnosis medis: Memberikan penilaian diagnostik yang komprehensif dengan men-deploy agen khusus untuk menganalisis gambar medis, gejala pasien, dan hasil lab secara independen. Sistem AI meringkas temuan ini berdasarkan nilai minimum keyakinan yang ditentukan untuk memberikan insight yang mendasar dan dapat diverifikasi bagi dokter.
  • Deteksi penipuan: Mendeteksi dan menandai potensi penipuan dengan men-deploy agen untuk menganalisis pola perilaku pengguna dan data transaksi secara independen seperti tanda terima yang dipindai dan faktur penjual. Dengan melakukan referensi silang bukti visual dari dokumen terhadap aktivitas jaringan digital, sistem mengidentifikasi perbedaan dan menandai transaksi apa pun saat satu agen mengidentifikasi indikator yang mencurigakan.
  • Pemrosesan dokumen: Mengotomatiskan klasifikasi dan ekstraksi informasi dari dokumen dengan men-deploy agen khusus untuk Optical Character Recognition (OCR), klasifikasi dokumen, dan ekstraksi data. Untuk mendukung pemrosesan dengan keyakinan tinggi, sistem AI mengharuskan semua agen menyetujui output.
  • Kendali Mutu: Mengklasifikasikan kualitas produk atau mendeteksi anomali dengan men-deploy agen khusus untuk pemeriksaan visual, analisis data sensor, dan pemeriksaan spesifikasi. Sistem menentukan lulus atau gagal berdasarkan nilai minimum keyakinan yang ditentukan di antara agen.

Pertimbangan desain

Untuk menerapkan arsitektur ini untuk produksi, pertimbangkan rekomendasi berikut:

  • Keamanan agen: Untuk membatasi kemampuan agen dalam melakukan tindakan berbahaya, buat identitas agen, lalu amankan akses ke server MCP Anda menggunakan atribut Identity and Access Management (IAM). Dengan menerapkan prinsip hak istimewa terendah, Anda dapat membantu memastikan bahwa sistem AI agentic Anda berperilaku sesuai harapan dan mencegah akses baca-tulis yang tidak diinginkan ke resource produksi Anda.
  • Keamanan Ingress: Untuk mengontrol akses ke aplikasi, nonaktifkan URL run.app default layanan Cloud Run frontend dan siapkan Load Balancer Aplikasi eksternal regional. Selain melakukan load balancing traffic masuk ke aplikasi, load balancer juga menangani pengelolaan sertifikat SSL. Untuk perlindungan tambahan, gunakan kebijakan keamanan Google Cloud Armor untuk menyediakan pemfilteran permintaan, perlindungan DDoS, dan pembatasan frekuensi untuk layanan.
  • Keamanan image container: Untuk memastikan bahwa hanya image container resmi yang di-deploy ke Cloud Run, gunakan Otorisasi Biner. Untuk mengidentifikasi dan mengurangi risiko keamanan dalam image container, jalankan pemindaian kerentanan secara otomatis menggunakan Artifact Analysis. Untuk mengetahui informasi selengkapnya, lihat Ringkasan pemindaian container.
  • Perintah yang hemat biaya: Panjang perintah (input) dan respons yang dihasilkan (output) secara langsung memengaruhi performa dan biaya. Tulis perintah yang singkat, langsung, dan memberikan konteks yang memadai. Untuk mengetahui informasi selengkapnya, lihat praktik terbaik untuk desain perintah.
  • Biaya penyimpanan: Untuk mengontrol biaya penyimpanan, Anda dapat memilih kelas penyimpanan Standard Storage dan mengaktifkan Object Lifecycle Management dan Autoclass. Fitur ini membantu Anda mengoptimalkan biaya dengan otomatis memindahkan atau menghapus data antar-kelas penyimpanan berdasarkan pola akses atau aturan yang Anda tetapkan.
  • Keamanan penyimpanan: Cloud Storage mendukung dua metode untuk mengontrol akses pengguna ke bucket dan objek Anda: IAM dan daftar kontrol akses (ACL). Dalam sebagian besar kasus, sebaiknya gunakan IAM, yang memungkinkan Anda memberikan izin di tingkat bucket dan project. Untuk mengetahui informasi selengkapnya, lihat Ringkasan kontrol akses.
  • Alokasi resource: Bergantung pada persyaratan performa Anda, konfigurasikan batas memori dan batas CPU yang akan dialokasikan ke layanan Cloud Run. Untuk panduan pengoptimalan performa selengkapnya, lihat Tips pengembangan Cloud Run umum.

Untuk mengetahui informasi tentang faktor desain dan praktik terbaik, serta rekomendasi tentang membangun dan men-deploy sistem AI multi-agen, lihat Sistem AI multi-agen di Google Cloud.

Deployment

Untuk men-deploy contoh penerapan arsitektur ini, coba codelab Way Back Home Level 1.

Langkah berikutnya

Kontributor

Penulis: Samantha He | Technical Writer

Kontributor lainnya: