Kasus penggunaan AI agentic: Mengklasifikasikan data multimodal

Last reviewed 2026-10-14 UTC

Dokumen ini menyediakan arsitektur tingkat tinggi untuk sistem AI multi-agen yang di-deploy di Cloud Run yang menganalisis data multimodal yang berbeda dan menghasilkan klasifikasi dengan keyakinan tinggi. Pendekatan ini memvalidasi silang media yang terfragmentasi dengan mencocokkan data live dengan kebenaran nyata historis untuk menghasilkan insight yang didasarkan pada fakta dan dapat diverifikasi.

Audiens yang dituju untuk dokumen ini mencakup arsitek, developer, dan administrator yang membangun dan mengelola infrastruktur dan aplikasi AI di cloud. Dokumen ini mengasumsikan bahwa Anda memiliki pemahaman dasar tentang agen dan model AI. Dokumen ini tidak memberikan panduan khusus untuk mendesain dan membuat kode agen AI.

Bagian Deployment dalam dokumen ini mencantumkan contoh kode yang dapat Anda gunakan untuk mempelajari cara membangun dan men-deploy sistem AI multi-agen.

Arsitektur

Diagram berikut menunjukkan arsitektur sistem AI multi-agen yang menggunakan pola desain agen paralel untuk mengoordinasikan analisis independen pada data multimodal guna menghasilkan satu klasifikasi.

Arsitektur sistem AI multi-agen yang mengklasifikasikan data multimodal.

Arsitektur ini menampilkan aliran data berikut:

  1. Aplikasi web mengirimkan permintaan ke agen root untuk menganalisis serangkaian data multimodal untuk klasifikasi. Agen root adalah agen koordinator yang menerima permintaan dan di-deploy di layanan Cloud Run.
  2. Agen root menangani permintaan sebagai berikut:
    1. Agen root memulai before_agent_callback untuk mengumpulkan konfigurasi lingkungan, memvalidasi input pengguna, dan menyimpan jalur resource dalam status sesi bersama. Semua sub-agen dapat mengakses status sesi bersama, sehingga menghilangkan panggilan redundan untuk mengambil data status dan mengurangi latensi keseluruhan.
    2. Agen root menggunakan Gemini di Gemini Enterprise Agent Platform untuk menafsirkan permintaan pengguna dan mendistribusikan tugas ke subagen khusus yang berjalan secara paralel.
  3. Setiap sub-agen memiliki spesialisasi dalam domain tertentu dan melakukan tugas berikut secara independen:
    1. Sub-agen analis gambar dan video berinteraksi dengan server Model Context Protocol (MCP) kustom untuk melakukan tindakan berikut:
      1. Mengambil data tidak terstruktur mentah yang disimpan di bucket Cloud Storage.
      2. Mengirim permintaan ke Gemini untuk menafsirkan data input, mengklasifikasikan data, dan menghitung tingkat keyakinan.
      3. Gemini mengirimkan klasifikasi dan tingkat keyakinan yang disarankan kembali ke server MCP kustom.
      4. Server MCP kustom meneruskan respons kembali ke sub-agen.
    2. Sub-agen analis data terstruktur mengatur analisis dengan menyelesaikan tugas-tugas berikut:
      1. Berinteraksi dengan server MCP BigQuery untuk mengambil data kontekstual terstruktur (seperti data historis, log peristiwa, atau pembacaan sensor) yang disimpan dalam set data BigQuery.
      2. Analis data terstruktur mengirimkan permintaan ke Gemini untuk menafsirkan data input, mengklasifikasikan data, dan menghitung tingkat keyakinan.
      3. Gemini mengirimkan klasifikasi dan tingkat keyakinan yang disarankan kembali ke sub-agen.
  4. Setiap sub-agen mengirimkan klasifikasi dan tingkat keyakinan yang disarankan kembali ke agen root.
  5. Agen root menggunakan Gemini untuk meringkas output dari subagen khusus guna menghasilkan satu klasifikasi dengan keyakinan tinggi.
    • Jika sebagian besar klasifikasi dari sub-agen khusus cocok, maka agen root akan mengirimkan klasifikasi yang cocok ke aplikasi web.
    • Jika sub-agen tidak memberikan klasifikasi yang cocok, agen root akan memilih klasifikasi dengan tingkat keyakinan tertinggi dan mengirimkannya ke aplikasi web.

Produk yang digunakan

Arsitektur referensi ini menggunakan produk dan alat Google Cloud berikut:

  • Cloud Run: Platform komputasi serverless yang memungkinkan Anda menjalankan container langsung di atas infrastruktur Google yang skalabel.
  • Gemini Enterprise Agent Platform: Platform komprehensif yang memungkinkan Anda membangun, menskalakan, mengatur, dan mengoptimalkan agen AI tingkat perusahaan.
  • Gemini: Rangkaian model AI multimodal yang dikembangkan oleh Google.
  • BigQuery: Data warehouse perusahaan yang membantu Anda mengelola dan menganalisis data dengan fitur bawaan seperti machine learning, analisis geospasial, dan business intelligence.
  • Cloud Storage: Penyimpanan objek berbiaya rendah dan tanpa batas untuk beragam jenis data. Data dapat diakses dari dalam dan luar Google Cloud, serta direplikasi di berbagai lokasi untuk redundansi.
  • Server MCP Google Cloud: Layanan jarak jauh yang dikelola Google yang mengimplementasikan Model Context Protocol (MCP) untuk memberikan akses ke produk dan layanan Google dan Google Cloud kepada aplikasi AI.
  • Model Context Protocol (MCP): Standar open source untuk menghubungkan aplikasi AI ke sistem eksternal.
  • Agent Development Kit (ADK): Seperangkat alat dan library untuk mengembangkan, menguji, dan men-deploy agen AI.

Untuk mengetahui informasi tentang cara memilih komponen alternatif untuk sistem AI agentic Anda, termasuk framework, runtime agen, alat, memori, dan pola desain, lihat Memilih komponen arsitektur AI agentic Anda.

Kasus penggunaan

Arsitektur ini dirancang untuk kasus penggunaan yang menyintesis beragam data multimodal untuk tugas klasifikasi dan deteksi. Untuk meningkatkan akurasi dan skalabilitas, arsitektur ini menggunakan sistem AI multi-agen, bukan pendekatan agen tunggal monolitik. Pola desain ini memberikan petunjuk yang terfokus, menghindari arahan yang bertentangan, memungkinkan set alat yang lebih kecil untuk keputusan yang lebih cepat, dan mendukung update independen, yang menghasilkan hasil yang lebih kuat dan canggih.

Berikut adalah contoh kasus penggunaan untuk arsitektur yang dijelaskan dalam dokumen ini:

  • Diagnosis medis: Memberikan penilaian diagnostik yang komprehensif dengan men-deploy agen khusus untuk menganalisis gambar medis, gejala pasien, dan hasil lab secara independen. Sistem AI meringkas temuan ini berdasarkan nilai minimum keyakinan yang ditentukan untuk memberikan insight yang mendasar dan dapat diverifikasi bagi dokter.
  • Deteksi penipuan: Deteksi dan tandai potensi penipuan dengan men-deploy agen untuk menganalisis pola perilaku pengguna dan data transaksi secara independen, seperti tanda terima yang dipindai dan invoice penjual. Dengan melakukan referensi silang bukti visual dari dokumen terhadap aktivitas jaringan digital, sistem akan mengidentifikasi perbedaan dan menandai transaksi apa pun yang diidentifikasi oleh satu agen sebagai indikator mencurigakan.
  • Pemrosesan dokumen: Otomatiskan klasifikasi dan ekstraksi informasi dari dokumen dengan men-deploy agen khusus untuk pengenalan karakter optik (OCR), klasifikasi dokumen, dan ekstraksi data. Untuk mendukung pemrosesan dengan keyakinan tinggi, sistem AI mengharuskan semua agen menyetujui output.
  • Kontrol kualitas: Klasifikasikan kualitas produk atau deteksi anomali dengan men-deploy agen khusus untuk pemeriksaan visual, analisis data sensor, dan pemeriksaan spesifikasi. Sistem menentukan lulus atau gagal berdasarkan nilai minimum keyakinan yang ditentukan di antara agen.

Pertimbangan desain

Bagian ini menjelaskan faktor desain, praktik terbaik, dan rekomendasi yang perlu dipertimbangkan saat Anda menggunakan arsitektur referensi ini untuk mengembangkan topologi yang memenuhi persyaratan spesifik Anda terkait keamanan, biaya, dan performa.

Panduan di bagian ini tidak lengkap. Untuk mengetahui informasi selengkapnya tentang faktor desain dan praktik terbaik, serta rekomendasi tentang cara membangun dan men-deploy sistem AI multi-agen, lihat Sistem AI multi-agen di Google Cloud.

Keamanan, privasi, dan kepatuhan

Untuk membantu mengatasi risiko keamanan unik agen AI, Google merekomendasikan pendekatan yang menggabungkan kontrol keamanan deterministik dengan pertahanan dinamis berbasis penalaran:

  • Pengawasan manusia: Gabungkan alur human-in-the-loop dalam sistem penting bisnis sehingga pengawas manusia dapat meninjau output dan menyetujui, mengganti, atau menjeda tindakan agen.
  • Agent Identity: Tetapkan identitas yang terikat workload untuk setiap agen guna menerapkan kontrol akses dengan hak istimewa terendah dan mengelola kredensial untuk alat eksternal secara terpusat.
  • Agent Gateway: Terapkan tata kelola traffic ingress dan egress, kebijakan akses default-deny, serta pemeriksaan perintah dan alat inline dengan Model Armor.

  • Agent Registry: Memastikan bahwa agen hanya terhubung ke sub-agen dan alat MCP yang disetujui.

  • Keamanan ingress aplikasi: Untuk mengontrol akses ke aplikasi, nonaktifkan URL run.app default layanan Cloud Run frontend dan siapkan Load Balancer Aplikasi eksternal regional. Selain melakukan load balancing pada traffic masuk ke aplikasi, load balancer juga menangani pengelolaan sertifikat SSL. Untuk perlindungan tambahan, gunakan kebijakan keamanan Google Cloud Armor untuk menyediakan pemfilteran permintaan, perlindungan DDoS, dan pembatasan kapasitas untuk layanan.

  • Keamanan image container: Untuk membantu memastikan bahwa hanya image container yang diizinkan yang di-deploy ke Cloud Run, gunakan Otorisasi Biner. Untuk mengidentifikasi dan memitigasi risiko keamanan dalam image container, jalankan pemindaian kerentanan secara otomatis menggunakan Artifact Analysis. Untuk mengetahui informasi selengkapnya, lihat Ringkasan pemindaian container.

  • Keamanan penyimpanan: Cloud Storage mendukung dua metode untuk mengontrol akses pengguna ke bucket dan objek Anda: Identity and Access Management (IAM) dan daftar kontrol akses (ACL). Pada umumnya, sebaiknya gunakan IAM, yang memungkinkan Anda memberikan izin di level bucket dan project. Untuk mengetahui informasi selengkapnya, lihat Ringkasan kontrol akses.

Pengoptimalan biaya

Untuk membantu memastikan bahwa konfigurasi agen Anda memenuhi persyaratan biaya, pertimbangkan rekomendasi berikut:

  • Prompt yang hemat biaya: Panjang perintah (input) dan respons yang dihasilkan (output) secara langsung memengaruhi performa dan biaya. Tulis perintah yang singkat, langsung, dan memberikan konteks yang memadai. Untuk mengetahui informasi selengkapnya, lihat praktik terbaik untuk desain perintah.
  • Biaya penyimpanan: Untuk mengontrol biaya penyimpanan, Anda dapat memilih kelas penyimpanan Standard Storage dan mengaktifkan Object Lifecycle Management dan Autoclass. Fitur ini membantu Anda mengoptimalkan biaya dengan memindahkan atau menghapus data secara otomatis antar-kelas penyimpanan berdasarkan pola akses atau aturan yang Anda tetapkan.

Pengoptimalan performa

Untuk membantu memastikan konfigurasi agen Anda memenuhi persyaratan performa, pertimbangkan rekomendasi berikut:

Deployment

Untuk men-deploy contoh implementasi arsitektur ini, coba codelab Way Back Home Level 1.

Langkah berikutnya

Kontributor

Penulis: Samantha He | Technical Writer

Kontributor lainnya: