Kasus penggunaan AI agentic: Mengaktifkan streaming multimodal dua arah secara live

Last reviewed 2026-10-14 UTC

Dokumen ini menyediakan arsitektur tingkat tinggi untuk sistem AI multi-agen dua arah yang aktif di Google Cloud. Sistem ini membantu pengguna menyelesaikan tugas teknis, seperti merakit komponen yang rumit, mendiagnosis kerusakan peralatan, atau menavigasi prosedur perbaikan yang kompleks. Sistem AI agentic memberikan panduan teknis yang mendasar dan pemantauan keamanan otomatis melalui aliran data multimodal dua arah yang berkelanjutan.

Audiens yang dituju untuk dokumen ini mencakup arsitek, developer, dan administrator yang membangun dan mengelola infrastruktur dan aplikasi AI di cloud. Dokumen ini mengasumsikan bahwa Anda memiliki pemahaman dasar tentang agen dan model AI. Dokumen ini tidak memberikan panduan khusus untuk mendesain dan membuat kode agen AI.

Bagian deployment dalam dokumen ini mencantumkan contoh kode yang dapat Anda gunakan untuk mempelajari cara membangun dan men-deploy sistem AI multi-agen.

Arsitektur

Diagram berikut menunjukkan tampilan umum arsitektur yang menggunakan sistem AI multi-agen untuk memungkinkan streaming data multimodal dua arah secara live:

Arsitektur tingkat tinggi sistem AI multi-agen yang memungkinkan streaming data multimodal dua arah.

Arsitektur dalam diagram sebelumnya memiliki dua alur kerja: panduan teknis dan pemantauan keamanan.

  • Alur kerja panduan teknis memungkinkan pengguna menerima solusi yang dinarasikan secara real-time untuk pertanyaan teknis yang kompleks. Alur kerja ini menggunakan Gemini Live API untuk memproses streaming multimodal dan berkoordinasi dengan sub-agen untuk mengambil informasi produk yang di-grounding dari database pengetahuan.
  • Alur kerja pemantauan keselamatan menyediakan deteksi bahaya otomatis untuk memastikan keselamatan pengguna selama prosedur teknis. Alur kerja ini menggunakan Gemini untuk menganalisis segmen video live, mengidentifikasi potensi risiko, dan memicu peringatan langsung melalui dasbor klien.

Tab berikut menyediakan diagram arsitektur yang menunjukkan alur kerja panduan teknis dan pemantauan keamanan:

Alur kerja panduan teknis

Diagram berikut menunjukkan arsitektur mendetail untuk alur kerja panduan teknis.

Arsitektur yang menunjukkan alur kerja panduan teknis.

Diagram sebelumnya menunjukkan aliran data berikut:

  1. Pengguna memulai sesi dengan mengajukan pertanyaan teknis lisan melalui dasbor klien. Misalnya, seorang teknisi dapat mengarahkan kameranya ke panel kontrol dan bertanya, "Bantu saya, apa arti lampu error merah yang berkedip ini?"

  2. Dasbor klien membuat koneksi WebSocket persisten antara frontend dan server backend.

  3. Pesan WebSocket mengemas data multimedia mentah ke dalam objek Blob. Komponen Agent Development Kit (ADK) LiveRequestQueue terus-menerus menstreaming data input ke agen dispatcher.

  4. Agen dispatcher mendeteksi perintah audio atau visual yang memerlukan panduan teknis dan mengirimkan streaming input ke Gemini Live API.

  5. Model Gemini Live menelusuri data mentah untuk mengidentifikasi peristiwa. Peristiwa adalah kata kunci audio, seperti "kumpulkan" atau "bantu", atau isyarat visual, seperti gestur tangan.

    Gemini mengevaluasi setiap peristiwa untuk menentukan apakah peristiwa tersebut relevan dengan permintaan pengguna. Misalnya, gestur tangan atau kata pengisi mungkin tidak relevan, sehingga Gemini tidak memproses peristiwa tersebut.

  6. Untuk setiap peristiwa yang relevan, Gemini mengaktifkan panggilan fungsi untuk mengevaluasi apakah peristiwa tersebut memerlukan konteks tambahan. Bergantung pada apakah konteks tambahan diperlukan, Gemini atau agen arsitek akan mengirimkan respons kembali ke agen dispatcher.

    1. Jika memerlukan lebih banyak konteks, Gemini akan mencari kartu agen arsitek untuk memahami cara menyusun permintaannya.

    2. Gemini mengirimkan permintaan terstruktur ke agen dispatcher. Permintaan berisi detail peristiwa, seperti jenis produk, nomor model, jenis peristiwa, dan atribut.

    3. Agen dispatcher menggunakan protokol Agent2Agent (A2A) untuk mengirim permintaan terstruktur ke agen arsitek.

    4. Agen arsitek mengirimkan kueri melalui konektor Akses VPC Serverless . Konektor ini memungkinkan agen mengakses resource dengan aman di jaringan Virtual Private Cloud (VPC) yang digunakan untuk resource penyimpanan dalam arsitektur ini.

    5. Konektor Akses VPC Serverless berinteraksi dengan data yang di-cache yang disimpan di Memorystore for Redis Cluster. Jika data tidak tersedia di lapisan yang di-cache, agen arsitek akan berinteraksi dengan instance Compute Engine yang menghosting database pengetahuan.

    6. Agen arsitek menerima informasi produk dari cache data atau database pengetahuan. Agen arsitek mengirimkan informasi produk ke Gemini untuk menghasilkan respons. Misalnya, "Kode error 3B: Kipas tidak berfungsi. Tindakan yang disarankan: Periksa apakah ada penghalang."

    7. Agen arsitek mengirimkan informasi produk kembali ke agen dispatcher.

    Jika tidak memerlukan konteks lebih lanjut, Gemini akan langsung membuat respons terhadap permintaan pengguna.

  7. Agen dispatcher menerima respons dari Gemini atau dari agen arsitek, dan menghasilkan respons multimodal:

    1. Menggunakan model Gemini Live dan loop run_live ADK untuk menghasilkan respons multimodal yang berisi solusi teknis.

    2. Menyimpan respons sebagai objek Blob.

    3. Mengirim solusi teknis melalui buffer streaming dan koneksi WebSocket persisten untuk mengirimkan solusi teknis ke dasbor klien.

  8. Dasbor klien mengekstrak data Blob dari solusi teknis untuk memberikan panduan lisan langsung dan memperbarui UI dengan transkripsi yang relevan. Loop permintaan selesai saat streaming dua arah yang aktif dipertahankan.

Alur kerja pemantauan keamanan

Diagram berikut menunjukkan arsitektur mendetail untuk alur kerja pemantauan keselamatan.

Arsitektur yang menunjukkan alur kerja pemantauan keamanan.

Diagram sebelumnya menunjukkan aliran data berikut:

  1. Dasbor klien membuat koneksi WebSocket persisten antara frontend dan server backend untuk mengamati streaming video live. Pesan WebSocket mengemas data multimedia mentah ini ke dalam objek Blob, dan mengirimkannya terus-menerus ke buffering streaming, menggunakan komponen LiveRequestQueue ADK.
  2. Buffer streaming mengarahkan aliran input ke alat streaming yang berjalan dalam loop latar belakang berkelanjutan untuk mendeteksi bahaya dalam frame video.
  3. Alat streaming mengirimkan frame video terbaru dari buffer streaming ke Gemini.
  4. Gemini mengamati frame video untuk mendeteksi bahaya, seperti cahaya terang atau uap.
    • Jika tidak ada bahaya yang terdeteksi, tidak akan terjadi apa-apa.
    • Jika bahaya terdeteksi, Gemini akan menghasilkan respons multimodal yang berisi jenis bahaya, atribut, dan lokasinya, lalu menyimpannya sebagai objek Blob. Gemini mengirimkan respons peringatan bahaya kembali ke alat streaming.
  5. Alat streaming meneruskan respons peringatan bahaya ke buffer streaming.
  6. Buffer streaming menggunakan koneksi WebSocket persisten untuk mengirimkan respons peringatan bahaya ke dasbor klien.
  7. Dasbor klien mengekstrak data Blob dari respons peringatan bahaya untuk memberikan panduan lisan langsung dan memperbarui UI dengan transkripsi yang relevan. Tindakan ini akan menyelesaikan loop permintaan sekaligus mempertahankan streaming dua arah yang aktif.

Produk yang digunakan

Arsitektur referensi ini menggunakan produk dan alat Google Cloud berikut:

  • Cloud Run: Platform komputasi serverless yang memungkinkan Anda menjalankan container langsung di atas infrastruktur Google yang skalabel.
  • Gemini: Rangkaian model AI multimodal yang dikembangkan oleh Google.
  • Gemini Enterprise Agent Platform: Platform komprehensif yang memungkinkan Anda membangun, menskalakan, mengatur, dan mengoptimalkan agen AI tingkat perusahaan.
  • Agent Development Kit (ADK): Seperangkat alat dan library untuk mengembangkan, menguji, dan men-deploy agen AI.
  • Protokol Agent2Agent (A2A): Protokol terbuka yang memungkinkan komunikasi dan interoperabilitas antara agen, terlepas dari bahasa pemrograman dan runtime-nya.
  • Akses VPC Serverless: Layanan yang memungkinkan lingkungan serverless Anda terhubung ke resource di jaringan Virtual Private Cloud.
  • Virtual Private Cloud (VPC): Sistem virtual yang menyediakan fungsionalitas jaringan global yang skalabel untuk workload Google Cloud Anda. VPC mencakup Peering Jaringan VPC, Private Service Connect, akses layanan pribadi, dan VPC Bersama.
  • Memorystore for Redis Cluster: Layanan penyimpanan data dalam memori yang terkelola sepenuhnya untuk Redis.
  • Compute Engine: Layanan komputasi yang aman dan dapat disesuaikan yang memungkinkan Anda membuat dan menjalankan VM di infrastruktur Google.

Untuk mengetahui informasi tentang cara memilih komponen alternatif untuk sistem AI agentic Anda, termasuk framework, runtime agen, alat, memori, dan pola desain, lihat Memilih komponen arsitektur AI agentic Anda.

Kasus penggunaan

Arsitektur referensi ini dirancang untuk kasus penggunaan yang memerlukan sintesis real-time dari aliran data multimodal dua arah yang berkelanjutan. Berikut adalah contoh kasus penggunaan untuk arsitektur yang dijelaskan dalam dokumen ini:

  • Manufaktur industri dan pemeliharaan lapangan: Memungkinkan perbaikan handsfree pada mesin yang kompleks dengan menyediakan asisten AI kepada teknisi yang memproses audio dan video live dari kacamata pintar. Teknisi berkomunikasi dengan asisten AI untuk mengambil skema mesin. Asisten AI menggunakan agen database internal yang mengakses dokumentasi produk untuk memastikan petunjuk perbaikan dan perakitan yang didasarkan pada fakta. Alat visi latar belakang serentak memantau streaming dua arah untuk secara proaktif memperingatkan teknisi tentang bahaya mekanis atau langkah perakitan yang salah.
  • Dukungan teknis jarak jauh: Tingkatkan hasil pemecahan masalah pelanggan dengan memungkinkan pengguna membagikan feed kamera ponsel langsung dengan sistem AI agentic multimodal. Arsitektur streaming dua arah mendukung percakapan dinamis, dengan sistem mengamati hardware secara real time. Jika proses visi latar belakang mengidentifikasi koneksi yang salah, seperti kabel di port yang salah, sistem akan menggunakan streaming latensi rendah untuk segera menginterupsi pengguna dengan panduan korektif.

Pertimbangan desain

Bagian ini menjelaskan faktor desain, praktik terbaik, dan rekomendasi yang perlu dipertimbangkan saat Anda menggunakan arsitektur referensi ini untuk mengembangkan topologi yang memenuhi persyaratan spesifik Anda terkait keamanan, operasi, biaya, dan performa.

Panduan di bagian ini tidak lengkap. Untuk mengetahui informasi selengkapnya tentang faktor desain dan praktik terbaik, serta rekomendasi tentang cara membangun dan men-deploy sistem AI multi-agen, lihat Sistem AI multi-agen di Google Cloud.

Keamanan, privasi, dan kepatuhan

Untuk membantu mengatasi risiko keamanan unik agen AI, Google merekomendasikan pendekatan yang menggabungkan kontrol keamanan deterministik dengan pertahanan dinamis berbasis penalaran:

  • Pengawasan manusia: Gabungkan alur human-in-the-loop dalam sistem penting bisnis sehingga pengawas manusia dapat meninjau output dan menyetujui, mengganti, atau menjeda tindakan agen.
  • Agent Identity: Tetapkan identitas yang terikat workload untuk setiap agen guna menerapkan kontrol akses dengan hak istimewa terendah dan mengelola kredensial untuk alat eksternal secara terpusat.
  • Agent Gateway: Terapkan tata kelola traffic ingress dan egress, kebijakan akses default-deny, serta pemeriksaan perintah dan alat inline dengan Model Armor.

  • Agent Registry: Memastikan bahwa agen hanya terhubung ke sub-agen dan alat MCP yang disetujui.

  • Keamanan traffic masuk aplikasi: Untuk mengontrol akses ke aplikasi, nonaktifkan URL run.app default dari layanan Cloud Run frontend dan siapkan Load Balancer Aplikasi eksternal regional. Selain melakukan load balancing pada traffic masuk ke aplikasi, load balancer juga menangani pengelolaan sertifikat SSL. Untuk perlindungan tambahan, Anda dapat menggunakan kebijakan keamanan Google Cloud Armor untuk menyediakan pemfilteran permintaan, perlindungan DDoS, dan pembatasan kapasitas untuk layanan.

  • Keamanan WebSocket: Lindungi data multimodal yang sensitif, seperti sidik suara dan video, dengan menerapkan enkripsi TLS untuk semua koneksi WebSocket dua arah.

  • Komunikasi A2A yang aman:

Efisiensi operasional

Untuk membantu memastikan konfigurasi agen Anda memenuhi persyaratan efisiensi operasional, pertimbangkan rekomendasi berikut:

  • Skrip loop kontrol: Tulis perintah sistem untuk agen live dua arah sebagai loop perilaku mesin status yang ketat, bukan sekadar panduan kepribadian. Perintah sistem harus secara eksplisit memerintahkan agen untuk tetap diam hingga dipicu. Asisten harus memberikan respons singkat yang berfokus pada tindakan, sehingga interaksi suara menjadi ringkas dan alami.
  • Pemisahan masalah: Gunakan alat streaming latar belakang khusus untuk memantau feed video secara independen dari agen utama. Agen root dalam arsitektur ini bersifat dua arah dan dapat langsung menghentikan ucapannya sendiri untuk menyiarkan peringatan keselamatan penting ini kepada pengguna. Selain itu, meminta satu agen untuk terus memantau feed video dapat menyebabkan kelebihan beban kognitif dan halusinasi.

Pengoptimalan biaya

Untuk membantu memastikan bahwa konfigurasi agen Anda memenuhi persyaratan biaya, pertimbangkan rekomendasi berikut:

  • Biaya penyerapan data: Untuk mengurangi biaya token dan mencegah kehabisan jendela konteks, gunakan pengambilan sampel frame frekuensi rendah, seperti 2 frame per detik, dan kompresi semua data ke file JPEG Base64.
  • Prompt yang hemat biaya: Panjang perintah (input) dan respons yang dihasilkan (output) secara langsung memengaruhi performa dan biaya. Tulis perintah yang singkat, langsung, dan memberikan konteks yang memadai. Desain perintah Anda untuk mendapatkan respons yang ringkas dari model. Misalnya, sertakan frasa seperti "ringkas dalam 2 kalimat" atau "cantumkan 3 poin utama". Untuk mengetahui informasi selengkapnya, lihat praktik terbaik untuk desain perintah.

Pengoptimalan performa

Untuk membantu memastikan konfigurasi agen Anda memenuhi persyaratan performa, pertimbangkan rekomendasi berikut:

  • Buffering asinkron: Untuk memisahkan paket audio dan video yang masuk dari mesin inferensi model, gunakan buffer First-In-First-Out (FIFO) asinkron yang aman untuk thread. Buffer ini bertindak sebagai multiplexer yang memastikan sistem tetap responsif terhadap gangguan pengguna tanpa membekukan antarmuka pengguna selama komputasi berat.
  • Cache memori: Untuk mencapai kecepatan baca sub-milidetik, gunakan database Memorystore for Redis Cluster dalam memori untuk vault skematik agen arsitek. Implementasi ini meminimalkan latensi, mencegah keheningan selama interaksi suara real-time, dan menyediakan satu sumber tepercaya yang skalabel.
  • Alokasi resource: Bergantung pada persyaratan performa Anda, konfigurasikan batas memori dan batas CPU yang akan dialokasikan ke layanan Cloud Run.

Deployment

Untuk men-deploy contoh implementasi arsitektur ini, coba Codelab berikut:

Langkah berikutnya

Kontributor

Penulis:

Kontributor lainnya: