Menghosting agen AI di resource Cloud Run

Halaman ini menyoroti kasus penggunaan untuk menghosting agen AI di Cloud Run.

Agen AI adalah entitas software otonom yang menggunakan sistem yang didukung LLM untuk memahami, memutuskan, dan bertindak untuk mencapai sasaran. Seiring dengan semakin banyaknya agen otonom yang dibuat, kemampuan mereka untuk berkomunikasi dan berkolaborasi menjadi sangat penting.

Untuk pengantar tentang agen AI, lihat Apa yang dimaksud dengan agen AI.

Pilih resource Cloud Run

Bergantung pada desain agentik Anda, Anda dapat menjalankan container agen sebagai salah satu jenis resource Cloud Run berikut:

  • Layanan: Terbaik untuk agen stateless yang didorong permintaan yang menangani traffic pengguna yang bervariasi, mendapatkan manfaat dari penskalaan otomatis, dan dapat menskalakan hingga nol saat tidak ada aktivitas. Contohnya mencakup API chatbot dan backend API web.
  • Instance: Terbaik untuk loop agen singleton yang selalu aktif dan stateful yang didedikasikan yang memerlukan perintah status siklus proses seperti VM. Contohnya mencakup agen pribadi seperti OpenClaw dan Hermes.
  • Kumpulan pekerja: Terbaik untuk menjalankan kumpulan agen terdistribusi di latar belakang yang menggunakan tugas dari antrean pesan, seperti Kafka atau Pub/Sub, dan menskalakan secara horizontal tanpa mengekspos endpoint HTTP publik.
  • Tugas: Paling cocok untuk alur kerja agen yang berjalan hingga selesai, seperti evaluasi batch, pipeline penyerapan data skala besar, atau skrip sinkronisasi terjadwal.

Memilih framework agen Anda

Sebelum men-deploy agen ke Cloud Run, pilih dan siapkan framework agen Anda secara lokal atau di platform pengembangan Anda. Contoh framework agen mencakup Agent Development Kit (ADK), Dify, LangGraph, dan n8n.

Di Cloud Run, kode Anda biasanya berjalan sebagai layanan layanan atau instance. Kedua jenis resource ini menjalankan instance container sandbox di lingkungan eksekusi yang sama dan terintegrasi dengan layanan Google Cloud .

Arsitektur agen AI di Cloud Run

Arsitektur agen AI umum yang di-deploy di Cloud Run dapat melibatkan beberapa komponen dari Google Cloud serta dari luarGoogle Cloud. Arsitektur berikut menunjukkan contoh penerapan agen AI sebagai layanan Cloud Run untuk mengorkestrasikan serangkaian tugas asinkron dan memberikan informasi melalui beberapa interaksi permintaan-respons.

Empat komponen agen AI yang dihosting di Cloud Run.
Gambar 1. Arsitektur agen AI di Cloud Run.

Diagram menunjukkan hal berikut:

  • Platform hosting: Layanan Cloud Run adalah endpoint API yang skalabel untuk logika inti aplikasi Anda. Layanan ini secara efisien mengelola beberapa pengguna serentak melalui penskalaan otomatis, sesuai permintaan, dan cepat pada instance. Cloud Run menawarkan manfaat berikut:

    • Mendukung eksekusi framework agen apa pun untuk membangun berbagai jenis agen dan arsitektur agentik.
    • Dukungan bawaan untuk Identitas Agen. Menetapkan identitas unik yang dapat diverifikasi secara kriptografis ke agen Anda untuk memanggil Google Cloud API, alat, dan terhubung dengan aman ke agen lain. Untuk mempelajari lebih lanjut, lihat Mengonfigurasi fitur platform agen.
    • Integrasi bawaan dengan Agent Registry. Tetapkan layanan yang di-deploy sebagai agen atau server MCP untuk penemuan otomatis dan mekanisme autentikasi Agen-ke-Agen (A2A) yang andal. Untuk mempelajari lebih lanjut, lihat Mengonfigurasi fitur platform agen.
    • Mendukung penghubungan framework agen Anda ke layanan lain. Anda dapat menghubungkan agen Anda ke alat pihak pertama atau pihak ketiga yang di-deploy di Cloud Run. Misalnya, untuk mendapatkan visibilitas ke dalam tugas dan eksekusi agen, Anda dapat men-deploy dan menggunakan alat seperti Langfuse dan Arize.

  • Interaksi agen: Cloud Run mendukung streaming respons HTTP kembali ke pengguna, dan WebSockets untuk interaksi real-time.

  • Model AI generatif: Lapisan orkestrasi memanggil model untuk kemampuan penalaran. Model ini dapat dihosting di layanan, seperti berikut:

  • Memori: Agen sering kali memerlukan memori untuk mempertahankan konteks dan belajar dari interaksi sebelumnya. Anda dapat menggunakan layanan berikut:

    • Memorystore for Redis untuk memori jangka pendek.
    • Firestore untuk memori jangka panjang, seperti menyimpan histori percakapan atau mengingat preferensi pengguna berdasarkan data mentah.
    • Agent Runtime Memory Bank untuk memori yang dipersonalisasi jangka panjang. Fitur ini secara otomatis mengekstrak dari histori percakapan pengguna untuk mengingat dan memperbarui preferensi pengguna seiring waktu. Perhatikan bahwa Anda harus membuat setidaknya satu instance Agent Engine untuk menggunakan fitur ini dengan Cloud Run.

  • Database vektor: Untuk Retrieval-Augmented Generation (RAG) atau mengambil data terstruktur, gunakan database vektor untuk membuat kueri informasi entitas tertentu atau melakukan penelusuran vektor pada embedding. Gunakan ekstensi pgvector dengan layanan berikut:

  • Alat: Pengelola menggunakan alat untuk melakukan tugas tertentu guna berinteraksi dengan layanan, API, atau situs eksternal. Hal ini dapat mencakup:

    • Model Context Protocol (MCP): Gunakan protokol terstandardisasi ini untuk berkomunikasi dengan alat eksternal yang dijalankan melalui server MCP.
    • Utilitas dasar: Penghitungan matematika yang akurat, konversi waktu, atau utilitas serupa lainnya.
    • Panggilan API: Melakukan panggilan ke API internal atau pihak ketiga lainnya (akses baca atau tulis).
    • Pembuatan gambar atau diagram: Buat konten visual dengan cepat dan efektif.
    • Otomatisasi browser dan OS: Jalankan Sistem Operasi grafis lengkap atau tanpa tampilan dalam instance container untuk memungkinkan agen menjelajahi web, mengekstraksi informasi dari situs, atau melakukan tindakan menggunakan klik dan input keyboard.
    • Eksekusi kode: Jalankan kode di lingkungan yang aman dengan sandbox berlapis, dengan izin IAM minimal atau tanpa izin.
    • Eksekusi Kode Agent Runtime: Menjalankan kode di lingkungan sandbox yang aman, terisolasi, dan terkelola yang mendukung input dan output file, eksekusi kode kurang dari satu detik, dan memori yang tahan lama. Perhatikan bahwa Anda harus membuat setidaknya satu instance Runtime Agen untuk menggunakan fitur ini di Cloud Run.

Langkah berikutnya