Memilih komponen arsitektur AI agentic Anda

Last reviewed 2026-04-21 UTC

Dokumen ini memberikan panduan untuk membantu Anda memilih komponen arsitektur untuk aplikasi AI agentic Anda di Google Cloud. Artikel ini menjelaskan cara mengevaluasi karakteristik aplikasi dan workload Anda untuk memilih produk atau layanan yang sesuai dan paling cocok dengan kebutuhan Anda. Proses untuk mendesain arsitektur AI agentic bersifat iteratif. Anda harus menilai ulang arsitektur Anda secara berkala seiring perubahan karakteristik workload, seiring berkembangnya persyaratan, atau seiring tersedianya produk dan fitur Google Cloud baru.

Agen AI efektif untuk aplikasi yang memecahkan masalah terbuka, yang mungkin memerlukan pengambilan keputusan otonom dan pengelolaan alur kerja multilangkah yang kompleks. Agen unggul dalam memecahkan masalah secara real-time menggunakan data eksternal dan unggul dalam mengotomatiskan tugas yang memerlukan banyak pengetahuan. Kemampuan ini memungkinkan agen memberikan nilai bisnis yang lebih besar daripada kemampuan bantuan dan generatif model AI.

Anda dapat menggunakan agen AI untuk masalah deterministik dengan langkah-langkah yang telah ditentukan. Namun, pendekatan lain dapat lebih efisien dan hemat biaya. Misalnya, Anda tidak memerlukan alur kerja agentic untuk tugas seperti meringkas dokumen, menerjemahkan teks, atau mengklasifikasikan masukan pelanggan.

Untuk mengetahui informasi tentang solusi AI non-agentic alternatif, lihat referensi berikut:

Ringkasan arsitektur agen

Agen adalah aplikasi yang mencapai sasaran dengan memproses input, melakukan penalaran dengan alat yang tersedia, dan mengambil tindakan berdasarkan keputusannya. Agen menggunakan model AI sebagai mesin penalaran intinya untuk mengotomatiskan tugas-tugas kompleks. Agen menggunakan serangkaian alat yang memungkinkan model AI berinteraksi dengan sistem dan sumber data eksternal. Agen dapat menggunakan sistem memori untuk mempertahankan konteks dan belajar dari interaksi. Tujuan arsitektur agentic adalah membuat sistem otonom yang dapat memahami niat pengguna, membuat rencana multilangkah, dan menjalankan rencana tersebut menggunakan alat yang tersedia.

Diagram berikut menunjukkan ringkasan tingkat tinggi komponen arsitektur sistem agentic:

Komponen arsitektur sistem agentic.

Arsitektur sistem agentic mencakup komponen berikut:

  • Framework frontend: Kumpulan komponen, library, dan alat bawaan yang Anda gunakan untuk membangun antarmuka pengguna (UI) aplikasi Anda.
  • Framework pengembangan agen: Framework dan library yang Anda gunakan untuk membangun dan menyusun logika agen.
  • Alat agen: Kumpulan alat, seperti API, layanan, dan fungsi, yang mengambil data dan melakukan tindakan atau transaksi.
  • Memori agen: Sistem yang digunakan agen Anda untuk menyimpan dan mengingat informasi.
  • Pola desain agen: Pendekatan arsitektur umum untuk menyusun aplikasi agentic Anda.
  • Agent Runtime: Lingkungan komputasi tempat logika aplikasi agen Anda berjalan.
  • Model AI: Mesin penalaran inti yang mendukung kemampuan pengambilan keputusan agen Anda.
  • Runtime model: Infrastruktur yang menghosting dan menyajikan model AI Anda.

Bagian berikut memberikan analisis mendetail tentang komponen untuk membantu Anda membuat keputusan tentang cara membangun arsitektur. Komponen yang Anda pilih akan memengaruhi performa, skalabilitas, biaya, dan keamanan agen Anda. Dokumen ini berfokus pada komponen arsitektur penting yang Anda gunakan untuk membangun dan men-deploy logika penalaran dan eksekusi inti agen. Topik seperti framework keamanan responsible AI dan pengelolaan identitas agen dianggap di luar cakupan dokumen ini.

Framework frontend

Framework frontend adalah kumpulan komponen, library, dan alat bawaan yang Anda gunakan untuk membangun UI aplikasi agen Anda. Framework frontend yang Anda pilih menentukan persyaratan untuk backend Anda. Antarmuka sederhana untuk demo internal mungkin hanya memerlukan API HTTP sinkron, sedangkan aplikasi tingkat produksi memerlukan backend yang mendukung protokol streaming dan pengelolaan status yang kuat.

Pertimbangkan kategori framework berikut:

  • Framework pembuatan prototipe dan alat internal: Untuk pengembangan cepat, demo internal, dan aplikasi bukti konsep, pilih framework yang memprioritaskan pengalaman dan kecepatan developer. Framework ini biasanya mendukung model sederhana dan sinkron yang disebut model permintaan-respons. Model permintaan-respons memungkinkan Anda membangun UI fungsional dengan kode minimal dan backend yang lebih sederhana dibandingkan dengan framework produksi. Pendekatan ini ideal untuk menguji logika agen dan integrasi alat dengan cepat, tetapi mungkin tidak cocok untuk aplikasi yang sangat skalabel dan ditampilkan kepada publik yang memerlukan interaksi real-time. Framework umum dalam kategori ini mencakup Mesop dan Gradio.
  • Framework produksi: Untuk aplikasi yang skalabel, responsif, dan kaya fitur bagi pengguna eksternal, pilih framework yang memungkinkan komponen kustom. Framework ini memerlukan arsitektur backend yang dapat mendukung pengalaman pengguna modern. Framework produksi harus mencakup dukungan untuk protokol streaming, desain API stateless, dan sistem memori eksternal yang tangguh untuk mengelola status percakapan di beberapa sesi pengguna. Framework umum untuk aplikasi produksi mencakup Streamlit, React, dan Flutter AI Toolkit.

Untuk mengelola komunikasi antara framework ini dan agen AI, Anda dapat menggunakan protokol Interaksi Agen–Pengguna (AG-UI). AG-UI adalah protokol terbuka yang memungkinkan agen AI backend berinteraksi dengan framework frontend Anda. AG-UI memberi tahu framework frontend kapan harus merender respons agen, memperbarui status aplikasi, atau memicu tindakan sisi klien. Untuk membangun aplikasi AI interaktif, gabungkan AG-UI dengan Agent Development Kit (ADK). Untuk mengetahui informasi tentang ADK, lanjutkan ke bagian berikutnya "Framework pengembangan agen".

Framework pengembangan agen

Framework pengembangan agen adalah library yang menyederhanakan proses membangun, menguji, dan men-deploy aplikasi AI agentic. Alat pengembangan ini menyediakan komponen dan abstraksi bawaan untuk kemampuan inti agen, termasuk reasoning loop, memori, dan integrasi alat.

Untuk mempercepat pengembangan agen di Google Cloud, sebaiknya Anda menggunakan ADK. ADK adalah framework open source, berpendapat, dan modular yang menyediakan tingkat abstraksi tinggi untuk membangun dan mengorkestrasi alur kerja, mulai dari tugas sederhana hingga sistem multi-agen yang kompleks.

ADK dioptimalkan untuk model Gemini dan Google Cloud, tetapi dibuat agar kompatibel dengan framework lain. ADK mendukung model dan runtime AI lainnya, sehingga Anda dapat menggunakannya dengan model atau metode deployment apa pun. Untuk sistem multi-agen, ADK mendukung interaksi melalui status sesi bersama, delegasi berbasis model untuk merutekan tugas antar-agen, dan pemanggilan eksplisit yang memungkinkan satu agen memanggil agen lain sebagai fungsi atau alat.

Untuk membantu Anda memulai dengan cepat, ADK menyediakan contoh kode dalam Python, Java, dan Go yang menunjukkan berbagai kasus penggunaan di berbagai industri. Meskipun banyak dari contoh ini menyoroti alur percakapan, ADK juga sangat cocok untuk membangun agen otonom yang melakukan tugas backend. Untuk kasus penggunaan non-interaktif ini, pilih pola desain agen yang unggul dalam memproses satu permintaan mandiri dan yang menerapkan penanganan error yang andal.

Untuk membangun arsitektur agen kustom, Anda juga dapat menggunakan framework AI serbaguna seperti Genkit. Genkit menyediakan primitif yang memungkinkan Anda memiliki kontrol terperinci atas logika agen tanpa abstraksi tingkat tinggi yang ditawarkan ADK. Namun, framework agen khusus seperti ADK menyediakan alat khusus untuk mengembangkan aplikasi agentic.

Alat agen

Kemampuan agen untuk berinteraksi dengan sistem eksternal melalui alat menentukan efektivitasnya. Alat agen adalah fungsi atau API yang tersedia untuk model AI dan digunakan agen untuk meningkatkan output dan memungkinkan otomatisasi tugas. Saat Anda menghubungkan agen AI ke sistem eksternal, alat akan mengubah agen dari generator teks sederhana menjadi sistem yang dapat mengotomatiskan tugas kompleks dan bertahap.

Untuk mengaktifkan interaksi alat, pilih dari pola penggunaan alat berikut:

Kasus penggunaan Pola penggunaan alat
Anda perlu melakukan tugas umum seperti menyelesaikan penelusuran web, menjalankan penghitungan, atau mengeksekusi kode, dan Anda ingin mempercepat pengembangan awal. Alat bawaan
Anda ingin membangun sistem modular atau multi-agen yang memerlukan alat yang dapat dioperasikan dan digunakan kembali. Model Context Protocol (MCP)
Anda perlu mengelola, mengamankan, dan memantau sejumlah besar alat berbasis API dalam skala perusahaan. Platform pengelolaan API
Anda perlu berintegrasi dengan API internal atau pihak ketiga tertentu yang tidak memiliki server MCP. Alat fungsi kustom

Saat memilih alat untuk agen Anda, evaluasi alat tersebut berdasarkan kemampuan fungsional dan keandalan operasionalnya. Prioritaskan alat yang dapat diamati, mudah di-debug, dan menyertakan penanganan error yang andal. Kemampuan ini membantu memastikan bahwa Anda dapat melacak tindakan dan menyelesaikan kegagalan dengan cepat. Selain itu, evaluasi kemampuan agen dalam memilih alat yang tepat untuk menyelesaikan tugas yang diberikan dengan sukses.

Alat bawaan

ADK menyediakan beberapa alat bawaan yang terintegrasi langsung ke dalam runtime agen. Anda dapat memanggil alat ini sebagai fungsi tanpa mengonfigurasi protokol komunikasi eksternal. Alat ini menyediakan fungsi umum, termasuk mengakses informasi real-time dari web, mengeksekusi kode secara terprogram di lingkungan yang aman, mengambil informasi dari data perusahaan pribadi untuk menerapkan RAG, dan berinteraksi dengan data terstruktur di database cloud. Alat bawaan berfungsi bersama alat kustom apa pun yang Anda buat.

MCP

Agar komponen sistem agentic Anda dapat berinteraksi, Anda perlu menetapkan protokol komunikasi yang jelas. MCP adalah protokol terbuka yang menyediakan antarmuka standar bagi agen untuk mengakses dan menggunakan alat, data, dan layanan lain yang diperlukan.

MCP memisahkan logika penalaran inti agen dari implementasi spesifik alatnya, mirip dengan cara port hardware standar memungkinkan berbagai periferal terhubung ke perangkat.

MCP memberikan manfaat berikut:

  • Menyederhanakan integrasi alat dengan menyediakan konektor bawaan. Saat lebih banyak alat ditambahkan ke server MCP, agen akan menemukan alat tersebut tanpa konfigurasi tambahan.
  • Menyediakan cara yang konsisten untuk membangun integrasi kustom.
  • Memberikan fleksibilitas dan mendorong interoperabilitas di berbagai model dan alat.

Anda dapat mengimplementasikan server MCP dalam sistem AI agentic menggunakan metode berikut:

  • Server MCP Google Cloud: Untuk terhubung ke layanan Google dan Google Cloud , hubungkan ke server MCP jarak jauh yang dikelola sepenuhnya oleh Google. Server ini meningkatkan infrastruktur yang ada dengan menyediakan lapisan terpadu di semua layanan Google dan Google Cloud yang Anda gunakan. Server ini menyediakan penskalaan stateless dan integrasi dengan Identity and Access Management (IAM) dan Cloud Audit Logs. Untuk mengetahui daftar server MCP Google Cloud, lihat Produk yang didukung.
  • Server MCP jarak jauh: Untuk terhubung ke API eksternal, hubungkan ke server MCP jarak jauh yang dihosting dan dikelola oleh pihak ketiga.
  • Server MCP yang dihosting sendiri: Untuk menerapkan logika agen dan alat kustom Anda sendiri, hosting server MCP Anda sendiri. Anda memiliki kontrol penuh atas cara mengekspos API eksklusif atau pihak ketiga ke agen Anda. Untuk menghosting server MCP kustom Anda sendiri, deploy sebagai aplikasi dalam container di Cloud Run atau Google Kubernetes Engine (GKE).

Platform pengelolaan API

Platform pengelolaan API adalah sistem terpusat yang memungkinkan Anda mengamankan, memantau, dan mengontrol layanan internal atau eksternal melalui API. Platform pengelolaan API menyediakan lokasi terpusat untuk membuat katalog semua API organisasi Anda, menyederhanakan cara Anda mengekspos data, dan memberikan kemampuan observasi melalui pemantauan penggunaan.

Untuk mengelola alat berbasis API agen Anda dalam skala perusahaan di Google Cloud, sebaiknya gunakan hub API Apigee. Hub API memungkinkan agen terhubung ke data secara instan melalui panggilan HTTP langsung, konektor bawaan, API kustom yang terdaftar di hub, atau akses langsung ke sumber data Google Cloud . Pendekatan ini memberi agen Anda akses langsung ke informasi yang mereka butuhkan tanpa kerumitan membangun pipeline pemuatan dan integrasi data kustom.

Platform pengelolaan API dan protokol komunikasi seperti MCP menyelesaikan masalah arsitektur yang berbeda. Protokol komunikasi menstandarkan format interaksi antara agen dan alat, yang memastikan bahwa komponen dapat digunakan kembali dan dapat ditukar. Sebaliknya, platform pengelolaan API mengatur siklus proses dan keamanan endpoint API, menangani tugas seperti autentikasi, pembatasan kapasitas, dan pemantauan. Pola ini saling melengkapi. Misalnya, agen dapat menggunakan MCP untuk berkomunikasi dengan alat, dan alat tersebut dapat menjadi endpoint API aman yang dikelola dan dilindungi oleh API hub.

Alat fungsi kustom

Alat fungsi memberi agen kemampuan baru. Anda dapat menulis alat fungsi kustom untuk memberi agen Anda kemampuan khusus, seperti untuk berintegrasi dengan API eksternal atau sistem bisnis eksklusif. Menulis alat fungsi kustom adalah pola yang paling umum untuk memperluas kemampuan agen di luar yang dapat ditawarkan oleh alat bawaan.

Untuk membuat alat fungsi kustom, tulis fungsi dalam bahasa pemrograman pilihan Anda, lalu berikan deskripsi yang jelas dan dalam bahasa alami tentang tujuan, parameter, dan nilai yang ditampilkan. Model agen menggunakan deskripsi ini untuk mempertimbangkan kapan alat diperlukan, input apa yang harus diberikan, dan cara menafsirkan output untuk menyelesaikan permintaan pengguna.

Anda juga dapat membuat alat fungsi kustom yang mengimplementasikan fungsi agen sebagai alat. Fungsi agen sebagai alat mengekspos satu agen sebagai fungsi yang dapat dipanggil yang dapat dipanggil oleh agen lain. Dengan teknik ini, Anda dapat membangun sistem multi-agen yang kompleks, tempat agen dapat mengoordinasikan dan mendelegasikan tugas khusus kepada agen khusus lainnya. Untuk mengetahui informasi selengkapnya tentang pola desain agen dan mengoordinasikan orkestrasi multi-agen, lihat bagian pola desain agen nanti dalam dokumen ini.

Penggunaan alat yang berlebihan

Tool bloat terjadi saat Anda memberikan terlalu banyak definisi alat dalam perintah sistem model AI. Model dapat kewalahan karena jumlah alat yang berlebihan, parameter yang kompleks, atau deskripsi mendetail di jendela konteks model.

Jika agen AI kelebihan beban karena terlalu banyak alat, masalah berikut dapat terjadi:

  • Penurunan akurasi: Token yang tidak relevan akan mengurangi perhatian model di seluruh jendela konteks. Jika perhatian model terpecah, model akan sulit membedakan alat yang benar dari derau secara akurat.
  • Peningkatan biaya dan latensi: Satu permintaan pengguna dapat memicu beberapa reasoning loop tersembunyi dan eksekusi alat. Peningkatan jumlah loop dan eksekusi menyebabkan peningkatan biaya dan waktu respons alat yang sesuai.

Untuk mengurangi kelebihan alat, Anda dapat menerapkan strategi berikut:

  • Batasi kompleksitas alat: Berikut adalah rekomendasi untuk menulis definisi alat yang ringkas:
    • Gunakan jenis data primitif, bukan objek bertingkat yang kompleks.
    • Batasi alat hingga kurang dari lima parameter.
    • Batasi jalur keputusan model dengan menggunakan enums, bukan string teks bebas.
  • Menyediakan set alat terperinci: Pisahkan server monolitik menjadi set alat yang terperinci dan terfokus berdasarkan perjalanan pengguna tertentu. Misalnya, server Cloud SQL yang besar dapat dipisahkan menjadi toolset administrator untuk agen DevOps dan toolset data untuk agen aplikasi.
  • Terapkan pengungkapan bertahap: Desain sistem untuk membuka konteks dan kemampuan yang relevan secara dinamis hanya saat diperlukan, bukan memuat semuanya di awal. Untuk menerapkan pendekatan pengungkapan progresif, gunakan strategi berikut:
    • Pola alat penelusuran: Untuk mengurangi konsumsi token, terapkan agen yang menggunakan satu alat penelusuran untuk memuat skema alat yang relevan secara dinamis.
    • Keahlian Agen: Keahlian Agen adalah format standar yang memungkinkan penemuan petunjuk, skrip, dan referensi lainnya secara progresif. Untuk meminimalkan pembengkakan konteks, tentukan keterampilan agen yang mengarahkan agen untuk mengambil konteks tambahan hanya jika diperlukan.
    • Delegasi multi-agen: Untuk mengurangi jendela konteks agen, terapkan sistem multi-agen yang menggunakan agen koordinator untuk mendelegasikan tugas tertentu kepada sub-agen khusus. Pendekatan ini memastikan bahwa hanya alat yang relevan yang dimuat dan menjaga jendela konteks agen koordinator tetap ringkas.

Strategi ini tidak saling eksklusif dan harus digabungkan berdasarkan persyaratan arsitektur dan workload Anda.

Memori agen

Kemampuan agen untuk mengingat interaksi sebelumnya sangat penting untuk memberikan pengalaman percakapan yang koheren dan berguna. Untuk membuat agen stateful dan peka konteks, Anda harus menerapkan mekanisme untuk memori jangka pendek dan memori jangka panjang. Bagian berikut membahas pilihan desain dan layanan Google Cloud yang dapat Anda gunakan untuk mengimplementasikan memori jangka pendek dan jangka panjang untuk agen Anda.

Memori jangka pendek

Memori jangka pendek memungkinkan agen mempertahankan konteks dalam satu percakapan yang sedang berlangsung. Untuk menerapkan memori jangka pendek, Anda harus mengelola sesi dan status terkaitnya.

  • Sesi: Sesi adalah rangkaian percakapan antara pengguna dan agen, dari interaksi awal hingga akhir dialog.
  • State: State adalah data yang digunakan dan dikumpulkan agen dalam sesi tertentu. Data status yang dikumpulkan mencakup histori pesan yang dipertukarkan oleh pengguna dan agen, hasil panggilan alat, dan variabel lain yang diperlukan agen untuk memahami konteks percakapan.

Berikut adalah opsi untuk menerapkan memori jangka pendek dengan ADK:

  • Penyimpanan dalam memori: Untuk pengembangan, pengujian, atau aplikasi sederhana yang berjalan pada satu instance, Anda dapat menyimpan status sesi langsung di memori aplikasi. Agen menggunakan struktur data, seperti kamus atau objek, untuk menyimpan daftar key-value pair dan memperbarui nilai ini di sepanjang sesi. Namun, saat Anda menggunakan penyimpanan dalam memori, status sesi tidak persisten. Jika aplikasi dimulai ulang, semua histori percakapan akan hilang.

  • Pengelolaan status eksternal: Untuk aplikasi produksi yang memerlukan skalabilitas dan keandalan, sebaiknya bangun aplikasi agen stateless dan kelola status sesi di layanan penyimpanan eksternal. Dalam arsitektur ini, setiap kali aplikasi agen menerima permintaan, aplikasi tersebut mengambil status percakapan saat ini dari penyimpanan eksternal, memproses giliran baru, lalu menyimpan status yang diperbarui kembali ke penyimpanan. Desain ini memungkinkan Anda menskalakan aplikasi secara horizontal karena instance apa pun dapat melayani permintaan pengguna mana pun. Pilihan umum untuk pengelolaan status eksternal mencakup Memorystore for Redis, Firestore, atau Gemini Enterprise Agent Platform Sessions.

    Jika Anda menggunakan ADK, DatabaseSessionService memerlukan database relasional, seperti Cloud SQL.

Memori jangka panjang

Memori jangka panjang memberi agen pusat informasi persisten yang ada di semua percakapan untuk setiap pengguna. Memori jangka panjang memungkinkan agen mengambil dan menggunakan informasi eksternal, belajar dari interaksi sebelumnya, serta memberikan respons yang lebih akurat dan relevan.

Berikut adalah opsi untuk menerapkan memori jangka panjang dengan ADK:

  • Penyimpanan dalam memori: Untuk pengembangan dan pengujian, Anda dapat menyimpan status sesi langsung di memori aplikasi. Pendekatan ini mudah diterapkan, tetapi tidak persisten. Jika aplikasi dimulai ulang, histori percakapan akan hilang. Anda biasanya mengimplementasikan pola ini dengan menggunakan penyedia dalam memori dalam framework pengembangan, seperti InMemoryMemoryService yang disertakan dalam ADK untuk pengujian.
  • Penyimpanan eksternal: Untuk aplikasi produksi, kelola pusat informasi agen Anda di layanan penyimpanan persisten eksternal. Layanan penyimpanan eksternal memastikan bahwa pengetahuan agen Anda tahan lama, skalabel, dan dapat diakses di beberapa instance aplikasi. Gunakan Memory Bank untuk penyimpanan jangka panjang dengan runtime agen apa pun di Google Cloud.

Pola desain agen

Pola desain agen adalah pendekatan arsitektur umum untuk membangun aplikasi agentic. Pola ini menawarkan framework yang berbeda untuk mengatur komponen sistem, mengintegrasikan model AI, dan mengorkestrasi satu agen atau beberapa agen untuk menyelesaikan alur kerja. Untuk menentukan pendekatan yang terbaik untuk alur kerja, Anda harus mempertimbangkan kompleksitas dan alur kerja tugas, latensi, performa, dan persyaratan biaya.

Sistem agen tunggal mengandalkan kemampuan penalaran satu model untuk menafsirkan permintaan pengguna, merencanakan urutan langkah, dan memutuskan alat yang akan digunakan. Pendekatan ini adalah titik awal yang efektif yang memungkinkan Anda berfokus pada penyempurnaan logika inti, prompt, dan definisi alat sebelum Anda menambahkan kompleksitas arsitektur. Namun, performa agen tunggal dapat menurun seiring meningkatnya kompleksitas tugas dan jumlah alat.

Untuk masalah yang kompleks, sistem multi-agen mengorkestrasi beberapa agen khusus untuk mencapai sasaran yang tidak dapat dikelola dengan mudah oleh satu agen. Desain modular ini dapat meningkatkan skalabilitas, keandalan, dan kemudahan pemeliharaan sistem. Namun, sistem ini juga memerlukan pertimbangan evaluasi, keamanan, dan biaya tambahan dibandingkan dengan sistem agen tunggal.

Saat mengembangkan sistem multi-agen, Anda harus menerapkan kontrol akses yang tepat untuk setiap agen khusus, merancang sistem orkestrasi yang tangguh untuk memastikan komunikasi antar-agen yang andal, dan mengelola peningkatan biaya operasional dari overhead komputasi dalam menjalankan beberapa agen. Untuk memfasilitasi komunikasi antar-agen, gunakan protokol Agent2Agent (A2A) dengan ADK. A2A adalah protokol standar terbuka yang memungkinkan agen AI berkomunikasi dan berkolaborasi di berbagai platform dan framework, terlepas dari teknologi yang mendasarinya.

Untuk mengetahui informasi selengkapnya tentang pola desain agen umum dan cara memilih pola berdasarkan persyaratan workload Anda, lihat Memilih pola desain untuk sistem AI agentic Anda.

Model AI

Aplikasi agentic bergantung pada kemampuan penalaran dan pemahaman model untuk bertindak sebagai pengorkestrasi tugas utama. Untuk peran agen inti ini, sebaiknya gunakan Gemini Pro.

Model Google, seperti Gemini, menyediakan akses ke model eksklusif terbaru dan paling mumpuni melalui API terkelola. Pendekatan ini ideal untuk meminimalkan overhead operasional. Sebaliknya, model terbuka yang dihosting sendiri memberikan kontrol mendalam yang diperlukan saat Anda melakukan penyesuaian pada data eksklusif. Workload dengan persyaratan keamanan dan residensi data yang ketat juga memerlukan model yang dihosting sendiri, karena model ini memungkinkan Anda menjalankan model dalam jaringan Anda sendiri.

Untuk meningkatkan performa agen, Anda dapat menyesuaikan kemampuan penalaran model. Model seperti model Gemini Pro dan Flash terbaru memiliki proses penalaran bawaan yang meningkatkan penalaran dan perencanaan multi-langkah. Untuk proses debug dan penyempurnaan, Anda dapat meninjau ringkasan pemikiran model, atau versi sintesis dari pemikiran internalnya, untuk memahami jalur penalarannya. Anda dapat mengontrol kemampuan penalaran model dengan menyesuaikan anggaran penalaran, atau jumlah token penalaran, berdasarkan kompleksitas tugas. Anggaran penalaran yang lebih tinggi memungkinkan model melakukan penalaran dan perencanaan yang lebih mendetail sebelum memberikan jawaban. Anggaran penalaran yang lebih tinggi dapat meningkatkan kualitas respons, tetapi juga dapat meningkatkan latensi dan biaya.

Untuk mengoptimalkan performa dan biaya, terapkan perutean model untuk memilih model yang paling sesuai secara dinamis untuk setiap tugas berdasarkan persyaratan kompleksitas, biaya, atau latensi tugas. Misalnya, Anda dapat merutekan permintaan sederhana ke model bahasa kecil (SLM) untuk tugas terstruktur seperti pembuatan kode atau klasifikasi teks, dan mencadangkan model yang lebih canggih dan mahal untuk penalaran yang kompleks. Jika Anda menerapkan perutean model dalam aplikasi agentic, Anda dapat membuat sistem yang hemat biaya dan mempertahankan performa tinggi.

Google Cloud menyediakan akses ke berbagai pilihan model Google, model partner, dan model terbuka yang dapat Anda gunakan dalam arsitektur agentic Anda. Untuk mengetahui informasi selengkapnya tentang model yang tersedia dan cara memilih model yang sesuai dengan kebutuhan Anda, lihat Model Garden di Gemini Enterprise Agent Platform.

Runtime model

Runtime model adalah lingkungan yang menghosting dan menyajikan model AI Anda serta menyediakan kemampuan penalarannya untuk agen Anda.

Memilih runtime model

Untuk memilih runtime terbaik saat menghosting model AI, gunakan panduan berikut:

Kasus penggunaan Runtime model
Anda memerlukan API yang terkelola sepenuhnya untuk menyajikan model Gemini, model partner, model terbuka, atau model kustom dengan keamanan, penskalaan, dan alat AI generatif tingkat perusahaan. Agent Platform
Anda perlu men-deploy model dalam container terbuka atau kustom dan memprioritaskan kesederhanaan serverless dan efisiensi biaya untuk traffic yang bervariasi. Cloud Run
Anda memerlukan kontrol maksimum atas infrastruktur untuk menjalankan model dalam container terbuka atau kustom pada hardware khusus atau untuk memenuhi persyaratan keamanan dan jaringan yang kompleks. GKE

Bagian berikut memberikan ringkasan runtime model sebelumnya, termasuk fitur utama dan pertimbangan desain. Dokumen ini berfokus pada Agent Platform, Cloud Run, dan Google Kubernetes Engine (GKE). Namun, Google Cloud menawarkan layanan lain yang mungkin Anda pertimbangkan untuk runtime model:

  • Gemini API: Gemini API dirancang untuk developer yang memerlukan akses cepat dan langsung ke model Gemini tanpa fitur tata kelola perusahaan yang sering diperlukan oleh sistem agen yang kompleks.
  • Compute Engine: Compute Engine adalah produk infrastructure as a service (IaaS) yang cocok untuk aplikasi lama. Hal ini menimbulkan overhead operasional yang signifikan dibandingkan dengan runtime modern berbasis container.

Untuk mengetahui informasi selengkapnya tentang fitur yang membedakan semua opsi layanan untuk runtime model, lihat Infrastruktur hosting model.

Agent Platform

Agent Platform menyediakan lingkungan serverless yang terkelola sepenuhnya yang menghosting model AI Anda. Anda dapat menyajikan dan menyesuaikan model Google, model partner, dan model terbuka melalui API yang aman dan skalabel. Pendekatan ini mengabstraksi semua pengelolaan infrastruktur, dan memungkinkan Anda berfokus pada pengintegrasian kecerdasan model ke dalam aplikasi Anda.

Saat Anda menggunakan Agent Platform sebagai runtime model, fitur dan pertimbangan utamanya mencakup hal-hal berikut:

  • Kontrol infrastruktur: API yang terkelola sepenuhnya untuk model Anda. Google mengelola infrastruktur yang mendasarinya.
  • Keamanan: Default keamanan terkelola dan sertifikasi kepatuhan standar sudah cukup untuk kebutuhan Anda. Untuk memberikan perlindungan perintah dan respons serta memastikan praktik AI yang bertanggung jawab, Anda dapat mengintegrasikan Model Armor ke Agent Platform.
  • Ketersediaan model: Akses ke berbagai pilihan model, termasuk model Gemini terbaru, melalui API terkelola.
  • Biaya: Model harga bayar per penggunaan yang diskalakan dengan traffic aplikasi Anda. Untuk mengetahui informasi selengkapnya, lihat Biaya membangun dan men-deploy model AI di Agent Platform.

Cloud Run

Cloud Run menyediakan runtime serverless yang menghosting model Anda di dalam container kustom. Cloud Run menawarkan keseimbangan antara kesederhanaan Agent Platform yang terkelola sepenuhnya dan kontrol infrastruktur GKE yang mendalam. Pendekatan ini ideal jika Anda memerlukan fleksibilitas untuk menjalankan model di lingkungan dalam container tanpa mengelola server atau cluster.

Saat Anda menggunakan Cloud Run sebagai runtime model, fitur dan pertimbangan utamanya mencakup hal berikut:

  • Kontrol infrastruktur: Jalankan model apa pun dalam container kustom, yang memberikan kontrol penuh atas lingkungan software, sementara platform mengelola infrastruktur serverless yang mendasarinya.
  • Keamanan: Memberikan keamanan melalui instance komputasi sementara yang terisolasi dan memungkinkan koneksi yang aman ke resource pribadi menggunakan traffic keluar VPC Langsung atau konektor Akses VPC Serverless. Untuk mengetahui informasi selengkapnya, lihat Jaringan pribadi dan Cloud Run.
  • Ketersediaan model: Sajikan model terbuka seperti Gemma atau sajikan model kustom Anda sendiri. Anda tidak dapat menghosting atau menyajikan model Gemini di Cloud Run.
  • Biaya: Menampilkan model harga bayar sesuai penggunaan berbasis permintaan yang diskalakan hingga nol, sehingga sangat hemat biaya untuk model dengan traffic sporadis atau bervariasi. Untuk mengetahui informasi selengkapnya, lihat Harga Cloud Run.

GKE

GKE memberikan kontrol dan fleksibilitas paling besar untuk menghosting model AI Anda. Untuk menggunakan pendekatan ini, Anda menjalankan model dalam container di cluster GKE yang Anda konfigurasi dan kelola. GKE adalah pilihan ideal jika Anda perlu menjalankan model pada hardware khusus, menempatkannya bersama aplikasi Anda untuk latensi minimal, atau memerlukan kontrol terperinci atas setiap aspek lingkungan inferensi.

Saat Anda menggunakan GKE sebagai runtime model, fitur dan pertimbangan utamanya mencakup hal-hal berikut:

  • Kontrol infrastruktur: Memberikan kontrol terperinci dan maksimum atas seluruh lingkungan penyajian, termasuk konfigurasi node, akselerator mesin khusus, dan software penyajian model tertentu.
  • Keamanan: Memungkinkan tingkat keamanan dan isolasi data tertinggi karena Anda dapat menjalankan model sepenuhnya dalam jaringan dan menerapkan kebijakan keamanan Kubernetes yang mendetail. Untuk menyaring traffic ke dan dari cluster GKE serta melindungi semua interaksi dengan model AI, Anda dapat mengintegrasikan Model Armor dengan GKE .
  • Ketersediaan model: Sajikan model terbuka seperti Gemma, atau sajikan model kustom Anda sendiri. Anda tidak dapat menghosting atau menyajikan model Gemini di GKE.
  • Biaya: Menampilkan model biaya yang didasarkan pada resource komputasi dan cluster yang mendasarinya yang Anda gunakan, sehingga sangat dioptimalkan untuk workload bervolume tinggi yang dapat diprediksi saat Anda menggunakan diskon abonemen (DA). Untuk mengetahui informasi selengkapnya, lihat harga Google Kubernetes Engine.

Agent Runtime

Untuk menghosting dan men-deploy aplikasi agentic, Anda harus memilih runtime agen. Layanan ini menjalankan kode aplikasi Anda—logika bisnis dan orkestrasi yang Anda tulis saat menggunakan framework pengembangan agen. Dari runtime ini, aplikasi Anda melakukan panggilan API ke model yang dihosting dan dikelola oleh runtime model yang Anda pilih.

Memilih Agent Runtime

Untuk memilih runtime saat Anda menghosting agen AI, gunakan panduan berikut:

Kasus penggunaan Agent Runtime
Aplikasi Anda adalah agen Python dan memerlukan pengalaman yang terkelola sepenuhnya dengan overhead operasional minimal. Agent Runtime di Gemini Enterprise Agent Platform
Aplikasi Anda di-container-kan dan memerlukan penskalaan berbasis peristiwa serverless dengan fleksibilitas bahasa. Cloud Run
Aplikasi Anda di-container-kan, memiliki persyaratan stateful yang kompleks, dan memerlukan konfigurasi infrastruktur yang mendetail. GKE

Jika Anda sudah mengelola aplikasi di Cloud Run atau di GKE, Anda dapat mempercepat pengembangan dan menyederhanakan operasi jangka panjang dengan menggunakan platform yang sama untuk workload agen Anda.

Bagian berikut memberikan ringkasan setiap runtime agen, termasuk fitur utama dan pertimbangan desain.

Agent Runtime

Agent Runtime adalah runtime yang terkelola sepenuhnya dan berpendapat yang dapat Anda gunakan untuk men-deploy, mengoperasikan, dan menskalakan aplikasi agentic. Agent Runtime mengabstraksi infrastruktur yang mendasarinya, sehingga Anda dapat berfokus pada logika agen, bukan operasi.

Berikut adalah fitur dan pertimbangan untuk Agent Runtime:

  • Fleksibilitas bahasa pemrograman dan framework: Kembangkan agen di Python dengan framework yang didukung.
  • Protokol komunikasi: Mengorkestrasi agen dan alat yang menggunakan MCP dan A2A. Agent Runtime mengelola runtime untuk komponen ini secara efisien, tetapi tidak mendukung hosting server MCP kustom.

  • Memori: Menyediakan kemampuan memori terkelola bawaan, sehingga tidak perlu mengonfigurasi database eksternal untuk memori agen inti.

  • Skalabilitas: Menskalakan secara otomatis untuk memenuhi permintaan workload agentic Anda, sehingga tidak perlu konfigurasi manual.
  • Kemampuan observasi: Menyediakan logging, pemantauan, dan pelacakan terintegrasi melalui layanan Google Cloud Observability.
  • Keamanan: Memberikan keandalan, skalabilitas, dan kepatuhan tingkat perusahaan berikut:

    Untuk mengetahui informasi tentang fitur keamanan Agent Runtime, lihat Keamanan perusahaan.

Agent Runtime mempercepat jalur ke produksi karena menyediakan lingkungan terkelola yang dibuat khusus dan menangani banyak aspek kompleks saat Anda mengoperasikan agen, seperti pengelolaan siklus proses dan konteks. Agent Runtime kurang cocok untuk kasus penggunaan yang memerlukan penyesuaian ekstensif pada lingkungan komputasi atau yang memerlukan bahasa pemrograman selain Python. Untuk workload yang memiliki persyaratan keamanan ketat untuk pengelolaan dependensi pribadi, Cloud Run dan GKE menawarkan jalur konfigurasi berbasis IAM yang lebih langsung.

Cloud Run

Cloud Run adalah platform serverless yang terkelola sepenuhnya dan memungkinkan Anda menjalankan kode aplikasi agen dalam container stateless. Cloud Run ideal jika Anda ingin men-deploy seluruh aplikasi agen, komponen individual, atau alat kustom sebagai endpoint HTTP yang skalabel tanpa perlu mengelola infrastruktur yang mendasarinya.

Berikut adalah fitur dan pertimbangan untuk Cloud Run:

Cloud Run menawarkan kemudahan operasional dan efektivitas biaya yang signifikan karena menghilangkan pengelolaan infrastruktur. Namun, sifat stateless Cloud Run mengharuskan Anda menggunakan layanan penyimpanan untuk mengelola konteks di seluruh alur kerja multi-langkah. Selain itu, waktu tunggu permintaan maksimum untuk layanan Cloud Run adalah hingga satu jam, yang mungkin membatasi tugas agentic yang berjalan lama.

GKE

Google Kubernetes Engine adalah layanan orkestrasi container terkelola yang memberikan kontrol terperinci atas arsitektur dan infrastruktur aplikasi agen Anda. GKE cocok untuk sistem agentic kompleks yang memerlukan kemampuan yang andal dan siap produksi, atau jika Anda sudah menjadi pelanggan GKE dan ingin menerapkan alur kerja agentic di atas aplikasi yang sudah ada.

Berikut adalah fitur dan pertimbangan yang tersedia di GKE:

GKE memberikan kontrol dan fleksibilitas maksimum, sehingga Anda dapat menjalankan agen stateful yang kompleks. Namun, kontrol ini menimbulkan overhead dan kompleksitas operasional yang signifikan. Anda harus mengonfigurasi dan mengelola cluster Kubernetes, termasuk node pool, jaringan, dan kebijakan penskalaan, yang memerlukan lebih banyak keahlian dan upaya pengembangan daripada yang diperlukan platform serverless.

Langkah berikutnya

Kontributor

Penulis: Samantha He | Technical Writer

Kontributor lainnya: