Kasus penggunaan AI di Cloud Run

Baik Anda membuat agen, menjalankan model inferensi, atau berintegrasi dengan berbagai layanan AI, Cloud Run memberikan skalabilitas, fleksibilitas, dan kemudahan penggunaan yang diperlukan untuk mewujudkan inovasi AI Anda.

Halaman ini menyoroti beberapa kasus penggunaan tingkat tinggi untuk menghosting, membangun, dan men-deploy workload AI di Cloud Run.

Mengapa menggunakan Cloud Run untuk beban kerja AI?

Cloud Run menawarkan beberapa keuntungan untuk memastikan aplikasi AI Anda skalabel, fleksibel, dan mudah dikelola. Beberapa sorotan mencakup:

  • Dukungan container fleksibel: Kemas aplikasi dan dependensinya dalam container, atau gunakan bahasa, library, atau framework yang didukung. Pelajari lebih lanjut Kontrak runtime container Cloud Run.
  • Endpoint HTTP: Setelah men-deploy layanan atau instance Cloud Run, terima endpoint URL Cloud Run yang aman dan siap pakai. Cloud Run menyediakan streaming melalui dukungan encoding transfer terpotong HTTP, HTTP/2, dan WebSockets.
  • Penskalaan otomatis atau manual: Untuk layanan Cloud Run, Cloud Run menskalakan layanan Anda secara otomatis berdasarkan permintaan. Hal ini memastikan Anda hanya membayar sesuai penggunaan, sehingga ideal untuk workload AI yang tidak dapat diprediksi. Anda juga dapat menyetel layanan ke penskalaan manual berdasarkan kebutuhan traffic dan penggunaan CPU. Untuk instance Cloud Run, penskalaan otomatis tidak berlaku; instance ini berjalan sebagai singleton yang Anda mulai dan hentikan secara manual.

  • Dukungan GPU: Percepat model AI Anda dengan mengonfigurasi resource Cloud Run dengan GPU. Layanan Cloud Run dengan GPU yang diaktifkan dapat diskalakan ke nol untuk menghemat biaya saat tidak digunakan.

  • Ekosistem terintegrasi: Terhubung dengan lancar ke layanan Google Cloud lainnya, seperti Vertex AI, BigQuery, Cloud SQL, Memorystore, Pub/Sub, AlloyDB untuk PostgreSQL, Cloud CDN, Secret Manager, dan domain kustom untuk membangun pipeline AI end-to-end yang komprehensif. Google Cloud Observability juga menyediakan alat pemantauan dan logging bawaan untuk memahami performa aplikasi dan memecahkan masalah secara efektif.

Kasus penggunaan AI utama

Berikut beberapa cara Anda dapat menggunakan Cloud Run untuk mendukung aplikasi AI Anda:

Menghosting agen dan bot AI

Cloud Run adalah platform yang ideal untuk menghosting logika backend bagi agen AI, chatbot, dan asisten virtual. Agen ini dapat mengatur panggilan ke model AI seperti Gemini di Vertex AI, mengelola status, dan berintegrasi dengan berbagai alat dan API.

  • Microservice untuk agen: Deploy setiap kemampuan agen sebagai layanan atau instance Cloud Run terpisah. Lihat Menghosting agen AI untuk mempelajari lebih lanjut.
  • Komunikasi Agent2Agent (A2A): Bangun sistem agen kolaboratif menggunakan A2A protocol. Lihat Meng-hosting agen A2A untuk mempelajari lebih lanjut.
  • Server Model Context Protocol (MCP): Terapkan server MCP untuk menyediakan konteks standar ke LLM dari alat dan sumber data Anda. Lihat Server MCP host untuk mempelajari lebih lanjut.

Agen AI yang aman

Cloud Run terintegrasi dengan Agent Platform untuk menyediakan kemampuan bawaan bagi agen AI, server MCP, dan alat.

Menyajikan model AI/ML untuk inferensi

Men-deploy model machine learning terlatih Anda sebagai endpoint HTTP yang skalabel.

  • Inferensi real-time: Menyajikan prediksi dari model yang dibuat dengan framework seperti TensorFlow, PyTorch, scikit-learn, atau menggunakan model terbuka seperti Gemma. Lihat Menjalankan Gemma 3 di Cloud Run untuk melihat contohnya.
  • Akselerasi GPU: Gunakan GPU NVIDIA untuk mempercepat inferensi untuk model yang lebih berat. Lihat Mengonfigurasi GPU untuk layanan untuk mempelajari lebih lanjut.
  • Integrasi dengan Vertex AI: Sajikan model yang dilatih atau di-deploy di Vertex AI, menggunakan Cloud Run sebagai frontend yang skalabel.
  • Pisahkan file model berukuran besar dari container Anda: Adaptor Cloud Storage FUSE memungkinkan Anda memasang bucket Cloud Storage, dan membuatnya dapat diakses sebagai direktori lokal di dalam container Cloud Run Anda.

Membangun sistem Retrieval-Augmented Generation (RAG)

Bangun aplikasi RAG dengan menghubungkan layanan atau instance Cloud Run ke sumber data Anda.

  • Database vektor: Terhubung ke database vektor yang dihosting di Cloud SQL (dengan pgvector), AlloyDB untuk PostgreSQL, Memorystore for Redis, atau penyimpanan vektor khusus lainnya untuk mengambil konteks yang relevan bagi LLM Anda. Lihat contoh infrastruktur penggunaan Cloud Run untuk menghosting aplikasi AI generatif berkemampuan RAG dan pemrosesan data menggunakan Vertex AI dan Penelusuran Vektor.
  • Akses data: Mengambil data dari Cloud Storage, BigQuery, Firestore, atau API lainnya untuk memperkaya perintah.

Menghosting API dan backend yang didukung AI

Buat API dan microservice yang menyematkan kemampuan AI.

  • Smart API: Mengembangkan API yang menggunakan LLM untuk pemahaman bahasa alami, analisis sentimen, terjemahan, ringkasan, dan sebagainya.
  • Alur kerja otomatis: Buat layanan yang memicu tindakan berbasis AI berdasarkan peristiwa atau permintaan.

Membuat prototipe dan bereksperimen dengan ide

Melakukan iterasi ide AI dengan cepat.

  • Deployment cepat: Pindahkan prototipe dengan cepat dari lingkungan seperti Vertex AI Studio, Google AI Studio, atau notebook Jupyter ke deployment yang skalabel di Cloud Run dengan konfigurasi minimal.
  • Pembagian traffic: Gunakan fitur pembagian traffic Cloud Run untuk melakukan pengujian A/B pada berbagai model, perintah, atau konfigurasi, dan Google Cloud Observability untuk memantau metrik (latensi, rasio error, biaya) guna mengukur keberhasilan pengujian A/B.

Langkah berikutnya

Bergantung pada pemahaman Anda tentang konsep AI dan kasus penggunaan AI, pelajari resource AI Cloud Run.