Perspektif AI dan ML: Keunggulan operasional

Last reviewed 2026-10-29 UTC

Dokumen dalam Google Cloud Well-Architected Framework: AI and ML perspective ini memberikan ringkasan prinsip dan rekomendasi untuk membangun dan mengoperasikan sistem AI dan ML yang andal di Google Cloud. Rekomendasi ini membantu Anda menyiapkan elemen dasar seperti kemampuan observasi, otomatisasi, dan skalabilitas. Rekomendasi dalam dokumen ini selaras dengan pilar keunggulan operasional dari Well-Architected Framework.

Keunggulan operasional dalam domain AI dan ML adalah kemampuan untuk men-deploy, mengelola, dan mengatur sistem serta pipeline AI dan ML dengan lancar yang membantu mendorong tujuan strategis organisasi Anda. Keunggulan operasional memungkinkan Anda merespons perubahan secara efisien, mengurangi kompleksitas operasional, dan memastikan bahwa operasi Anda tetap selaras dengan sasaran bisnis.

Rekomendasi dalam dokumen ini dipetakan ke prinsip-prinsip inti berikut:

Membangun fondasi yang kuat untuk pengembangan model

Untuk mengembangkan dan men-deploy sistem AI yang skalabel dan andal yang membantu Anda mencapai sasaran bisnis, fondasi pengembangan model yang kuat sangatlah penting. Fondasi tersebut memungkinkan alur kerja yang konsisten, mengotomatiskan langkah-langkah penting untuk mengurangi error, dan memastikan bahwa model dapat diskalakan sesuai permintaan. Fondasi pengembangan model yang kuat memastikan bahwa sistem ML Anda dapat diupdate, ditingkatkan, dan dilatih ulang dengan lancar. Fondasi ini juga membantu Anda menyelaraskan performa model dengan kebutuhan bisnis, men-deploy solusi AI yang berdampak dengan cepat, dan beradaptasi dengan perubahan persyaratan.

Untuk membangun fondasi yang kuat dalam mengembangkan model AI Anda, pertimbangkan rekomendasi berikut.

Menentukan masalah dan hasil yang diperlukan

Sebelum memulai project AI atau ML, Anda harus memiliki pemahaman yang jelas tentang masalah bisnis yang harus diselesaikan dan hasil yang diperlukan. Mulailah dengan ringkasan tujuan bisnis dan uraikan tujuan tersebut menjadi indikator performa utama (KPI) yang terukur. Untuk mengatur dan mendokumentasikan definisi masalah dan hipotesis Anda di lingkungan notebook Jupyter, gunakan alat seperti Gemini Enterprise Agent Platform Workbench. Untuk menerapkan pembuatan versi kode dan dokumen serta mendokumentasikan project, sasaran, dan asumsi Anda, gunakan alat seperti Git. Untuk mengembangkan dan mengelola perintah untuk aplikasi AI generatif, Anda dapat menggunakan Agent Studio di Gemini Enterprise Agent Platform.

Mengumpulkan dan melakukan prapemrosesan data yang diperlukan

Untuk menerapkan prapemrosesan dan transformasi data, Anda dapat menggunakan Dataflow (untuk Apache Beam), Managed Service untuk Apache Spark (untuk Apache Spark), atau BigQuery jika proses berbasis SQL sesuai. Untuk memvalidasi skema dan mendeteksi anomali, gunakan TensorFlow Data Validation (TFDV) dan manfaatkan pemindaian kualitas data otomatis di BigQuery jika berlaku.

Untuk AI generatif, kualitas data mencakup akurasi, relevansi, keragaman, dan penyelarasan dengan karakteristik output yang diperlukan. Jika data dunia nyata tidak memadai atau tidak seimbang, Anda dapat membuat data sintetis untuk membantu meningkatkan ketahanan dan generalisasi model. Untuk membuat set data sintetis berdasarkan pola yang ada atau untuk menambah data pelatihan agar performa model lebih baik, gunakan BigQuery DataFrames. Data sintetis sangat berharga untuk AI generatif karena dapat membantu meningkatkan keragaman perintah dan ketahanan model secara keseluruhan. Saat Anda membangun set data untuk menyesuaikan model AI generatif, pertimbangkan untuk menggunakan kemampuan pembuatan data sintetis di Gemini Enterprise Agent Platform.

Untuk tugas AI generatif seperti fine-tuning atau reinforcement learning dari masukan manusia (RLHF), pastikan label secara akurat mencerminkan kualitas, relevansi, dan keamanan output yang dihasilkan.

Memilih pendekatan ML yang sesuai

Saat Anda mendesain model dan parameter, pertimbangkan kompleksitas dan kebutuhan komputasi model. Bergantung pada tugasnya (seperti klasifikasi, regresi, atau pembuatan), pertimbangkan untuk menggunakan pelatihan kustom Agent Platform untuk pembuatan model kustom atau AutoML untuk tugas ML yang lebih sederhana. Untuk aplikasi umum, Anda juga dapat mengakses model terlatih melalui Model Garden. Anda dapat bereksperimen dengan berbagai model dasar yang canggih untuk berbagai kasus penggunaan, seperti membuat teks, gambar, dan kode.

Anda mungkin ingin menyesuaikan model dasar terlatih untuk mencapai performa optimal bagi kasus penggunaan spesifik Anda. Untuk persyaratan performa tinggi dalam pelatihan kustom, konfigurasikan Cloud TPU atau resource GPU untuk mempercepat pelatihan dan inferensi model deep learning, seperti model bahasa besar (LLM) dan model difusi.

Menyiapkan kontrol versi untuk kode, model, dan data

Untuk mengelola dan men-deploy versi kode secara efektif, gunakan alat seperti GitHub atau GitLab. Alat ini menyediakan fitur kolaborasi yang andal, strategi percabangan, dan integrasi dengan pipeline CI/CD untuk memastikan proses pengembangan yang efisien.

Gunakan solusi yang sesuai untuk mengelola setiap artefak sistem ML Anda, seperti contoh berikut:

  • Untuk artefak kode seperti image container dan komponen pipeline, Artifact Registry menyediakan solusi penyimpanan skalabel yang dapat membantu meningkatkan keamanan. Artifact Registry juga menyertakan pembuatan versi dan dapat diintegrasikan dengan Cloud Build dan Cloud Deploy.
  • Untuk mengelola artefak data, seperti set data yang digunakan untuk pelatihan dan evaluasi, gunakan solusi seperti BigQuery atau Cloud Storage untuk penyimpanan dan pembuatan versi.
  • Untuk menyimpan metadata dan pointer ke lokasi data, gunakan sistem kontrol versi atau katalog data terpisah.

Untuk mempertahankan konsistensi dan pembuatan versi data fitur Anda, gunakan Agent Platform Feature Store. Untuk melacak dan mengelola artefak model, termasuk biner dan metadata, gunakan Model Registry di Gemini Enterprise Agent Platform, yang memungkinkan Anda menyimpan, mengatur, dan men-deploy versi model dengan lancar.

Untuk memastikan keandalan model, terapkan Pemantauan Model di Gemini Enterprise Agent Platform. Mendeteksi penyimpangan data, melacak performa, dan mengidentifikasi anomali dalam produksi. Untuk sistem AI generatif, pantau perubahan kualitas output dan kepatuhan keamanan.

Mengotomatiskan siklus proses pengembangan model

Otomatisasi membantu Anda menyederhanakan setiap tahap siklus proses AI dan ML. Otomatisasi mengurangi upaya manual dan menstandarkan proses, yang mengarah pada peningkatan efisiensi operasional dan risiko error yang lebih rendah. Alur kerja otomatis memungkinkan iterasi yang lebih cepat, deployment yang konsisten di berbagai lingkungan, dan hasil yang lebih andal, sehingga sistem Anda dapat diskalakan dan beradaptasi dengan lancar.

Untuk mengotomatiskan siklus proses pengembangan sistem AI dan ML Anda, pertimbangkan rekomendasi berikut.

Menggunakan sistem orkestrasi pipeline terkelola

Gunakan Gemini Enterprise Agent Platform Pipelines untuk mengotomatiskan setiap langkah siklus proses ML—mulai dari persiapan data hingga pelatihan, evaluasi, dan deployment model. Untuk mempercepat deployment dan meningkatkan konsistensi di seluruh project, otomatiskan tugas berulang dengan eksekusi pipeline terjadwal, pantau alur kerja dengan metrik eksekusi, dan kembangkan template pipeline yang dapat digunakan kembali untuk alur kerja yang terstandardisasi. Kemampuan ini mencakup model AI generatif, yang sering kali memerlukan langkah-langkah khusus seperti rekayasa perintah, pemfilteran respons, dan evaluasi human-in-the-loop. Untuk AI generatif, Agent Platform Pipelines dapat mengotomatiskan langkah-langkah ini, termasuk evaluasi output yang dihasilkan terhadap metrik kualitas dan pedoman keamanan. Untuk meningkatkan keragaman perintah dan keandalan model, alur kerja otomatis juga dapat menyertakan teknik pengayaan data.

Mengimplementasikan pipeline CI/CD

Untuk mengotomatiskan pembuatan, pengujian, dan deployment model ML, gunakan Cloud Build. Layanan ini sangat efektif saat Anda menjalankan suite pengujian untuk kode aplikasi, yang memastikan bahwa infrastruktur, dependensi, dan paket model memenuhi persyaratan deployment Anda.

Sistem ML sering kali memerlukan langkah tambahan selain pengujian kode. Misalnya, Anda perlu melakukan uji ketahanan model di bawah berbagai beban, melakukan evaluasi massal untuk menilai performa model di berbagai set data, dan memvalidasi integritas data sebelum pelatihan ulang. Untuk menyimulasikan workload yang realistis untuk pengujian daya tahan, Anda dapat menggunakan alat seperti Locust, Grafana k6, atau Apache JMeter. Untuk mengidentifikasi bottleneck, pantau metrik utama seperti latensi, tingkat error, dan pemanfaatan resource melalui Cloud Monitoring. Untuk AI generatif, pengujian juga harus menyertakan evaluasi yang spesifik untuk jenis konten yang dihasilkan, seperti kualitas teks, fidelitas gambar, atau fungsionalitas kode. Evaluasi ini dapat melibatkan metrik otomatis seperti perplexity untuk model bahasa atau evaluasi human-in-the-loop untuk aspek yang lebih bernuansa seperti kreativitas dan keamanan.

Untuk menerapkan tugas pengujian dan evaluasi, Anda dapat mengintegrasikan Cloud Build dengan layanan Google Cloud lainnya. Misalnya, Anda dapat menggunakan Agent Platform Pipelines untuk evaluasi model otomatis, BigQuery untuk analisis data skala besar, dan validasi pipeline Dataflow untuk validasi fitur.

Anda dapat meningkatkan kualitas pipeline CI/CD lebih lanjut menggunakan Agent Platform untuk continuous training guna mengaktifkan pelatihan ulang model secara otomatis pada data baru. Khusus untuk AI generatif, agar output yang dihasilkan tetap relevan dan beragam, pelatihan ulang mungkin melibatkan pembaruan otomatis model dengan data pelatihan atau perintah baru. Anda dapat menggunakan Agent Platform Model Garden untuk memilih model dasar terbaru yang tersedia untuk penyesuaian. Praktik ini memastikan bahwa model tetap aktual dan dioptimalkan untuk kebutuhan bisnis Anda yang terus berkembang.

Menerapkan rilis model yang aman dan terkontrol

Untuk meminimalkan risiko dan memastikan deployment yang andal, terapkan pendekatan rilis model yang memungkinkan Anda mendeteksi masalah lebih awal, memvalidasi performa, dan melakukan rollback dengan cepat saat diperlukan.

Untuk memaketkan model dan aplikasi ML Anda ke dalam image container dan men-deploy-nya, gunakan Cloud Deploy. Anda dapat men-deploy model ke endpoint Agent Platform.

Terapkan rilis terkontrol untuk aplikasi dan sistem AI Anda menggunakan strategi seperti rilis terbatas. Untuk aplikasi yang menggunakan model terkelola seperti Gemini, sebaiknya Anda merilis versi aplikasi baru secara bertahap ke sebagian pengguna sebelum deployment penuh. Pendekatan ini memungkinkan Anda mendeteksi potensi masalah sejak dini, terutama saat Anda menggunakan model AI generatif yang output-nya dapat bervariasi.

Untuk merilis model yang telah disesuaikan, Anda dapat menggunakan Cloud Deploy untuk mengelola deployment versi model, dan menggunakan strategi rilis terbatas untuk meminimalkan risiko. Dengan model terkelola dan model yang telah disesuaikan, tujuan rilis terkontrol adalah untuk menguji perubahan dengan audiens terbatas sebelum Anda merilis aplikasi dan model kepada semua pengguna.

Untuk validasi yang kuat, gunakan Eksperimen di Gemini Enterprise Agent Platform untuk membandingkan model baru dengan model yang sudah ada, dan gunakan Evaluasi model Agent Platform untuk menilai performa model. Khusus untuk AI generatif, tentukan metrik evaluasi yang sesuai dengan kasus penggunaan yang dimaksud dan potensi risiko. Anda dapat menggunakan layanan evaluasi AI Generatif di Agent Platform untuk menilai metrik seperti toksisitas, koherensi, akurasi faktual, dan kepatuhan terhadap pedoman keamanan.

Untuk memastikan keandalan deployment, Anda memerlukan rencana rollback yang kuat. Untuk sistem ML tradisional, gunakan Model Monitoring di Agent Platform untuk mendeteksi penyimpangan data dan penurunan performa. Untuk model AI generatif, Anda dapat melacak metrik yang relevan dan menyiapkan pemberitahuan untuk perubahan kualitas output atau munculnya konten berbahaya menggunakan evaluasi model Agent Platform bersama dengan Cloud Logging dan Monitoring. Konfigurasikan pemberitahuan berdasarkan metrik khusus AI generatif untuk memicu prosedur rollback jika diperlukan. Untuk melacak silsilah model dan kembali ke versi stabil terbaru, gunakan insight dari Model Registry.

Menerapkan kemampuan observasi

Perilaku sistem AI dan ML dapat berubah seiring waktu karena perubahan pada data atau lingkungan dan update pada model. Sifat dinamis ini membuat kemampuan observasi menjadi sangat penting untuk mendeteksi masalah performa, bias, atau perilaku yang tidak terduga. Hal ini terutama berlaku untuk model AI generatif karena output-nya bisa sangat bervariasi dan subjektif. Dengan kemampuan observasi, Anda dapat mengatasi perilaku yang tidak terduga secara proaktif dan memastikan sistem AI dan ML Anda tetap andal, akurat, dan adil.

Untuk menerapkan kemampuan observasi pada sistem AI dan ML Anda, pertimbangkan rekomendasi berikut.

Memantau performa secara berkelanjutan

Gunakan metrik dan kriteria keberhasilan untuk evaluasi berkelanjutan terhadap model setelah deployment.

Anda dapat menggunakan Model Monitoring di Agent Platform untuk melacak performa model secara proaktif, mengidentifikasi diferensiasi performa pelatihan dan penayangan serta penyimpangan prediksi, dan menerima pemberitahuan untuk memicu pelatihan ulang model yang diperlukan atau intervensi lainnya. Untuk memantau diferensiasi performa pelatihan dan penayangan secara efektif, buat set data emas yang mewakili distribusi data ideal, dan gunakan TFDV untuk menganalisis data pelatihan Anda dan membuat skema dasar.

Konfigurasikan Model Monitoring di Agent Platform untuk membandingkan distribusi data input dengan set data golden untuk deteksi skew otomatis. Untuk model ML tradisional, fokuslah pada metrik seperti akurasi, presisi, perolehan, skor F1, AUC-ROC, dan kerugian log. Menentukan nilai minimum kustom untuk pemberitahuan di Model Monitoring di Agent Platform. Untuk AI generatif, gunakan Layanan evaluasi AI generatif untuk terus memantau output model dalam produksi. Anda juga dapat mengaktifkan metrik evaluasi otomatis untuk kualitas respons, keamanan, kepatuhan terhadap petunjuk, grounding, gaya penulisan, dan panjang respons. Untuk menilai kualitas, relevansi, keamanan, dan kepatuhan output yang dihasilkan terhadap pedoman, Anda dapat menyertakan evaluasi human-in-the-loop.

Buat feedback loop untuk melatih ulang model secara otomatis dengan Agent Platform Pipelines saat Pemantauan Model di Agent Platform memicu notifikasi. Gunakan insight ini untuk terus meningkatkan kualitas model Anda.

Mengevaluasi model selama pengembangan

Sebelum men-deploy LLM dan model AI generatif lainnya, evaluasi model tersebut secara menyeluruh selama fase pengembangan. Gunakan evaluasi model Agent Platform untuk mencapai performa optimal dan memitigasi risiko. Gunakan evaluasi cepat Agent Platform untuk mengizinkan Google Cloud menjalankan evaluasi secara otomatis berdasarkan set data dan perintah yang Anda berikan.

Anda juga dapat menentukan dan mengintegrasikan metrik kustom yang spesifik untuk kasus penggunaan Anda. Untuk mendapatkan masukan tentang konten yang dihasilkan, integrasikan alur kerja human-in-the-loop menggunakan Evaluasi Model Agent Platform.

Gunakan pengujian adversarial untuk mengidentifikasi kerentanan dan potensi mode kegagalan. Untuk mengidentifikasi dan memitigasi potensi bias, gunakan teknik seperti analisis subgrup dan pembuatan kontrafaktual. Gunakan insight yang dikumpulkan dari evaluasi yang diselesaikan selama fase pengembangan untuk menentukan strategi pemantauan model dalam produksi. Siapkan solusi Anda untuk pemantauan berkelanjutan seperti yang dijelaskan di bagian Memantau performa secara berkelanjutan dalam dokumen ini.

Memantau ketersediaan

Untuk mendapatkan visibilitas terkait kondisi dan performa endpoint serta infrastruktur yang di-deploy, gunakan Monitoring. Untuk endpoint Agent Platform, lacak metrik utama seperti rasio permintaan, rasio error, latensi, dan pemanfaatan resource, serta siapkan pemberitahuan untuk anomali. Untuk mengetahui informasi selengkapnya, lihat Memantau metrik untuk Agent Platform.

Pantau kondisi infrastruktur yang mendasarinya, yang dapat mencakup instance Compute Engine, cluster Google Kubernetes Engine (GKE), serta Cloud TPU dan GPU. Dapatkan rekomendasi pengoptimalan otomatis dari Active Assist. Jika Anda menggunakan penskalaan otomatis, pantau perilaku penskalaan untuk memastikan bahwa penskalaan otomatis merespons perubahan pola traffic dengan tepat.

Lacak status deployment model, termasuk rilis terbatas dan rollback, dengan mengintegrasikan Cloud Deploy dengan Monitoring. Selain itu, pantau potensi ancaman dan kerentanan keamanan menggunakan Security Command Center.

Menyiapkan notifikasi kustom untuk nilai minimum khusus bisnis

Untuk mengidentifikasi dan memperbaiki anomali dan masalah secara tepat waktu, siapkan notifikasi kustom berdasarkan nilai minimum yang spesifik untuk tujuan bisnis Anda. Contoh produk Google Cloud yang dapat Anda gunakan untuk menerapkan sistem notifikasi kustom meliputi:

  • Logging: Mengumpulkan, menyimpan, dan menganalisis log dari semua komponen sistem AI dan ML Anda.
  • Monitoring: Buat dasbor kustom untuk memvisualisasikan metrik dan tren utama, serta tentukan metrik kustom berdasarkan kebutuhan Anda. Konfigurasikan pemberitahuan untuk mendapatkan notifikasi tentang masalah penting, dan integrasikan pemberitahuan dengan alat pengelolaan insiden Anda seperti PagerDuty atau Slack.
  • Error Reporting: Merekam dan menganalisis error serta pengecualian secara otomatis.
  • Cloud Trace: Menganalisis performa sistem terdistribusi dan mengidentifikasi bottleneck. Pelacakan sangat berguna untuk memahami latensi antara berbagai komponen pipeline AI dan ML Anda.
  • Cloud Profiler: Menganalisis performa kode Anda secara berkelanjutan dalam produksi dan mengidentifikasi bottleneck performa dalam penggunaan CPU atau memori.

Membangun budaya keunggulan operasional

Mengalihkan fokus dari sekadar membangun model ke membangun solusi AI yang berkelanjutan, andal, dan berdampak. Memberdayakan tim untuk terus belajar, berinovasi, dan meningkatkan kualitas, yang mengarah pada siklus pengembangan yang lebih cepat, pengurangan error, dan peningkatan efisiensi. Dengan memprioritaskan otomatisasi, standardisasi, dan pertimbangan etis, Anda dapat memastikan bahwa inisiatif AI dan ML Anda secara konsisten memberikan nilai, memitigasi risiko, dan mendukung pengembangan AI yang bertanggung jawab.

Untuk membangun budaya keunggulan operasional bagi sistem AI dan ML Anda, pertimbangkan rekomendasi berikut.

Mendukung otomatisasi dan standardisasi

Untuk menekankan efisiensi dan konsistensi, sematkan otomatisasi dan praktik standar ke dalam setiap tahap siklus proses AI dan ML. Otomatisasi mengurangi error manual dan membebaskan tim untuk berfokus pada inovasi. Standardisasi memastikan bahwa proses dapat diulang dan diskalakan di seluruh tim dan project.

Memprioritaskan pembelajaran dan peningkatan berkelanjutan

Mendorong lingkungan yang menjadikan pendidikan dan eksperimen berkelanjutan sebagai prinsip utama. Dorong tim untuk terus mengikuti perkembangan AI dan ML, serta berikan peluang untuk belajar dari project sebelumnya. Budaya rasa ingin tahu dan adaptasi mendorong inovasi serta memastikan bahwa tim siap menghadapi tantangan baru.

Menumbuhkan akuntabilitas dan rasa memiliki

Bangun kepercayaan dan keselarasan dengan peran, tanggung jawab, dan metrik keberhasilan yang ditentukan dengan jelas. Berdayakan tim untuk membuat keputusan yang tepat dalam batasan ini, dan tetapkan cara yang transparan untuk mengukur progres. Rasa memiliki memotivasi tim dan memastikan tanggung jawab bersama atas hasil.

Menyertakan pertimbangan etika dan keamanan AI

Memprioritaskan pertimbangan etika dalam setiap tahap pengembangan. Dorong tim untuk berpikir kritis tentang dampak solusi AI mereka, dan kembangkan diskusi tentang keadilan, bias, dan dampak sosial. Prinsip dan mekanisme akuntabilitas yang jelas memastikan bahwa sistem AI Anda selaras dengan nilai-nilai organisasi dan meningkatkan kepercayaan.

Mendesain untuk skalabilitas

Untuk mengakomodasi volume data dan permintaan pengguna yang terus meningkat serta memaksimalkan nilai investasi AI, sistem AI dan ML Anda harus skalabel. Sistem harus beradaptasi dan bekerja secara optimal untuk menghindari bottleneck performa yang menghambat efektivitas. Saat mendesain untuk skalabilitas, Anda memastikan bahwa infrastruktur AI dapat menangani pertumbuhan dan mempertahankan responsivitas. Gunakan infrastruktur yang skalabel, rencanakan kapasitas, dan terapkan strategi seperti penskalaan horizontal dan layanan terkelola.

Untuk mendesain sistem AI dan ML Anda agar skalabel, pertimbangkan rekomendasi berikut.

Merencanakan kapasitas dan kuota

Nilai pertumbuhan di masa mendatang, dan rencanakan kapasitas infrastruktur serta kuota resource Anda dengan tepat. Bekerja samalah dengan pemangku kepentingan bisnis untuk memahami proyeksi pertumbuhan, lalu tentukan persyaratan infrastruktur yang sesuai.

Gunakan Monitoring untuk menganalisis pemanfaatan resource historis, mengidentifikasi tren, dan memproyeksikan kebutuhan di masa mendatang. Lakukan pengujian beban secara rutin untuk menyimulasikan workload dan mengidentifikasi bottleneck.

Pelajari Google Cloud kuota untuk layanan yang Anda gunakan, seperti Compute Engine, Agent Platform, dan Cloud Storage. Minta penambahan kuota secara proaktif melalui konsol Google Cloud , dan berikan alasan penambahan tersebut dengan data dari perkiraan dan pengujian beban. Pantau penggunaan kuota dan siapkan pemberitahuan untuk mendapatkan notifikasi saat penggunaan mendekati batas kuota.

Untuk mengoptimalkan penggunaan resource berdasarkan permintaan, sesuaikan ukuran resource Anda, gunakan Spot VM untuk workload batch yang fault-tolerant, dan terapkan penskalaan otomatis.

Bersiap untuk peristiwa puncak

Pastikan sistem Anda dapat menangani lonjakan traffic atau workload yang tiba-tiba selama peristiwa puncak. Dokumentasikan strategi peristiwa puncak Anda dan lakukan latihan rutin untuk menguji kemampuan sistem dalam menangani peningkatan beban.

Untuk meningkatkan skala resource secara agresif saat permintaan melonjak, konfigurasikan kebijakan penskalaan otomatis di Compute Engine dan GKE. Untuk pola puncak yang dapat diprediksi, pertimbangkan untuk menggunakan penskalaan otomatis prediktif. Untuk memicu penskalaan otomatis berdasarkan sinyal khusus aplikasi, gunakan metrik kustom di Monitoring.

Distribusikan traffic ke beberapa instance aplikasi menggunakan Cloud Load Balancing. Pilih jenis load balancer yang sesuai berdasarkan kebutuhan aplikasi Anda. Untuk pengguna yang tersebar secara geografis, Anda dapat menggunakan load balancing global untuk merutekan traffic ke instance terdekat yang tersedia. Untuk arsitektur berbasis microservice yang kompleks, pertimbangkan untuk menggunakan Cloud Service Mesh.

Menyimpan konten statis ke dalam cache di edge jaringan Google menggunakan Cloud CDN.

Untuk meng-cache data yang sering diakses, gunakan salah satu layanan datastore dalam memori yang terkelola sepenuhnya berikut:

Pisahkan komponen sistem Anda menggunakan Pub/Sub untuk pesan real-time dan Cloud Tasks untuk eksekusi tugas asinkron.

Menskalakan aplikasi untuk produksi

Untuk memastikan penyajian yang skalabel dalam produksi, Anda dapat menggunakan layanan terkelola seperti pelatihan terdistribusi Agent Platform dan Inferensi Gemini Enterprise Agent Platform. Inferensi Agent Platform memungkinkan Anda mengonfigurasi jenis mesin untuk node prediksi saat men-deploy model ke endpoint atau meminta prediksi batch. Untuk beberapa konfigurasi, Anda dapat menambahkan GPU. Pilih jenis mesin dan akselerator yang sesuai untuk mengoptimalkan latensi, throughput, dan biaya.

Untuk menskalakan aplikasi AI dan Python yang kompleks serta workload kustom di seluruh resource komputasi terdistribusi, Anda dapat menggunakan Ray di Gemini Enterprise Agent Platform. Fitur ini dapat membantu mengoptimalkan performa dan memungkinkan integrasi yang lancar dengan layananGoogle Cloud . Ray di Gemini Enterprise Agent Platform menyederhanakan komputasi terdistribusi dengan menangani pengelolaan cluster, penjadwalan tugas, dan transfer data. Alat ini terintegrasi dengan layanan Agent Platform lainnya seperti pelatihan, prediksi, dan pipeline. Ray menyediakan fault tolerance dan penskalaan otomatis, serta membantu Anda menyesuaikan infrastruktur dengan workload yang berubah. Ray menawarkan framework terpadu untuk pelatihan terdistribusi, penyesuaian hyperparameter, reinforcement learning, dan penyajian model. Gunakan Ray untuk prapemrosesan data terdistribusi dengan Dataflow atau Managed Service untuk Apache Spark, pelatihan model yang dipercepat, penyesuaian hyperparameter yang skalabel, reinforcement learning, dan prediksi batch yang diparalelkan.

Kontributor

Penulis:

Kontributor lainnya:

Sebelumnya
Ringkasan
Berikutnya
Keamanan