Perspektif AI dan ML: Keunggulan operasional

Last reviewed 2025-04-28 UTC

Dokumen dalam Well-Architected Framework: Perspektif AI dan ML ini memberikan ringkasan prinsip dan rekomendasi untuk membangun dan mengoperasikan sistem AI dan ML yang andal di Google Cloud. Rekomendasi ini membantu Anda menyiapkan elemen dasar seperti kemampuan observasi, otomatisasi, dan skalabilitas. Rekomendasi dalam dokumen ini selaras dengan pilar keunggulan operasional dari Google Cloud Well-Architected Framework.

Keunggulan operasional dalam domain AI dan ML adalah kemampuan untuk men-deploy, mengelola, dan mengatur sistem serta pipeline AI dan ML secara lancar yang membantu mendorong tujuan strategis organisasi Anda. Keunggulan operasional memungkinkan Anda merespons perubahan secara efisien, mengurangi kompleksitas operasional, dan memastikan bahwa operasi Anda tetap selaras dengan sasaran bisnis.

Rekomendasi dalam dokumen ini dipetakan ke prinsip inti berikut:

Membangun fondasi yang kuat untuk pengembangan model

Untuk mengembangkan dan men-deploy sistem AI yang skalabel dan andal yang membantu Anda mencapai sasaran bisnis, fondasi pengembangan model yang kuat sangat penting. Fondasi tersebut memungkinkan alur kerja yang konsisten, mengotomatiskan langkah-langkah penting untuk mengurangi error, dan memastikan bahwa model dapat diskalakan sesuai permintaan. Fondasi pengembangan model yang kuat memastikan bahwa sistem ML Anda dapat diupdate, ditingkatkan, dan dilatih ulang dengan lancar. Dasar ini juga membantu Anda menyelaraskan performa model dengan kebutuhan bisnis, men-deploy solusi AI yang berdampak dengan cepat, dan beradaptasi dengan persyaratan yang berubah.

Untuk membangun fondasi yang kuat dalam mengembangkan model AI, pertimbangkan rekomendasi berikut.

Mendefinisikan masalah dan hasil yang diinginkan

Sebelum memulai project AI atau ML, Anda harus memahami dengan jelas masalah bisnis yang akan diselesaikan dan hasil yang diperlukan. Mulai dengan garis besar tujuan bisnis dan uraikan tujuan menjadi indikator performa utama (KPI) yang terukur. Untuk mengatur dan mendokumentasikan definisi dan hipotesis masalah Anda di lingkungan notebook Jupyter, gunakan alat seperti Gemini Enterprise Agent Platform Workbench. Untuk menerapkan pembuatan versi untuk kode dan dokumen serta mendokumentasikan project, sasaran, dan asumsi Anda, gunakan alat seperti Git. Untuk mengembangkan dan mengelola perintah untuk aplikasi AI generatif, Anda dapat menggunakan Agent Studio di Gemini Enterprise Agent Platform.

Kumpulkan dan lakukan prapemrosesan data yang diperlukan

Untuk menerapkan pra-pemrosesan dan transformasi data, Anda dapat menggunakan Dataflow (untuk Apache Beam), Managed Service untuk Apache Spark (untuk Apache Spark), atau BigQuery jika proses berbasis SQL sesuai. Untuk memvalidasi skema dan mendeteksi anomali, gunakan TensorFlow Data Validation (TFDV) dan manfaatkan pemindaian kualitas data otomatis di BigQuery jika berlaku.

Untuk AI generatif, kualitas data mencakup akurasi, relevansi, keragaman, dan keselarasan dengan karakteristik output yang diperlukan. Jika data dunia nyata tidak mencukupi atau tidak seimbang, Anda dapat membuat data sintetis untuk membantu meningkatkan keandalan dan generalisasi model. Untuk membuat set data sintetis berdasarkan pola yang ada atau untuk meningkatkan data pelatihan agar performa model lebih baik, gunakan BigQuery DataFrames dan Gemini. Data sintetis sangat berharga untuk AI generatif karena dapat membantu meningkatkan keragaman perintah dan keandalan model secara keseluruhan. Saat Anda membuat set data untuk menyesuaikan model AI generatif, pertimbangkan untuk menggunakan kemampuan pembuatan data sintetis di Gemini Enterprise Agent Platform.

Untuk tugas AI generatif seperti fine-tuning atau reinforcement learning from human feedback (RLHF), pastikan label secara akurat mencerminkan kualitas, relevansi, dan keamanan output yang dihasilkan.

Pilih pendekatan ML yang sesuai

Saat mendesain model dan parameter, pertimbangkan kompleksitas model dan kebutuhan komputasinya. Bergantung pada tugasnya (seperti klasifikasi, regresi, atau pembuatan), pertimbangkan untuk menggunakan pelatihan kustom Agent Platform untuk pembuatan model kustom atau AutoML untuk tugas ML yang lebih sederhana. Untuk aplikasi umum, Anda juga dapat mengakses model terlatih melalui Model Garden. Anda dapat bereksperimen dengan berbagai model dasar canggih untuk berbagai kasus penggunaan, seperti membuat teks, gambar, dan kode.

Anda mungkin ingin menyempurnakan model dasar terlatih untuk mencapai performa optimal bagi kasus penggunaan spesifik Anda. Untuk persyaratan performa tinggi dalam pelatihan kustom, konfigurasikan Cloud Tensor Processing Units (TPU) atau resource GPU untuk mempercepat pelatihan dan inferensi model deep learning, seperti model bahasa besar (LLM) dan model difusi.

Menyiapkan kontrol versi untuk kode, model, dan data

Untuk mengelola dan men-deploy versi kode secara efektif, gunakan alat seperti GitHub atau GitLab. Alat ini menyediakan fitur kolaborasi yang andal, strategi percabangan, dan integrasi dengan pipeline CI/CD untuk memastikan proses pengembangan yang lancar.

Gunakan solusi yang sesuai untuk mengelola setiap artefak sistem ML Anda, seperti contoh berikut:

  • Untuk artefak kode seperti image container dan komponen pipeline, Artifact Registry menyediakan solusi penyimpanan yang skalabel yang dapat membantu meningkatkan keamanan. Artifact Registry juga menyertakan pembuatan versi dan dapat berintegrasi dengan Cloud Build dan Cloud Deploy.
  • Untuk mengelola artefak data, seperti set data yang digunakan untuk pelatihan dan evaluasi, gunakan solusi seperti BigQuery atau Cloud Storage untuk penyimpanan dan pembuatan versi.
  • Untuk menyimpan metadata dan penunjuk ke lokasi data, gunakan sistem kontrol versi atau katalog data terpisah.

Untuk mempertahankan konsistensi dan pembuatan versi data fitur Anda, gunakan Agent Platform Feature Store. Untuk melacak dan mengelola artefak model, termasuk biner dan metadata, gunakan Model Registry di Gemini Enterprise Agent Platform, yang memungkinkan Anda menyimpan, mengatur, dan men-deploy versi model dengan lancar.

Untuk memastikan keandalan model, terapkan Pemantauan Model di Gemini Enterprise Agent Platform. Mendeteksi penyimpangan data, melacak performa, dan mengidentifikasi anomali dalam produksi. Untuk sistem AI generatif, pantau perubahan kualitas output dan kepatuhan terhadap keamanan.

Mengotomatiskan siklus proses pengembangan model

Otomatisasi membantu Anda menyederhanakan setiap tahap siklus proses AI dan ML. Otomatisasi mengurangi upaya manual dan menstandardisasi proses, yang menghasilkan peningkatan efisiensi operasional dan risiko kesalahan yang lebih rendah. Alur kerja otomatis memungkinkan iterasi yang lebih cepat, deployment yang konsisten di seluruh lingkungan, dan hasil yang lebih andal, sehingga sistem Anda dapat diskalakan dan disesuaikan dengan lancar.

Untuk mengotomatiskan siklus proses pengembangan sistem AI dan ML, pertimbangkan rekomendasi berikut.

Menggunakan sistem orkestrasi pipeline terkelola

Gunakan Gemini Enterprise Agent Platform Pipelines untuk mengotomatiskan setiap langkah siklus proses ML—mulai dari persiapan data hingga pelatihan, evaluasi, dan deployment model. Untuk mempercepat deployment dan meningkatkan konsistensi di seluruh project, otomatiskan tugas berulang dengan jalankan pipeline terjadwal, pantau alur kerja dengan metrik eksekusi, dan kembangkan template pipeline yang dapat digunakan kembali untuk alur kerja standar. Kemampuan ini mencakup model AI generatif, yang sering kali memerlukan langkah-langkah khusus seperti rekayasa perintah, pemfilteran respons, dan evaluasi human-in-the-loop. Untuk AI generatif, Pipeline Agent Platform dapat mengotomatiskan langkah-langkah ini, termasuk evaluasi output yang dihasilkan terhadap metrik kualitas dan pedoman keamanan. Untuk meningkatkan keragaman perintah dan keandalan model, alur kerja otomatis juga dapat mencakup teknik augmentasi data.

Mengimplementasikan pipeline CI/CD

Untuk mengotomatiskan pembangunan, pengujian, dan deployment model ML, gunakan Cloud Build. Layanan ini sangat efektif saat Anda menjalankan rangkaian pengujian untuk kode aplikasi, yang memastikan infrastruktur, dependensi, dan paket model memenuhi persyaratan deployment Anda.

Sistem ML sering kali memerlukan langkah tambahan di luar pengujian kode. Misalnya, Anda perlu melakukan uji beban pada model dalam berbagai beban, melakukan evaluasi massal untuk menilai performa model di berbagai set data, dan memvalidasi integritas data sebelum melatih ulang. Untuk menyimulasikan beban kerja yang realistis untuk pengujian stres, Anda dapat menggunakan alat seperti Locust, Grafana k6, atau Apache JMeter. Untuk mengidentifikasi hambatan, pantau metrik utama seperti latensi, tingkat error, dan pemanfaatan resource melalui Cloud Monitoring. Untuk AI generatif, pengujian juga harus mencakup evaluasi yang spesifik untuk jenis konten yang dihasilkan, seperti kualitas teks, kesetiaan gambar, atau fungsi kode. Evaluasi ini dapat melibatkan metrik otomatis seperti perpleksitas untuk model bahasa atau evaluasi dengan campur tangan manusia untuk aspek yang lebih bernuansa seperti kreativitas dan keamanan.

Untuk menerapkan tugas pengujian dan evaluasi, Anda dapat mengintegrasikan Cloud Build dengan layanan Google Cloud lainnya. Misalnya, Anda dapat menggunakan Pipeline Agent Platform untuk evaluasi model otomatis, BigQuery untuk analisis data skala besar, dan validasi pipeline Dataflow untuk validasi fitur.

Anda dapat lebih meningkatkan kualitas pipeline CI/CD dengan menggunakan Agent Platform untuk pelatihan berkelanjutan guna mengaktifkan pelatihan ulang model secara otomatis pada data baru. Khusus untuk AI generatif, agar output yang dihasilkan tetap relevan dan beragam, pelatihan ulang dapat melibatkan pembaruan model secara otomatis dengan data atau perintah pelatihan baru. Anda dapat menggunakan Agent Platform Model Garden untuk memilih model dasar terbaru yang tersedia untuk penyesuaian. Praktik ini memastikan model tetap terbaru dan dioptimalkan untuk kebutuhan bisnis Anda yang terus berkembang.

Menerapkan rilis model yang aman dan terkontrol

Untuk meminimalkan risiko dan memastikan deployment yang andal, terapkan pendekatan rilis model yang memungkinkan Anda mendeteksi masalah sejak dini, memvalidasi performa, dan melakukan rollback dengan cepat jika diperlukan.

Untuk mengemas model dan aplikasi ML Anda ke dalam image container dan men-deploy-nya, gunakan Cloud Deploy. Anda dapat men-deploy model ke endpoint Agent Platform.

Terapkan rilis terkontrol untuk aplikasi dan sistem AI Anda dengan menggunakan strategi seperti rilis uji coba. Untuk aplikasi yang menggunakan model terkelola seperti Gemini, sebaiknya rilis versi aplikasi baru secara bertahap kepada sebagian kecil pengguna sebelum deployment penuh. Pendekatan ini memungkinkan Anda mendeteksi potensi masalah sejak awal, terutama saat Anda menggunakan model AI generatif yang output-nya dapat bervariasi.

Untuk merilis model yang di-fine-tune, Anda dapat menggunakan Cloud Deploy untuk mengelola deployment versi model, dan menggunakan strategi rilis canary untuk meminimalkan risiko. Dengan model terkelola dan model yang di-fine-tune, tujuan rilis terkontrol adalah untuk menguji perubahan dengan audiens terbatas sebelum Anda merilis aplikasi dan model kepada semua pengguna.

Untuk validasi yang andal, gunakan Eksperimen di Gemini Enterprise Agent Platform untuk membandingkan model baru dengan model yang ada, dan gunakan Evaluasi model Agent Platform untuk menilai performa model. Khusus untuk AI generatif, tentukan metrik evaluasi yang selaras dengan kasus penggunaan yang dimaksud dan potensi risikonya. Anda dapat menggunakan layanan evaluasi AI generatif di Agent Platform untuk menilai metrik seperti toksisitas, koherensi, akurasi faktual, dan kepatuhan terhadap pedoman keamanan.

Untuk memastikan keandalan deployment, Anda memerlukan rencana rollback yang andal. Untuk sistem ML tradisional, gunakan Pemantauan Model di Agent Platform untuk mendeteksi penyimpangan data dan penurunan performa. Untuk model AI generatif, Anda dapat memantau metrik yang relevan dan menyiapkan pemberitahuan untuk perubahan kualitas output atau munculnya konten berbahaya dengan menggunakan evaluasi model Agent Platform bersama dengan Cloud Logging dan Cloud Monitoring. Konfigurasi pemberitahuan berdasarkan metrik khusus AI generatif untuk memicu prosedur rollback jika diperlukan. Untuk melacak silsilah model dan mengembalikan ke versi stabil terbaru, gunakan insight dari Model Registry.

Menerapkan kemampuan observasi

Perilaku sistem AI dan ML dapat berubah seiring waktu karena perubahan pada data atau lingkungan dan update pada model. Sifat dinamis ini membuat kemampuan pengamatan menjadi sangat penting untuk mendeteksi masalah performa, bias, atau perilaku yang tidak terduga. Hal ini terutama berlaku untuk model AI generatif karena outputnya dapat sangat bervariasi dan subjektif. Kemampuan observasi memungkinkan Anda secara proaktif mengatasi perilaku yang tidak terduga dan memastikan sistem AI dan ML Anda tetap andal, akurat, dan adil.

Untuk menerapkan kemampuan pengamatan pada sistem AI dan ML, pertimbangkan rekomendasi berikut.

Memantau performa secara berkelanjutan

Gunakan metrik dan kriteria keberhasilan untuk evaluasi berkelanjutan model setelah deployment.

Anda dapat menggunakan Pemantauan Model di Agent Platform untuk secara proaktif melacak performa model, mengidentifikasi kecondongan pelatihan dan penayangan serta penyimpangan prediksi, dan menerima pemberitahuan untuk memicu pelatihan ulang model yang diperlukan atau intervensi lainnya. Untuk memantau secara efektif diferensiasi performa pelatihan dan penayangan, buat set data standar yang merepresentasikan distribusi data ideal, dan gunakan TFDV untuk menganalisis data pelatihan dan membuat skema dasar.

Konfigurasi Model Monitoring di Agent Platform untuk membandingkan distribusi data input dengan set data penting untuk deteksi skew otomatis. Untuk model ML tradisional, fokus pada metrik seperti akurasi, presisi, perolehan, skor F1, AUC-ROC, dan kerugian log. Tentukan nilai minimum kustom untuk pemberitahuan di Pemantauan Model di Agent Platform. Untuk AI generatif, gunakan Layanan evaluasi AI generatif untuk terus memantau output model dalam produksi. Anda juga dapat mengaktifkan metrik evaluasi otomatis untuk kualitas respons, keamanan, kepatuhan terhadap petunjuk, perujukan, gaya penulisan, dan panjang teks. Untuk menilai kualitas, relevansi, keamanan, dan kepatuhan output yang dihasilkan terhadap pedoman, Anda dapat menggabungkan evaluasi human-in-the-loop.

Buat loop umpan balik untuk melatih ulang model secara otomatis dengan Agent Platform Pipelines saat Pemantauan Model di Agent Platform memicu pemberitahuan. Gunakan insight ini untuk terus meningkatkan kualitas model Anda.

Mengevaluasi model selama pengembangan

Sebelum men-deploy LLM dan model AI generatif lainnya, evaluasi secara menyeluruh selama fase pengembangan. Gunakan evaluasi model Agent Platform untuk mencapai performa optimal dan mengurangi risiko. Gunakan Evaluasi cepat Platform Agen untuk memungkinkan Google Cloud evaluasi berjalan secara otomatis berdasarkan set data dan perintah yang Anda berikan.

Anda juga dapat menentukan dan mengintegrasikan metrik kustom yang spesifik untuk kasus penggunaan Anda. Untuk mendapatkan masukan tentang konten yang dihasilkan, integrasikan alur kerja yang memerlukan interaksi manusia dengan menggunakan Evaluasi Model Agent Platform.

Gunakan pengujian adversarial untuk mengidentifikasi kerentanan dan potensi mode kegagalan. Untuk mengidentifikasi dan memitigasi potensi bias, gunakan teknik seperti analisis subgrup dan pembuatan kontrafaktual. Gunakan insight yang dikumpulkan dari evaluasi yang diselesaikan selama fase pengembangan untuk menentukan strategi pemantauan model dalam produksi. Siapkan solusi Anda untuk pemantauan berkelanjutan seperti yang dijelaskan di bagian Memantau performa secara berkelanjutan dalam dokumen ini.

Memantau ketersediaan

Untuk mendapatkan visibilitas terkait kondisi dan performa endpoint serta infrastruktur yang di-deploy, gunakan Cloud Monitoring. Untuk endpoint Agent Platform, lacak metrik utama seperti rasio permintaan, rasio error, latensi, dan pemanfaatan resource, serta siapkan pemberitahuan untuk anomali. Untuk mengetahui informasi selengkapnya, lihat Metrik Cloud Monitoring untuk Platform Agen.

Pantau performa infrastruktur yang mendasarinya, yang dapat mencakup instance Compute Engine, cluster Google Kubernetes Engine (GKE), serta TPU dan GPU. Dapatkan rekomendasi pengoptimalan otomatis dari Active Assist. Jika Anda menggunakan penskalaan otomatis, pantau perilaku penskalaan untuk memastikan bahwa penskalaan otomatis merespons perubahan pola traffic dengan tepat.

Lacak status deployment model, termasuk rilis canary dan rollback, dengan mengintegrasikan Cloud Deploy dengan Cloud Monitoring. Selain itu, pantau potensi ancaman dan kerentanan keamanan menggunakan Security Command Center.

Menyiapkan pemberitahuan kustom untuk nilai minimum spesifik per bisnis

Untuk mengidentifikasi dan memperbaiki anomali serta masalah secara tepat waktu, siapkan pemberitahuan kustom berdasarkan nilai minimum yang spesifik untuk tujuan bisnis Anda. Contoh produk Google Cloud yang dapat Anda gunakan untuk menerapkan sistem pemberitahuan kustom meliputi:

  • Cloud Logging: Kumpulkan, simpan, dan analisis log dari semua komponen sistem AI dan ML Anda.
  • Cloud Monitoring: Buat dasbor kustom untuk memvisualisasikan metrik dan tren utama, serta tentukan metrik kustom berdasarkan kebutuhan Anda. Konfigurasi pemberitahuan untuk mendapatkan notifikasi tentang masalah penting, dan integrasikan pemberitahuan dengan alat pengelolaan insiden Anda seperti PagerDuty atau Slack.
  • Error Reporting: Otomatis menangkap dan menganalisis error dan pengecualian.
  • Cloud Trace: Menganalisis performa sistem terdistribusi dan mengidentifikasi bottleneck. Pelacakan sangat berguna untuk memahami latensi antara berbagai komponen pipeline AI dan ML Anda.
  • Cloud Profiler: Menganalisis performa kode Anda secara berkelanjutan dalam produksi dan mengidentifikasi hambatan performa dalam penggunaan CPU atau memori.

Membangun budaya keunggulan operasional

Mengalihkan fokus dari sekadar membangun model ke membangun solusi AI yang berkelanjutan, andal, dan berdampak. Mendukung tim untuk terus belajar, berinovasi, dan meningkatkan kualitas, yang menghasilkan siklus pengembangan yang lebih cepat, mengurangi kesalahan, dan meningkatkan efisiensi. Dengan memprioritaskan otomatisasi, standardisasi, dan pertimbangan etis, Anda dapat memastikan bahwa inisiatif AI dan ML Anda secara konsisten memberikan nilai, mengurangi risiko, dan mempromosikan pengembangan AI yang bertanggung jawab.

Untuk membangun budaya keunggulan operasional bagi sistem AI dan ML Anda, pertimbangkan rekomendasi berikut.

Otomatisasi dan standardisasi Champion

Untuk menekankan efisiensi dan konsistensi, sematkan otomatisasi dan praktik standar ke dalam setiap tahap siklus proses AI dan ML. Otomatisasi mengurangi kesalahan manual dan membebaskan tim untuk berfokus pada inovasi. Standardisasi memastikan bahwa proses dapat diulang dan diskalakan di seluruh tim dan project.

Memprioritaskan pembelajaran dan peningkatan berkelanjutan

Menciptakan lingkungan yang menjadikan pendidikan dan eksperimen berkelanjutan sebagai prinsip utama. Dorong tim untuk selalu mendapatkan info terbaru tentang kemajuan AI dan ML, serta berikan kesempatan untuk belajar dari project sebelumnya. Budaya rasa ingin tahu dan adaptasi mendorong inovasi dan memastikan bahwa tim siap menghadapi tantangan baru.

Menumbuhkan akuntabilitas dan rasa memiliki

Bangun kepercayaan dan keselarasan dengan peran, tanggung jawab, dan metrik keberhasilan yang ditentukan dengan jelas. Memberdayakan tim untuk membuat keputusan yang tepat dalam batas-batas ini, dan menetapkan cara yang transparan untuk mengukur progres. Rasa kepemilikan memotivasi tim dan memastikan tanggung jawab kolektif atas hasil.

Menyematkan pertimbangan etika dan keamanan AI

Prioritaskan pertimbangan etika di setiap tahap pengembangan. Mendorong tim untuk berpikir kritis tentang dampak solusi AI mereka, dan memicu diskusi tentang keadilan, bias, dan dampak sosial. Prinsip yang jelas dan mekanisme akuntabilitas memastikan bahwa sistem AI Anda selaras dengan nilai-nilai organisasi dan meningkatkan kepercayaan.

Mendesain untuk skalabilitas

Untuk mengakomodasi peningkatan volume data dan permintaan pengguna serta memaksimalkan nilai investasi AI, sistem AI dan ML Anda harus dapat diskalakan. Sistem harus beradaptasi dan bekerja secara optimal untuk menghindari hambatan performa yang menghambat efektivitas. Saat mendesain untuk skalabilitas, Anda memastikan bahwa infrastruktur AI dapat menangani pertumbuhan dan mempertahankan responsivitas. Gunakan infrastruktur yang dapat diskalakan, rencanakan kapasitas, dan terapkan strategi seperti penskalaan horizontal dan layanan terkelola.

Untuk mendesain sistem AI dan ML Anda agar dapat diskalakan, pertimbangkan rekomendasi berikut.

Merencanakan kapasitas dan kuota

Menilai pertumbuhan di masa mendatang, serta merencanakan kapasitas infrastruktur dan kuota sumber daya Anda dengan tepat. Bekerja sama dengan pemangku kepentingan bisnis untuk memahami pertumbuhan yang diproyeksikan, lalu tentukan persyaratan infrastruktur yang sesuai.

Gunakan Cloud Monitoring untuk menganalisis penggunaan resource historis, mengidentifikasi tren, dan memproyeksikan kebutuhan di masa mendatang. Lakukan pengujian beban secara rutin untuk menyimulasikan workload dan mengidentifikasi bottleneck.

Pelajari Google Cloud kuota untuk layanan yang Anda gunakan, seperti Compute Engine, Agent Platform, dan Cloud Storage. Minta peningkatan kuota secara proaktif melalui konsol Google Cloud , dan berikan alasan peningkatan dengan data dari perkiraan dan pengujian beban. Pantau penggunaan kuota dan siapkan pemberitahuan untuk mendapatkan notifikasi saat penggunaan mendekati batas kuota.

Untuk mengoptimalkan penggunaan resource berdasarkan permintaan, sesuaikan ukuran resource Anda, gunakan Spot VM untuk workload batch yang fault-tolerant, dan terapkan penskalaan otomatis.

Bersiap untuk peristiwa puncak

Pastikan sistem Anda dapat menangani lonjakan traffic atau workload yang tiba-tiba selama peristiwa puncak. Dokumentasikan strategi acara puncak Anda dan lakukan latihan rutin untuk menguji kemampuan sistem Anda dalam menangani peningkatan beban.

Untuk meningkatkan skala resource secara agresif saat permintaan melonjak, konfigurasikan kebijakan penskalaan otomatis di Compute Engine dan GKE. Untuk pola puncak yang dapat diprediksi, pertimbangkan untuk menggunakan penskalaan otomatis prediktif. Untuk memicu penskalaan otomatis berdasarkan sinyal khusus aplikasi, gunakan metrik kustom di Cloud Monitoring.

Mendistribusikan traffic ke beberapa instance aplikasi menggunakan Cloud Load Balancing. Pilih jenis load balancer yang sesuai berdasarkan kebutuhan aplikasi Anda. Untuk pengguna yang didistribusikan secara geografis, Anda dapat menggunakan load balancing global untuk merutekan traffic ke instance terdekat yang tersedia. Untuk arsitektur berbasis microservice yang kompleks, pertimbangkan untuk menggunakan Cloud Service Mesh.

Simpan konten statis di edge jaringan Google ke dalam cache menggunakan Cloud CDN.

Untuk meng-cache data yang sering diakses, gunakan salah satu layanan datastore dalam memori terkelola sepenuhnya berikut:

Pisahkan komponen sistem Anda dengan menggunakan Pub/Sub untuk pengiriman pesan real-time dan Cloud Tasks untuk eksekusi tugas asinkron

Menskalakan aplikasi untuk produksi

Untuk memastikan penayangan yang skalabel dalam produksi, Anda dapat menggunakan layanan terkelola seperti Pelatihan terdistribusi Agent Platform dan Inferensi Gemini Enterprise Agent Platform. Inferensi Platform Agen memungkinkan Anda mengonfigurasi jenis mesin untuk node prediksi saat men-deploy model ke endpoint atau meminta prediksi batch. Untuk beberapa konfigurasi, Anda dapat menambahkan GPU. Pilih jenis mesin dan akselerator yang sesuai untuk mengoptimalkan latensi, throughput, dan biaya.

Untuk menskalakan aplikasi AI dan Python yang kompleks serta beban kerja kustom di seluruh resource komputasi terdistribusi, Anda dapat menggunakan Ray di Gemini Enterprise Agent Platform. Fitur ini dapat membantu mengoptimalkan performa dan memungkinkan integrasi yang lancar dengan layananGoogle Cloud . Ray di Gemini Enterprise Agent Platform menyederhanakan komputasi terdistribusi dengan menangani pengelolaan cluster, penjadwalan tugas, dan transfer data. Layanan ini terintegrasi dengan layanan Agent Platform lainnya seperti pelatihan, prediksi, dan pipeline. Ray menyediakan fault tolerance dan penskalaan otomatis, serta membantu Anda menyesuaikan infrastruktur dengan perubahan workload. Framework ini menawarkan framework terpadu untuk pelatihan terdistribusi, penyesuaian hyperparameter, reinforcement learning, dan penayangan model. Gunakan Ray untuk pra-pemrosesan data terdistribusi dengan Dataflow atau Managed Service untuk Apache Spark, pelatihan model yang dipercepat, penyesuaian hyperparameter yang skalabel, pembelajaran penguatan, dan prediksi batch yang diparalelkan.

Kontributor

Penulis:

Kontributor lainnya:

Sebelumnya
Ringkasan
Berikutnya
Keamanan