Mengoptimalkan workload AI dan ML untuk efisiensi energi

Last reviewed 2026-10-28 UTC

Prinsip dalam pilar keberlanjutan Google Cloud Well-Architected Framework ini memberikan rekomendasi untuk mengoptimalkan workload AI dan ML guna mengurangi penggunaan energi dan jejak karbonnya.

Ringkasan prinsip

Untuk mengoptimalkan workload AI dan ML demi keberlanjutan, Anda perlu mengadopsi pendekatan holistik dalam mendesain, men-deploy, dan mengoperasikan workload. Pilih model yang sesuai dan hardware khusus seperti Tensor Processing Unit (TPU), jalankan workload di region rendah karbon, optimalkan untuk mengurangi penggunaan resource, dan terapkan praktik terbaik operasional.

Praktik arsitektur dan operasional yang mengoptimalkan biaya dan performa workload AI dan ML secara inheren akan mengurangi konsumsi energi dan menurunkan jejak karbon. Perspektif AI dan ML dalam Well-Architected Framework menjelaskan prinsip dan rekomendasi untuk merancang, membangun, dan mengelola workload AI dan ML yang memenuhi sasaran operasional, keamanan, keandalan, biaya, dan performa Anda. Selain itu, Cloud Architecture Center menyediakan arsitektur referensi dan panduan desain mendetail untuk workload AI dan ML di Google Cloud.

Rekomendasi

Untuk mengoptimalkan workload AI dan ML demi efisiensi energi, pertimbangkan rekomendasi di bagian berikut.

Membangun arsitektur untuk efisiensi energi menggunakan TPU

Workload AI dan ML dapat memerlukan komputasi yang intensif. Konsumsi energi oleh workload AI dan ML merupakan pertimbangan utama untuk keberlanjutan. TPU memungkinkan Anda meningkatkan efisiensi energi dan keberlanjutan workload AI dan ML secara signifikan.

TPU adalah akselerator yang dirancang khusus dan dibuat khusus untuk workload AI dan ML. Arsitektur khusus TPU membuatnya sangat efektif untuk perkalian matriks skala besar, yang merupakan dasar dari deep learning. TPU dapat melakukan tugas kompleks dalam skala besar dengan efisiensi yang lebih tinggi daripada prosesor tujuan umum seperti CPU atau GPU.

TPU memberikan manfaat langsung berikut untuk keberlanjutan:

  • Konsumsi energi yang lebih rendah: TPU dirancang untuk efisiensi energi yang optimal. TPU memberikan komputasi yang lebih tinggi per watt energi yang dikonsumsi. Arsitektur khususnya secara signifikan mengurangi permintaan daya untuk tugas pelatihan dan inferensi berskala besar, sehingga mengurangi biaya operasional dan menurunkan konsumsi energi.
  • Pelatihan dan inferensi yang lebih cepat: Performa TPU yang luar biasa memungkinkan Anda melatih model AI yang kompleks dalam hitungan jam, bukan hari. Pengurangan waktu komputasi total yang signifikan ini berkontribusi langsung pada jejak ekologi yang lebih kecil.
  • Mengurangi kebutuhan pendinginan: TPU menggunakan pendinginan cairan canggih, yang memberikan pengelolaan termal yang efisien dan secara signifikan mengurangi energi yang digunakan untuk mendinginkan pusat data.
  • Pengoptimalan siklus proses AI: Dengan mengintegrasikan hardware dan software, TPU memberikan solusi yang dioptimalkan di seluruh siklus proses AI, mulai dari pemrosesan data hingga penyajian model.

Mengikuti praktik terbaik 4M untuk pemilihan resource

Google merekomendasikan serangkaian praktik terbaik untuk mengurangi penggunaan energi dan emisi karbon secara signifikan untuk workload AI dan ML. Kami menyebut praktik terbaik ini 4M:

  • Model: Untuk kasus penggunaan khusus, pilih model yang dibuat khusus yang menggunakan lebih sedikit resource komputasi daripada model besar untuk tujuan umum.
  • Mesin: Pilih prosesor dan sistem yang dioptimalkan untuk pelatihan ML. Prosesor ini meningkatkan performa dan efisiensi energi sebesar 2-5 kali lipat jika dibandingkan dengan prosesor tujuan umum.
  • Mekanisasi: Deploy workload intensif komputasi Anda di cloud. Workload Anda menggunakan lebih sedikit energi dan menghasilkan emisi yang lebih rendah sebesar 1,4 hingga 2 kali lipat dibandingkan dengan deployment lokal. Pusat data cloud menggunakan gudang baru yang dirancang khusus untuk efisiensi energi dan memiliki rasio efektivitas penggunaan energi (PUE) yang tinggi. Pusat data lokal biasanya lebih tua dan lebih kecil, sehingga investasi dalam sistem distribusi daya dan pendinginan yang hemat energi mungkin tidak ekonomis.
  • Peta: Pilih Google Cloud lokasi yang menggunakan energi paling bersih. Pendekatan ini membantu mengurangi jejak karbon kotor dari workload Anda sebanyak 5-10 kali lipat. Untuk mengetahui informasi selengkapnya, lihat Energi bebas karbon untuk region Google Cloud .

Untuk mengetahui informasi selengkapnya tentang praktik terbaik dan metrik efisiensi 4M, lihat makalah penelitian berikut:

Mengoptimalkan model dan algoritma AI untuk pelatihan dan inferensi

Arsitektur model AI dan algoritma yang digunakan untuk pelatihan dan inferensi memiliki dampak signifikan terhadap konsumsi energi. Pertimbangkan rekomendasi berikut.

Memilih model AI yang efisien

Pilih model AI yang lebih kecil dan lebih efisien yang memenuhi persyaratan performa Anda. Jangan memilih model terbesar yang tersedia sebagai pilihan default. Misalnya, versi model yang lebih kecil dan didistilasi seperti DistilBERT dapat memberikan performa yang serupa dengan overhead komputasi yang jauh lebih sedikit dan inferensi yang lebih cepat daripada model yang lebih besar seperti BERT.

Menggunakan solusi yang sangat efisien dan spesifik per domain

Pilih solusi ML khusus yang memberikan performa lebih baik dan memerlukan daya komputasi yang jauh lebih sedikit daripada model dasar yang besar. Solusi khusus ini sering kali telah dilatih sebelumnya dan dioptimalkan secara maksimal. Model ini dapat memberikan pengurangan yang signifikan dalam konsumsi energi dan upaya riset untuk workload pelatihan dan inferensi. Berikut adalah contoh solusi khusus spesifik per domain:

  • Earth AI adalah solusi hemat energi yang menyintesis data geospasial global dalam jumlah besar untuk memberikan hasil analisis yang tepat waktu, akurat, dan bisa ditindaklanjuti.
  • WeatherNext menghasilkan perkiraan cuaca global yang lebih cepat, lebih efisien, dan akurasi tinggi dibandingkan dengan metode konvensional berbasis fisika.

Menerapkan teknik kompresi model yang sesuai

Berikut adalah contoh teknik yang dapat Anda gunakan untuk kompresi model:

  • Pemangkasan: Menghapus parameter yang tidak diperlukan dari jaringan neural. Parameter ini tidak berkontribusi secara signifikan terhadap performa model. Teknik ini mengurangi ukuran model dan resource komputasi yang diperlukan untuk inferensi.
  • Kuantisasi: Mengurangi presisi parameter model. Misalnya, kurangi presisi dari floating point 32-bit menjadi bilangan bulat 8-bit. Teknik ini dapat membantu mengurangi jejak memori dan konsumsi daya secara signifikan tanpa penurunan akurasi yang terlihat.
  • Distilasi pengetahuan: Latih model siswa yang lebih kecil untuk meniru perilaku model pengajar yang lebih besar dan lebih kompleks. Model siswa dapat mencapai tingkat performa yang tinggi dengan parameter yang lebih sedikit dan menggunakan lebih sedikit energi.

Menggunakan hardware khusus

Seperti yang disebutkan dalam Mengikuti praktik terbaik 4M untuk pemilihan resource, pilih prosesor dan sistem yang dioptimalkan untuk pelatihan ML. Prosesor ini meningkatkan performa dan efisiensi energi hingga 2-5 kali lipat jika dibandingkan dengan prosesor tujuan umum.

Menggunakan parameter-efficient fine-tuning

Daripada menyesuaikan semua miliaran parameter model (fine-tuning penuh), gunakan metode parameter-efficient fine-tuning (PEFT) seperti low-rank adaptation (LoRA). Dengan teknik ini, Anda membekukan bobot model asli dan hanya melatih sejumlah kecil lapisan baru yang ringan. Pendekatan ini membantu mengurangi biaya dan konsumsi energi.

Mengikuti praktik terbaik untuk operasi AI dan ML

Praktik operasional sangat memengaruhi keberlanjutan workload AI dan ML Anda. Pertimbangkan rekomendasi berikut.

Mengoptimalkan proses pelatihan model

Gunakan teknik berikut untuk mengoptimalkan proses pelatihan model Anda:

  • Penghentian awal: Pantau proses pelatihan dan hentikan saat Anda tidak melihat peningkatan lebih lanjut dalam performa model terhadap set validasi. Teknik ini membantu Anda mencegah komputasi dan penggunaan energi yang tidak perlu.
  • Pemuatan data yang efisien: Gunakan pipeline data yang efisien untuk memastikan bahwa GPU dan TPU selalu digunakan dan tidak menunggu data. Teknik ini membantu memaksimalkan pemanfaatan resource dan mengurangi pemborosan energi.
  • Penyesuaian hyperparameter yang dioptimalkan: Untuk menemukan hyperparameter yang optimal dengan lebih efisien, gunakan teknik seperti pengoptimalan Bayesian atau reinforcement learning. Hindari penelusuran petak yang menyeluruh, yang dapat menjadi operasi yang memerlukan banyak resource.

Meningkatkan efisiensi inferensi

Untuk meningkatkan efisiensi tugas inferensi AI, gunakan teknik berikut:

  • Pengelompokan: Kelompokkan beberapa permintaan inferensi dalam batch dan manfaatkan pemrosesan paralel di GPU dan TPU. Teknik ini membantu mengurangi biaya energi per prediksi.
  • Caching lanjutan: Terapkan strategi caching berlapis, yang mencakup caching kunci-nilai (KV) untuk pembuatan autoregresif dan caching perintah semantik untuk respons aplikasi. Teknik ini membantu menghindari komputasi model yang redundan dan dapat menghasilkan pengurangan yang signifikan dalam penggunaan energi dan emisi karbon.

Mengukur dan memantau

Pantau dan ukur parameter berikut:

  • Penggunaan dan biaya: Gunakan alat yang sesuai untuk melacak penggunaan token, konsumsi energi, dan jejak karbon workload AI Anda. Data ini membantu Anda mengidentifikasi peluang pengoptimalan dan melaporkan progres pencapaian sasaran keberlanjutan.
  • Performa: Terus pantau performa model dalam produksi. Mengidentifikasi masalah seperti pergeseran data, yang dapat mengindikasikan bahwa model perlu disesuaikan kembali. Jika perlu melatih ulang model, Anda dapat menggunakan model yang telah disesuaikan sebelumnya sebagai titik awal dan menghemat banyak waktu, uang, dan energi untuk melakukan update.

Untuk mengetahui informasi selengkapnya tentang cara mengoperasionalkan peningkatan berkelanjutan, lihat Mengukur dan meningkatkan keberlanjutan secara berkelanjutan.

Menerapkan penjadwalan berbasis karbon

Rancang tugas pipeline ML Anda untuk dijalankan di region dengan bauran energi terbersih. Gunakan laporan Jejak Karbon untuk mengidentifikasi region dengan intensitas karbon paling rendah. Jadwalkan tugas yang menggunakan banyak resource sebagai tugas batch selama periode saat jaringan listrik lokal memiliki persentase energi bebas karbon (CFE) yang lebih tinggi.

Optimalkan pipeline data

Operasi dan penyesuaian ML memerlukan set data yang bersih dan berkualitas tinggi. Sebelum memulai tugas ML, gunakan layanan pemrosesan data terkelola untuk menyiapkan data secara efisien. Misalnya, gunakan Dataflow untuk streaming dan batch processing, serta gunakan Managed Service untuk Apache Spark untuk pipeline Spark dan Hadoop terkelola. Pipeline data yang dioptimalkan membantu memastikan bahwa workload fine-tuning Anda tidak menunggu data, sehingga Anda dapat memaksimalkan pemanfaatan resource dan membantu mengurangi energi yang terbuang.

Menerapkan MLOps

Untuk mengotomatiskan dan mengelola seluruh siklus proses ML, terapkan praktik Operasi ML (MLOps). Praktik ini membantu memastikan bahwa model terus dipantau, divalidasi, dan di-deploy ulang secara efisien, sehingga membantu mencegah pelatihan atau alokasi resource yang tidak perlu.

Menggunakan layanan terkelola

Daripada mengelola infrastruktur Anda sendiri, gunakan layanan cloud terkelola seperti Gemini Enterprise Agent Platform. Platform cloud menangani pengelolaan resource yang mendasarinya, sehingga Anda dapat berfokus pada proses fine-tuning. Gunakan layanan yang menyertakan alat bawaan untuk penyesuaian hyperparameter, pemantauan model, dan pengelolaan resource.

Langkah berikutnya

Sebelumnya
Menggunakan region rendah karbon
Berikutnya
Mengoptimalkan penggunaan resource