Dieses Prinzip in der Nachhaltigkeitssäule des Google Cloud Well-Architected Framework enthält Empfehlungen zur Optimierung von KI- und ML-Arbeitslasten, um deren Energieverbrauch und CO₂-Bilanz zu reduzieren.
Übersicht über die Prinzipien
Wenn Sie KI- und ML-Arbeitslasten im Hinblick auf Nachhaltigkeit optimieren möchten, müssen Sie einen ganzheitlichen Ansatz für das Entwerfen, Bereitstellen und Betreiben der Arbeitslasten verfolgen. Wählen Sie geeignete Modelle und spezialisierte Hardware wie Tensor Processing Units (TPUs) aus, führen Sie die Arbeitslasten in Regionen mit geringen CO₂-Emissionen aus, optimieren Sie die Ressourcennutzung und wenden Sie Best Practices für den Betrieb an.
Architektur- und Betriebspraktiken, die die Kosten und Leistung von KI- und ML-Arbeitslasten optimieren, führen von Natur aus zu einem geringeren Energieverbrauch und einer geringeren CO₂-Bilanz. Die KI- und ML-Perspektive im Well-Architected Framework beschreibt Prinzipien und Empfehlungen für das Entwerfen, Erstellen und Verwalten von KI- und ML-Arbeitslasten, die Ihre Ziele in Bezug auf Betrieb, Sicherheit, Zuverlässigkeit, Kosten und Leistungsziele erfüllen. Darüber hinaus bietet das Cloud Architecture Center detaillierte Referenzarchitekturen und Designleitfäden für KI- und ML-Arbeitslasten in Google Cloud.
Empfehlungen
Beachten Sie die Empfehlungen in den folgenden Abschnitten, um KI- und ML-Arbeitslasten im Hinblick auf die Energieeffizienz zu optimieren.
Energieeffiziente Architektur mit TPUs
KI- und ML-Arbeitslasten können rechenintensiv sein. Der Energieverbrauch von KI- und ML-Arbeitslasten ist ein wichtiger Aspekt für die Nachhaltigkeit. Mit TPUs können Sie die Energieeffizienz und Nachhaltigkeit Ihrer KI- und ML-Arbeitslasten erheblich verbessern.
TPUs sind speziell entwickelte Beschleuniger, die für KI- und ML-Arbeitslasten konzipiert sind. Dank ihrer speziellen Architektur sind TPUs hocheffektiv für die umfangreiche Matrixmultiplikation, die die Grundlage des Deep Learning bildet. TPUs können komplexe Aufgaben in großem Umfang effizienter ausführen als Prozessoren für allgemeine Zwecke wie CPUs oder GPUs.
TPUs bieten die folgenden direkten Vorteile für die Nachhaltigkeit:
- Geringerer Energieverbrauch: TPUs sind auf optimale Energieeffizienz ausgelegt. Sie liefern mehr Berechnungen pro Watt verbrauchter Energie. Ihre spezialisierte Architektur reduziert den Strombedarf für umfangreiche Trainings- und Inferenzaufgaben erheblich, was zu geringeren Betriebskosten und einem niedrigeren Energieverbrauch führt.
- Schnelleres Training und schnellere Inferenz: Dank der außergewöhnlichen Leistung von TPUs können Sie komplexe KI-Modelle in Stunden statt in Tagen trainieren. Diese erhebliche Reduzierung der Gesamtrechenzeit trägt direkt zu einem kleineren ökologischen Fußabdruck bei.
- Geringerer Kühlbedarf: TPUs verfügen über eine fortschrittliche Flüssigkeitskühlung, die ein effizientes Wärmemanagement ermöglicht und den Energieverbrauch für die Kühlung des Rechenzentrums erheblich reduziert.
- Optimierung des KI-Lebenszyklus: Durch die Integration von Hardware und Software bieten TPUs eine optimierte Lösung für den gesamten KI-Lebenszyklus, von der Datenverarbeitung bis zur Modellbereitstellung.
Best Practices für die Ressourcenauswahl nach den 4 Ms befolgen
Google empfiehlt eine Reihe von Best Practices, um den Energieverbrauch und die CO₂-Emissionen für KI- und ML-Arbeitslasten erheblich zu reduzieren. Wir nennen diese Best Practices 4Ms:
- Modell: Wählen Sie für spezielle Anwendungsfälle zweckbestimmte Modelle aus, die weniger Rechenressourcen als große Modelle für allgemeine Zwecke verbrauchen.
- Maschine: Wählen Sie Prozessoren und Systeme aus, die für das ML-Training optimiert sind. Diese Prozessoren verbessern die Leistung und Energieeffizienz im Vergleich zu Prozessoren für allgemeine Zwecke um das 2- bis 5-Fache.
- Mechanisierung: Stellen Sie Ihre rechenintensiven Arbeitslasten in der Cloud bereit. Ihre Arbeitslasten verbrauchen im Vergleich zu lokalen Bereitstellungen 1,4- bis 2-mal weniger Energie und verursachen weniger Emissionen. Cloud-Rechenzentren nutzen neuere, speziell entwickelte Lagerhallen, die auf Energieeffizienz ausgelegt sind und eine hohe Effizienz der Stromnutzung (Power Usage Effectiveness, PUE) aufweisen. Lokale Rechenzentren sind oft älter und kleiner, weswegen sich hier Investitionen in energieeffiziente Kühl- und Stromverteilungssysteme möglicherweise nicht lohnen.
- Karte: Wählen Sie Google Cloud Standorte aus, die die sauberste Energie nutzen. Dieser Ansatz trägt dazu bei, die Brutto-CO₂-Bilanz Ihrer Arbeitslasten um das 5- bis 10-Fache zu reduzieren. Weitere Informationen finden Sie unter CO₂-freie Energie für Google Cloud -Regionen.
Weitere Informationen zu den Best Practices und Effizienzmesswerten der 4Ms finden Sie in den folgenden Forschungsarbeiten:
- The carbon footprint of machine learning training will plateau, then shrink
- The data center as a computer: An introduction to the design of warehouse-scale machines, second edition
KI-Modelle und -Algorithmen für Training und Inferenz optimieren
Die Architektur eines KI-Modells und die Algorithmen, die für Training und Inferenz verwendet werden, haben einen erheblichen Einfluss auf den Energieverbrauch. Beachten Sie die folgenden Empfehlungen:
Effiziente KI-Modelle auswählen
Wählen Sie kleinere, effizientere KI-Modelle, die Ihren Leistungsanforderungen entsprechen. Wählen Sie nicht das größte verfügbare Modell als Standard aus. Eine kleinere, destillierte Modellversion wie DistilBERT kann beispielsweise eine ähnliche Leistung mit deutlich weniger Rechenaufwand und schnellerer Inferenz als ein größeres Modell wie BERT bieten.
Domainspezifische, hocheffiziente Lösungen verwenden
Wählen Sie spezialisierte ML-Lösungen, die eine bessere Leistung bieten und deutlich weniger Rechenleistung erfordern als ein großes Foundation Model. Diese spezialisierten Lösungen sind oft vortrainiert und hyperoptimiert. Sie können den Energieverbrauch und den Forschungsaufwand für Trainings- und Inferenzarbeitslasten erheblich reduzieren. Hier einige Beispiele für domainspezifische Speziallösungen:
- Earth AI ist eine energieeffiziente Lösung, die große Mengen globaler Geodaten zusammenführt, um zeitnahe, genaue und umsetzbare Informationen zu liefern.
- WeatherNext erstellt im Vergleich zu herkömmlichen physikbasierten Methoden schnellere, effizientere und hochpräzise globale Wettervorhersagen.
Geeignete Modellkomprimierungstechniken anwenden
Im Folgenden finden Sie Beispiele für Techniken, die Sie für die Modellkomprimierung verwenden können:
- Pruning: Entfernen unnötiger Parameter aus einem neuronalen Netzwerk. Diese Parameter tragen nicht wesentlich zur Leistung eines Modells bei. Diese Technik reduziert die Größe des Modells und die für die Inferenz erforderlichen Rechenressourcen.
- Quantisierung: Reduzieren Sie die Genauigkeit der Modellparameter. Beispielsweise können Sie die Genauigkeit von 32-Bit-Gleitkommazahlen auf 8-Bit-Ganzzahlen reduzieren. Mit dieser Technik können Sie den Speicherbedarf und den Stromverbrauch erheblich senken, ohne dass die Genauigkeit merklich abnimmt.
- Wissensdestillation: Trainieren Sie ein kleineres Schülermodell, um das Verhalten eines größeren, komplexeren Lehrermodells nachzuahmen. Das Schülermodell kann mit weniger Parametern und weniger Energie eine hohe Leistung erzielen.
Spezielle Hardware verwenden
Wie unter Best Practices für die Ressourcenauswahl beschrieben, sollten Sie Prozessoren und Systeme auswählen, die für das ML-Training optimiert sind. Diese Prozessoren verbessern die Leistung und Energieeffizienz im Vergleich zu Prozessoren für allgemeine Zwecke um das 2- bis 5-Fache.
Parameter-efficient Fine-tuning verwenden
Anstatt alle Milliarden Parameter eines Modells anzupassen (vollständige Feinabstimmung), sollten Sie Methoden vom Typ „Parameter-Efficient Fine-Tuning“ (PEFT) wie „Low-Rank Adaptation“ (LoRA) verwenden. Bei dieser Technik werden die Gewichtungen des ursprünglichen Modells eingefroren und nur eine kleine Anzahl neuer, einfacher Ebenen trainiert. Dieser Ansatz trägt dazu bei, Kosten und Energieverbrauch zu senken.
Best Practices für KI- und ML-Vorgänge befolgen
Betriebliche Praktiken haben erhebliche Auswirkungen auf die Nachhaltigkeit Ihrer KI- und ML-Arbeitslasten. Beachten Sie die folgenden Empfehlungen:
Modelltrainingsprozesse optimieren
Verwenden Sie die folgenden Techniken, um Ihre Modelltrainingsprozesse zu optimieren:
- Vorzeitiges Beenden: Überwachen Sie den Trainingsprozess und beenden Sie ihn, wenn Sie keine weitere Verbesserung der Modellleistung im Vergleich zum Validierungs-Dataset feststellen. Mit dieser Technik können Sie unnötige Berechnungen und Energieverbrauch vermeiden.
- Effizientes Laden von Daten: Verwenden Sie effiziente Datenpipelines, um dafür zu sorgen, dass die GPUs und TPUs immer ausgelastet sind und nicht auf Daten warten müssen. Diese Technik trägt dazu bei, die Ressourcennutzung zu maximieren und Energieverschwendung zu reduzieren.
- Optimierte Hyperparameter-Abstimmung: Verwenden Sie Techniken wie die Bayes-Optimierung oder Reinforcement Learning, um optimale Hyperparameter effizienter zu finden. Vermeiden Sie umfassende Rastersuchen, da diese ressourcenintensiv sein können.
Inferenzeffizienz verbessern
So verbessern Sie die Effizienz von KI-Inferenzaufgaben:
- Batching: Gruppieren Sie mehrere Inferenzanfragen in Batches und nutzen Sie die parallele Verarbeitung auf GPUs und TPUs. Mit dieser Technik können die Energiekosten pro Vorhersage gesenkt werden.
- Erweitertes Caching: Implementieren Sie eine mehrschichtige Caching-Strategie, die Schlüssel/Wert-Caching (KV) für die autoregressive Generierung und semantisches Prompt-Caching für Anwendungsantworten umfasst. Mit dieser Technik lassen sich redundante Modellberechnungen umgehen, was zu einer erheblichen Reduzierung des Energieverbrauchs und des CO₂-Ausstoßes führen kann.
Messen und beobachten
Überwachen und messen Sie die folgenden Parameter:
- Nutzung und Kosten: Verwenden Sie geeignete Tools, um die Tokennutzung, den Energieverbrauch und die CO₂-Bilanz Ihrer KI-Arbeitslasten zu erfassen. Anhand dieser Daten können Sie Optimierungsmöglichkeiten erkennen und Fortschritte bei der Erreichung von Nachhaltigkeitszielen dokumentieren.
- Leistung: Überwachen Sie die Modellleistung in der Produktion kontinuierlich.
Probleme wie Datendrift identifizieren, die darauf hindeuten können, dass das Modell noch einmal optimiert werden muss. Wenn Sie das Modell neu trainieren müssen, können Sie das ursprüngliche, optimierte Modell als Ausgangspunkt verwenden und so bei Aktualisierungen viel Zeit, Geld und Energie sparen.
- Verwenden Sie Cloud Monitoring, um Leistungsmesswerte zu erfassen.
- Verwenden Sie Ereignis-Anmerkungen, um Modelländerungen mit Verbesserungen der Leistungsmesswerte zu korrelieren.
Weitere Informationen zur Operationalisierung der kontinuierlichen Verbesserung finden Sie unter Nachhaltigkeit kontinuierlich messen und verbessern.
CO₂-bewusste Planung implementieren
Konzipieren Sie Ihre ML-Pipeline-Jobs so, dass sie in Regionen mit dem saubersten Energiemix ausgeführt werden. Verwenden Sie den Carbon Footprint-Bericht, um die Regionen mit der geringsten CO₂-Intensität zu ermitteln. Planen Sie ressourcenintensive Aufgaben als Batchjobs für Zeiträume, in denen das lokale Stromnetz einen höheren Anteil an CO₂-freier Energie (CFE) hat.
Datenpipelines optimieren
Für ML-Vorgänge und die Feinabstimmung ist ein sauberer, hochwertiger Datensatz erforderlich. Bevor Sie ML-Jobs starten, sollten Sie die Daten mit verwalteten Datenverarbeitungsdiensten effizient vorbereiten. Verwenden Sie beispielsweise Dataflow für Streaming und Batchverarbeitung und Managed Service for Apache Spark für verwaltete Spark- und Hadoop-Pipelines. Eine optimierte Datenpipeline sorgt dafür, dass Ihre Feinabstimmungsarbeitslast nicht auf Daten warten muss. So können Sie die Ressourcennutzung maximieren und Energieverschwendung reduzieren.
MLOps einführen
Wenn Sie den gesamten ML-Lebenszyklus automatisieren und verwalten möchten, implementieren Sie MLOps-Verfahren. Diese Praktiken tragen dazu bei, dass Modelle kontinuierlich überwacht, validiert und effizient neu bereitgestellt werden. So werden unnötiges Training oder unnötige Ressourcenzuweisungen vermieden.
Verwaltete Dienste verwenden
Anstatt Ihre eigene Infrastruktur zu verwalten, können Sie verwaltete Cloud-Dienste wie die Gemini Enterprise Agent Platform verwenden. Die Cloud-Plattform übernimmt die zugrunde liegende Ressourcenverwaltung, sodass Sie sich auf den Feinabstimmungsprozess konzentrieren können. Verwenden Sie Dienste, die integrierte Tools für die Hyperparameter-Abstimmung, das Modellmonitoring und die Ressourcenverwaltung enthalten.
Nächste Schritte
- Wie viel Energie verbraucht die KI von Google? Wir haben das mal durchgerechnet.
- Ironwood: Die erste Google TPU für das Zeitalter der Inferenz
- Google Sustainability – Klimaschutzbericht 2025
- More Efficient In-Context Learning with GLaM
- Kontext-Caching – Übersicht