KI und ML: Operative Exzellenz

Last reviewed 2026-10-29 UTC

Dieses Dokument im Google Cloud Well-Architected Framework: KI- und ML-Perspektive bietet einen Überblick über die Prinzipien und Empfehlungen zum Erstellen und Betreiben robuster KI- und ML-Systeme in Google Cloud. Diese Empfehlungen helfen Ihnen, grundlegende Elemente wie Beobachtbarkeit, Automatisierung und Skalierbarkeit einzurichten. Die Empfehlungen in diesem Dokument entsprechen der Säule „Operative Exzellenz“ des Well-Architected Framework.

Operational Excellence im Bereich KI und ML ist die Fähigkeit, die KI- und ML-Systeme und -Pipelines, die die strategischen Ziele Ihres Unternehmens unterstützen, nahtlos bereitzustellen, zu verwalten und zu steuern. Operative Exzellenz ermöglicht es Ihnen, effizient auf Änderungen zu reagieren, die operative Komplexität zu reduzieren und dafür zu sorgen, dass Ihre Abläufe mit den Geschäftszielen übereinstimmen.

Die Empfehlungen in diesem Dokument sind den folgenden Grundprinzipien zugeordnet:

Solide Grundlage für die Modellentwicklung schaffen

Eine robuste Grundlage für die Modellentwicklung ist unerlässlich, um skalierbare, zuverlässige KI-Systeme zu entwickeln und bereitzustellen, mit denen Sie Ihre Geschäftsziele erreichen können. Eine solche Grundlage ermöglicht konsistente Workflows, automatisiert wichtige Schritte, um Fehler zu reduzieren, und sorgt dafür, dass die Modelle je nach Bedarf skaliert werden können. Eine solide Grundlage für die Modellentwicklung sorgt dafür, dass Ihre ML-Systeme nahtlos aktualisiert, verbessert und neu trainiert werden können. Die Grundlage hilft Ihnen auch, die Leistung Ihrer Modelle an die geschäftlichen Anforderungen anzupassen, wirkungsvolle KI-Lösungen schnell bereitzustellen und sich an sich ändernde Anforderungen anzupassen.

Beachten Sie die folgenden Empfehlungen, um eine solide Grundlage für die Entwicklung Ihrer KI-Modelle zu schaffen.

Probleme und erforderliche Ergebnisse definieren

Bevor Sie ein KI- oder ML-Projekt starten, müssen Sie sich über die zu lösenden Geschäftsprobleme und die erforderlichen Ergebnisse im Klaren sein. Beginnen Sie mit einer Übersicht der Geschäftsziele und unterteilen Sie diese in messbare Leistungskennzahlen (KPIs). Wenn Sie Ihre Problemdefinitionen und Hypothesen in einer Jupyter-Notebook-Umgebung organisieren und dokumentieren möchten, können Sie Tools wie die Gemini Enterprise Agent Platform Workbench verwenden. Verwenden Sie Tools wie Git, um die Versionsverwaltung für Code und Dokumente zu implementieren und Ihre Projekte, Ziele und Annahmen zu dokumentieren. Mit Agent Studio auf der Gemini Enterprise Agent Platform können Sie Prompts für generative KI-Anwendungen entwickeln und verwalten.

Erforderliche Daten erfassen und vorverarbeiten

Für die Datenvorverarbeitung und -transformation können Sie Dataflow (für Apache Beam), Managed Service for Apache Spark (für Apache Spark) oder BigQuery verwenden, wenn ein SQL-basierter Prozess geeignet ist. Verwenden Sie zur Validierung von Schemas und zur Erkennung von Anomalien die TensorFlow-Datenvalidierung (TFDV) und nutzen Sie gegebenenfalls automatisierte Datenqualitätsscans in BigQuery.

Bei generativer KI umfasst die Datenqualität Genauigkeit, Relevanz, Vielfalt und Übereinstimmung mit den erforderlichen Ausgabemerkmalen. Wenn reale Daten unzureichend oder unausgewogen sind, können Sie synthetische Daten generieren, um die Robustheit und Generalisierung des Modells zu verbessern. Wenn Sie synthetische Datasets auf Grundlage vorhandener Muster erstellen oder Trainingsdaten für eine bessere Modellleistung erweitern möchten, verwenden Sie BigQuery DataFrames. Synthetische Daten sind für generative KI besonders wertvoll, da sie die Vielfalt der Prompts und die allgemeine Robustheit des Modells verbessern können. Wenn Sie Datasets für das Fine-Tuning generativer KI-Modelle erstellen, sollten Sie die Funktionen zur Generierung synthetischer Daten in der Gemini Enterprise Agent Platform verwenden.

Bei generativen KI-Aufgaben wie der Feinabstimmung oder dem bestärkenden Lernen durch menschliches Feedback (RLHF) müssen die Labels die Qualität, Relevanz und Sicherheit der generierten Ausgaben genau widerspiegeln.

Geeigneten ML-Ansatz auswählen

Berücksichtigen Sie beim Entwerfen des Modells und der Parameter die Komplexität und die Rechenanforderungen des Modells. Je nach Aufgabe (z. B. Klassifizierung, Regression oder Generierung) können Sie das benutzerdefinierte Training der Agent Platform für die Erstellung benutzerdefinierter Modelle oder AutoML für einfachere ML-Aufgaben verwenden. Für gängige Anwendungen können Sie auch über Model Garden auf vortrainierte Modelle zugreifen. Sie können mit einer Vielzahl von hochmodernen Foundation Models für verschiedene Anwendungsfälle experimentieren, z. B. zum Generieren von Text, Bildern und Code.

Sie können ein vortrainiertes Foundation Model optimieren, um eine optimale Leistung für Ihren spezifischen Anwendungsfall zu erzielen. Wenn Sie hohe Leistungsanforderungen für das benutzerdefinierte Training haben, konfigurieren Sie Cloud TPU- oder GPU-Ressourcen, um das Training und die Inferenz von Deep-Learning-Modellen wie Large Language Models (LLMs) und Diffusionsmodellen zu beschleunigen.

Versionsverwaltung für Code, Modelle und Daten einrichten

Verwenden Sie Tools wie GitHub oder GitLab, um Codeversionen effektiv zu verwalten und bereitzustellen. Diese Tools bieten robuste Funktionen für die Zusammenarbeit, Verzweigungsstrategien und die Integration in CI/CD-Pipelines, um einen optimierten Entwicklungsprozess zu ermöglichen.

Verwenden Sie geeignete Lösungen, um die einzelnen Artefakte Ihres ML-Systems zu verwalten, z. B.:

  • Für Codeartefakte wie Container-Images und Pipelinekomponenten bietet Artifact Registry eine skalierbare Speicherlösung, die zur Verbesserung der Sicherheit beitragen kann. Artifact Registry bietet auch eine Versionsverwaltung und kann in Cloud Build und Cloud Deploy eingebunden werden.
  • Zum Verwalten von Datenartefakten wie Datasets, die für Training und Bewertung verwendet werden, können Sie Lösungen wie BigQuery oder Cloud Storage für Speicherung und Versionsverwaltung verwenden.
  • Verwenden Sie Ihr Versionsverwaltungssystem oder einen separaten Datenkatalog, um Metadaten und Verweise auf Datenspeicherorte zu speichern.

Wenn Sie die Konsistenz und Versionsverwaltung Ihrer Feature-Daten beibehalten möchten, verwenden Sie Agent Platform Feature Store. Wenn Sie Modellartefakte wie Binärdateien und Metadaten verfolgen und verwalten möchten, verwenden Sie die Model Registry auf der Gemini Enterprise Agent Platform. Damit können Sie Modellversionen nahtlos speichern, organisieren und bereitstellen.

Um die Zuverlässigkeit des Modells zu gewährleisten, implementieren Sie Model Monitoring auf der Gemini Enterprise Agent Platform. Erkennen Sie Datendrift, verfolgen Sie die Leistung und identifizieren Sie Anomalien in der Produktion. Bei generativen KI-Systemen sollten Sie auf Veränderungen bei der Ausgabequalität und der Einhaltung von Sicherheitsstandards achten.

Lebenszyklus der Modellentwicklung automatisieren

Mit der Automatisierung können Sie jede Phase des KI- und ML-Lebenszyklus optimieren. Durch die Automatisierung wird der manuelle Aufwand reduziert und Prozesse werden standardisiert. Das führt zu einer höheren betrieblichen Effizienz und einem geringeren Fehlerrisiko. Automatisierte Workflows ermöglichen schnellere Iterationen, konsistente Bereitstellungen in verschiedenen Umgebungen und zuverlässigere Ergebnisse, sodass Ihre Systeme nahtlos skaliert und angepasst werden können.

Beachten Sie die folgenden Empfehlungen, um den Entwicklungslebenszyklus Ihrer KI- und ML-Systeme zu automatisieren.

Verwaltetes Pipeline-Orchestrierungssystem verwenden

Mit Gemini Enterprise Agent Platform-Pipelines können Sie jeden Schritt des ML-Lebenszyklus automatisieren – von der Datenvorbereitung bis zum Modelltraining, der Bewertung und der Bereitstellung. Wenn Sie die Bereitstellung beschleunigen und die Konsistenz über Projekte hinweg fördern möchten, können Sie wiederkehrende Aufgaben mit geplanten Pipelineausführungen automatisieren, Workflows mit Ausführungsmesswerten überwachen und wiederverwendbare Pipelinevorlagen für standardisierte Workflows entwickeln. Diese Funktionen erstrecken sich auch auf generative KI-Modelle, die oft spezielle Schritte wie Prompt Engineering, Antwortfilterung und human-in-the-loop-Bewertung erfordern. Für generative KI können Agent Platform-Pipelines diese Schritte automatisieren, einschließlich der Bewertung generierter Ausgaben anhand von Qualitätsmesswerten und Sicherheitsrichtlinien. Um die Prompt-Vielfalt und die Robustheit des Modells zu verbessern, können automatisierte Workflows auch Techniken zur Datenerweiterung enthalten.

CI/CD-Pipelines implementieren

Verwenden Sie Cloud Build, um das Erstellen, Testen und Bereitstellen von ML-Modellen zu automatisieren. Dieser Dienst ist besonders effektiv, wenn Sie Test-Suites für Anwendungscode ausführen. So wird sichergestellt, dass die Infrastruktur, die Abhängigkeiten und das Modell-Packaging Ihren Bereitstellungsanforderungen entsprechen.

ML-Systeme erfordern oft zusätzliche Schritte, die über das Testen von Code hinausgehen. Sie müssen die Modelle beispielsweise unter unterschiedlichen Lasten einem Stresstest unterziehen, Bulk-Bewertungen durchführen, um die Modellleistung für verschiedene Datasets zu bewerten, und die Datenintegrität vor dem erneuten Training validieren. Um realistische Arbeitslasten für Stresstests zu simulieren, können Sie Tools wie Locust, Grafana k6 oder Apache JMeter verwenden. Überwachen Sie wichtige Messwerte wie Latenz, Fehlerrate und Ressourcenauslastung mit Cloud Monitoring, um Engpässe zu identifizieren. Bei generativer KI müssen die Tests auch Bewertungen umfassen, die für die Art der generierten Inhalte spezifisch sind, z. B. Textqualität, Bildtreue oder Codefunktionalität. Diese Bewertungen können automatisierte Messwerte wie Perplexität für Language Models oder Human-in-the-Loop-Bewertungen für nuanciertere Aspekte wie Kreativität und Sicherheit umfassen.

Wenn Sie Test- und Bewertungsaufgaben implementieren möchten, können Sie Cloud Build in andere Google Cloud -Dienste einbinden. Sie können beispielsweise Agent Platform-Pipelines für die automatisierte Modellbewertung, BigQuery für die umfangreiche Datenanalyse und die Dataflow-Pipeline-Validierung für die Feature-Validierung verwenden.

Sie können Ihre CI/CD-Pipeline weiter verbessern, indem Sie die Agent Platform für kontinuierliches Training verwenden, um das automatisierte Neulernen von Modellen mit neuen Daten zu ermöglichen. Speziell bei generativer KI kann das erneute Training das automatische Aktualisieren der Modelle mit neuen Trainingsdaten oder Prompts umfassen, damit die generierten Ausgaben relevant und vielfältig bleiben. Mit dem Agent Platform Model Garden können Sie die neuesten Basismodelle auswählen, die für die Optimierung verfügbar sind. So bleiben die Modelle auf dem neuesten Stand und sind für Ihre sich ändernden Geschäftsanforderungen optimiert.

Sichere und kontrollierte Modellveröffentlichungen implementieren

Um Risiken zu minimieren und zuverlässige Bereitstellungen zu gewährleisten, sollten Sie einen Ansatz für Modell-Releases implementieren, mit dem Sie Probleme frühzeitig erkennen, die Leistung validieren und bei Bedarf schnell ein Rollback durchführen können.

Wenn Sie Ihre ML-Modelle und -Anwendungen in Container-Images verpacken und bereitstellen möchten, verwenden Sie Cloud Deploy. Sie können Ihre Modelle auf Agent Platform-Endpunkten bereitstellen.

Implementieren Sie kontrollierte Releases für Ihre KI-Anwendungen und -Systeme, indem Sie Strategien wie Canary-Releases verwenden. Für Anwendungen, die verwaltete Modelle wie Gemini verwenden, empfehlen wir, neue Anwendungsversionen vor der vollständigen Bereitstellung schrittweise für eine Teilmenge von Nutzern freizugeben. So können Sie potenzielle Probleme frühzeitig erkennen, insbesondere wenn Sie generative KI-Modelle verwenden, bei denen die Ausgaben variieren können.

Wenn Sie optimierte Modelle veröffentlichen möchten, können Sie Cloud Deploy verwenden, um die Bereitstellung der Modellversionen zu verwalten, und die Canary-Release-Strategie nutzen, um das Risiko zu minimieren. Bei verwalteten und abgestimmten Modellen besteht das Ziel kontrollierter Releases darin, Änderungen mit einer begrenzten Zielgruppe zu testen, bevor Sie die Anwendungen und Modelle für alle Nutzer freigeben.

Für eine robuste Validierung können Sie Experimente auf der Gemini Enterprise Agent Platform verwenden, um neue Modelle mit vorhandenen zu vergleichen. Mit der Modellbewertung der Agent Platform können Sie die Modellleistung bewerten. Definieren Sie speziell für generative KI Bewertungsmesswerte, die dem beabsichtigten Anwendungsfall und den potenziellen Risiken entsprechen. Mit dem Gen AI Evaluation Service auf der Agent Platform können Sie Messwerte wie Toxizität, Kohärenz, Faktentreue und Einhaltung von Sicherheitshinweisen bewerten.

Für eine zuverlässige Bereitstellung benötigen Sie einen robusten Rollback-Plan. Verwenden Sie für herkömmliche ML-Systeme Model Monitoring auf der Agent Platform, um Datenabweichungen und Leistungsverschlechterungen zu erkennen. Bei generativen KI-Modellen können Sie relevante Messwerte im Blick behalten und Benachrichtigungen für Änderungen der Ausgabequalität oder das Auftreten schädlicher Inhalte einrichten. Verwenden Sie dazu die Modellbewertung der Agent Platform zusammen mit Cloud Logging und Cloud Monitoring. Konfigurieren Sie Benachrichtigungen basierend auf generativen KI-spezifischen Messwerten, um bei Bedarf Rollback-Verfahren auszulösen. Wenn Sie die Modellherkunft verfolgen und zur neuesten stabilen Version zurückkehren möchten, verwenden Sie die Informationen aus der Model Registry.

Beobachtbarkeit implementieren

Das Verhalten von KI- und ML-Systemen kann sich im Laufe der Zeit aufgrund von Änderungen an den Daten oder der Umgebung und Aktualisierungen der Modelle ändern. Aufgrund dieser dynamischen Natur ist die Beobachtbarkeit entscheidend, um Leistungsprobleme, Verzerrungen oder unerwartetes Verhalten zu erkennen. Dies gilt insbesondere für generative KI-Modelle, da die Ausgaben sehr unterschiedlich und subjektiv sein können. Mit der Beobachtbarkeit können Sie proaktiv auf unerwartetes Verhalten reagieren und dafür sorgen, dass Ihre KI- und ML-Systeme zuverlässig, genau und fair bleiben.

Beachten Sie die folgenden Empfehlungen, um die Beobachtbarkeit für Ihre KI- und ML-Systeme zu implementieren.

Leistung kontinuierlich überwachen

Verwenden Sie Messwerte und Erfolgskriterien für die laufende Bewertung von Modellen nach der Bereitstellung.

Mit Model Monitoring auf der Agent Platform können Sie die Modellleistung proaktiv verfolgen, Abweichungen zwischen Training und Bereitstellung sowie Vorhersagedrifts erkennen und Benachrichtigungen erhalten, um ein notwendiges erneutes Modelltraining oder andere Maßnahmen auszulösen. Um Abweichungen zwischen Training und Bereitstellung effektiv zu überwachen, erstellen Sie ein Golden Dataset, das die ideale Datenverteilung darstellt, und verwenden Sie TFDV, um Ihre Trainingsdaten zu analysieren und ein Referenzschema zu erstellen.

Konfigurieren Sie das Modellmonitoring auf der Agent Platform, um die Verteilung der Eingabedaten mit dem Golden Dataset zu vergleichen und so eine automatische Abweichungserkennung zu ermöglichen. Konzentrieren Sie sich bei herkömmlichen ML-Modellen auf Messwerte wie Accuracy, Precision, Recall, F1-Wert, AUC-ROC und Log-Loss. Benutzerdefinierte Schwellenwerte für Benachrichtigungen im Modellmonitoring auf der Agent Platform definieren. Verwenden Sie für generative KI den Gen AI Evaluation Service, um die Modellausgabe in der Produktion kontinuierlich zu überwachen. Sie können auch automatische Bewertungsmesswerte für Antwortqualität, Sicherheit, Einhaltung von Anweisungen, Fundierung, Schreibstil und Ausführlichkeit aktivieren. Um die generierten Ausgaben auf Qualität, Relevanz, Sicherheit und Einhaltung von Richtlinien zu prüfen, können Sie eine human-in-the-loop-Bewertung einbeziehen.

Erstellen Sie Feedbackschleifen, um Modelle automatisch mit Agent Platform-Pipelines neu zu trainieren, wenn das Modellmonitoring auf der Agent Platform eine Benachrichtigung auslöst. Nutzen Sie diese Informationen, um Ihre Modelle kontinuierlich zu verbessern.

Modelle während der Entwicklung bewerten

Bevor Sie Ihre LLMs und andere generative KI-Modelle bereitstellen, sollten Sie sie während der Entwicklungsphase gründlich bewerten. Mit der Modellbewertung auf der Agent Platform können Sie die Leistung optimieren und Risiken minimieren. Mit der schnellen Bewertung der Agent Platform können Sie Google Cloud automatisch Bewertungen basierend auf dem von Ihnen bereitgestellten Dataset und den Prompts ausführen lassen.

Sie können auch benutzerdefinierte Messwerte definieren und einbinden, die für Ihren Anwendungsfall spezifisch sind. Wenn Sie Feedback zu generierten Inhalten erhalten möchten, können Sie Human-in-the-Loop-Workflows mit der Agent Platform-Modellbewertung einbinden.

Verwenden Sie Adversarial Testing, um Sicherheitslücken und potenzielle Fehlermodi zu identifizieren. Verwenden Sie Techniken wie die Untergruppenanalyse und die Generierung kontrafaktischer Daten, um potenzielle Verzerrungen zu identifizieren und zu minimieren. Verwenden Sie die Informationen aus den Bewertungen, die während der Entwicklungsphase abgeschlossen wurden, um Ihre Strategie für das Modellmonitoring in der Produktion zu definieren. Bereiten Sie Ihre Lösung für das kontinuierliche Monitoring vor, wie im Abschnitt Leistung kontinuierlich überwachen dieses Dokuments beschrieben.

Verfügbarkeit überwachen

Mit Monitoring erhalten Sie Einblick in den Zustand und die Leistung Ihrer bereitgestellten Endpunkte und Infrastruktur. Für Ihre Agent Platform-Endpunkte können Sie wichtige Messwerte wie Anfragerate, Fehlerrate, Latenz und Ressourcenauslastung verfolgen und Benachrichtigungen für Anomalien einrichten. Weitere Informationen finden Sie unter Monitoring-Messwerte für die Agent Platform.

Überwachen Sie den Zustand der zugrunde liegenden Infrastruktur, zu der Compute Engine-Instanzen, Google Kubernetes Engine-Cluster (GKE) sowie Cloud TPU und GPUs gehören können. Automatisierte Optimierungsempfehlungen von Active Assist erhalten. Wenn Sie Autoscaling verwenden, sollten Sie das Skalierungsverhalten im Blick behalten, um sicherzustellen, dass das Autoscaling angemessen auf Änderungen der Trafficmuster reagiert.

Durch die Einbindung von Cloud Deploy in Monitoring können Sie den Status von Modellbereitstellungen verfolgen, einschließlich Canary-Releases und Rollbacks. Außerdem können Sie mit dem Security Command Center potenzielle Sicherheitsbedrohungen und Sicherheitslücken im Blick behalten.

Benutzerdefinierte Benachrichtigungen für geschäftsspezifische Grenzwerte einrichten

Richten Sie benutzerdefinierte Benachrichtigungen ein, die auf Schwellenwerten basieren, die für Ihre Geschäftsziele spezifisch sind, um Anomalien und Probleme rechtzeitig zu erkennen und zu beheben. Beispiele für Google Cloud -Produkte, mit denen Sie ein benutzerdefiniertes Benachrichtigungssystem implementieren können:

  • Logging: Logs aus allen Komponenten Ihres KI- und ML-Systems erfassen, speichern und analysieren.
  • Monitoring: Erstellen Sie benutzerdefinierte Dashboards, um wichtige Messwerte und Trends zu visualisieren, und definieren Sie benutzerdefinierte Messwerte entsprechend Ihren Anforderungen. Konfigurieren Sie Benachrichtigungen, um über kritische Probleme informiert zu werden, und binden Sie die Benachrichtigungen in Ihre Incident-Managementtools wie PagerDuty oder Slack ein.
  • Error Reporting: Fehler und Ausnahmen automatisch erfassen und analysieren.
  • Cloud Trace: Analysieren Sie die Leistung verteilter Systeme und identifizieren Sie Engpässe. Tracing ist besonders nützlich, um die Latenz zwischen verschiedenen Komponenten Ihrer KI- und ML-Pipeline zu verstehen.
  • Cloud Profiler: Analysieren Sie kontinuierlich die Leistung Ihres Codes in der Produktion und identifizieren Sie Leistungsengpässe bei der CPU- oder Arbeitsspeichernutzung.

Kultur der operativen Exzellenz aufbauen

Der Fokus liegt nicht mehr nur auf der Erstellung von Modellen, sondern auf der Entwicklung nachhaltiger, zuverlässiger und wirkungsvoller KI-Lösungen. Teams können kontinuierlich lernen, innovativ sein und sich verbessern, was zu schnelleren Entwicklungszyklen, weniger Fehlern und mehr Effizienz führt. Wenn Sie Automatisierung, Standardisierung und ethische Überlegungen priorisieren, können Sie dafür sorgen, dass Ihre KI- und ML-Initiativen konsistent Mehrwert liefern, Risiken minimieren und eine verantwortungsbewusste KI-Entwicklung fördern.

Beachten Sie die folgenden Empfehlungen, um eine Kultur der Operational Excellence für Ihre KI- und ML-Systeme aufzubauen.

Automatisierung und Standardisierung fördern

Um Effizienz und Konsistenz zu betonen, sollten Sie Automatisierung und standardisierte Verfahren in jede Phase des KI- und ML-Lebenszyklus einbinden. Durch die Automatisierung werden manuelle Fehler reduziert und Teams können sich auf Innovationen konzentrieren. Durch die Standardisierung wird sichergestellt, dass Prozesse team- und projektübergreifend wiederholbar und skalierbar sind.

Kontinuierliches Lernen und Verbessern priorisieren

Schaffen Sie eine Umgebung, in der Weiterbildung und Experimentieren zu den Grundprinzipien gehören. Ermutigen Sie Teams, sich über die neuesten Entwicklungen im Bereich KI und ML auf dem Laufenden zu halten, und bieten Sie ihnen die Möglichkeit, aus früheren Projekten zu lernen. Eine Kultur der Neugier und Anpassung fördert Innovationen und sorgt dafür, dass Teams für neue Herausforderungen gerüstet sind.

Verantwortlichkeit und Eigenverantwortung fördern

Schaffen Sie Vertrauen und Einigkeit mit klar definierten Rollen, Verantwortlichkeiten und Erfolgskennzahlen. Ermöglichen Sie es Teams, innerhalb dieser Grenzen fundierte Entscheidungen zu treffen, und schaffen Sie transparente Möglichkeiten, den Fortschritt zu messen. Ein Gefühl der Eigenverantwortung motiviert Teams und sorgt für eine gemeinsame Verantwortung für die Ergebnisse.

Ethische und sicherheitsrelevante Überlegungen zur KI einbeziehen

Ethische Überlegungen in jeder Entwicklungsphase priorisieren. Regen Sie Teams dazu an, kritisch über die Auswirkungen ihrer KI-Lösungen nachzudenken, und fördern Sie Diskussionen über Fairness, Voreingenommenheit und gesellschaftliche Auswirkungen. Klare Grundsätze und Verantwortlichkeitsmechanismen sorgen dafür, dass Ihre KI-Systeme den Werten Ihrer Organisation entsprechen und Vertrauen fördern.

Skalierbarkeit berücksichtigen

Um wachsende Datenmengen und Nutzeranforderungen zu bewältigen und den Wert von KI-Investitionen zu maximieren, müssen Ihre KI- und ML-Systeme skalierbar sein. Die Systeme müssen sich anpassen und optimal funktionieren, um Leistungsengpässe zu vermeiden, die die Effektivität beeinträchtigen. Wenn Sie auf Skalierbarkeit achten, sorgen Sie dafür, dass die KI-Infrastruktur mit dem Wachstum Schritt halten kann und reaktionsschnell bleibt. Verwenden Sie eine skalierbare Infrastruktur, planen Sie die Kapazität und setzen Sie Strategien wie horizontales Skalieren und verwaltete Dienste ein.

Beachten Sie die folgenden Empfehlungen, um Ihre KI- und ML-Systeme auf Skalierbarkeit auszulegen.

Kapazität und Kontingente planen

Bewerten Sie das zukünftige Wachstum und planen Sie Ihre Infrastrukturkapazität und Ressourcenkontingente entsprechend. Arbeiten Sie mit den geschäftlichen Stakeholdern zusammen, um das prognostizierte Wachstum zu verstehen, und definieren Sie dann die Infrastrukturanforderungen entsprechend.

Verwenden Sie Monitoring, um die bisherige Ressourcenauslastung zu analysieren, Trends zu erkennen und den zukünftigen Bedarf zu prognostizieren. Führen Sie regelmäßig Lasttests durch, um Arbeitslasten zu simulieren und Engpässe zu identifizieren.

Machen Sie sich mit den Google Cloud -Kontingenten für die von Ihnen verwendeten Dienste wie Compute Engine, Agent Platform und Cloud Storage vertraut. Beantragen Sie proaktiv Kontingenterhöhungen über die Google Cloud Console und begründen Sie die Erhöhungen mit Daten aus Prognosen und Lasttests. Überwachen Sie die Kontingentnutzung und richten Sie Benachrichtigungen ein, um informiert zu werden, wenn sich die Nutzung den Kontingentlimits nähert.

Wenn Sie die Ressourcennutzung je nach Bedarf optimieren möchten, passen Sie die Größe Ihrer Ressourcen an, verwenden Sie Spot-VMs für fehlertolerante Batch-Arbeitslasten und implementieren Sie Autoscaling.

Auf Spitzenlasten vorbereiten

Sorgen Sie dafür, dass Ihr System plötzliche Spitzen im Traffic oder in der Arbeitslast während Spitzenereignissen bewältigen kann. Dokumentieren Sie Ihre Strategie für Spitzenereignisse und führen Sie regelmäßige Übungen durch, um die Fähigkeit Ihres Systems zu testen, mit erhöhter Last umzugehen.

Wenn Sie Ressourcen bei Nachfragespitzen aggressiv skalieren möchten, konfigurieren Sie Autoscaling-Richtlinien in Compute Engine und GKE. Bei vorhersehbaren Spitzenmustern sollten Sie vorausschauendes Autoscaling verwenden. Wenn Sie das Autoscaling anhand von anwendungsspezifischen Signalen auslösen möchten, verwenden Sie benutzerdefinierte Messwerte in Monitoring.

Verteilen Sie den Traffic mit Cloud Load Balancing auf mehrere Anwendungsinstanzen. Wählen Sie einen geeigneten Load-Balancer-Typ basierend auf den Anforderungen Ihrer Anwendung aus. Für geografisch verteilte Nutzer können Sie globales Load Balancing verwenden, um Traffic an die nächstgelegene verfügbare Instanz weiterzuleiten. Für komplexe, auf Mikrodiensten basierende Architekturen sollten Sie Cloud Service Mesh verwenden.

Statische Inhalte am Rand des Google-Netzwerks mit Cloud CDN im Cache speichern.

Verwenden Sie einen der folgenden vollständig verwalteten In-Memory-Datenspeicherdienste, um häufig aufgerufene Daten im Cache zu speichern:

Entkoppeln Sie die Komponenten Ihres Systems mit Pub/Sub für Echtzeit-Messaging und Cloud Tasks für die asynchrone Aufgabenausführung.

Anwendungen für die Produktion skalieren

Für eine skalierbare Bereitstellung in der Produktion können Sie verwaltete Dienste wie das verteilte Training der Agent Platform und die Inferenz der Gemini Enterprise Agent Platform verwenden. Mit Agent Platform Inference können Sie die Maschinentypen für Ihre Vorhersageknoten konfigurieren, wenn Sie ein Modell auf einem Endpunkt bereitstellen oder Batchvorhersagen anfordern. Bei einigen Konfigurationen können Sie GPUs hinzufügen. Wählen Sie den geeigneten Maschinentyp und die passenden Beschleuniger aus, um Latenz, Durchsatz und Kosten zu optimieren.

Wenn Sie komplexe KI- und Python-Anwendungen sowie benutzerdefinierte Arbeitslasten über verteilte Rechenressourcen hinweg skalieren möchten, können Sie Ray auf der Gemini Enterprise Agent Platform verwenden. Diese Funktion kann die Leistung optimieren und ermöglicht eine nahtlose Integration inGoogle Cloud -Dienste. Ray auf der Gemini Enterprise Agent Platform vereinfacht verteiltes Computing, indem es die Clusterverwaltung, die Aufgabenplanung und die Datenübertragung übernimmt. Es lässt sich in andere Agent Platform-Dienste wie Training, Vorhersage und Pipelines einbinden. Ray bietet Fehlertoleranz und Autoscaling und hilft Ihnen, die Infrastruktur an sich ändernde Arbeitslasten anzupassen. Die Lösung bietet ein einheitliches Framework für verteiltes Training, Hyperparameter-Abstimmung, Reinforcement Learning und Modellbereitstellung. Verwenden Sie Ray für die verteilte Datenvorverarbeitung mit Dataflow oder Managed Service for Apache Spark, beschleunigtes Modelltraining, skalierbare Hyperparameter-Abstimmung, Reinforcement Learning und parallelisierte Batch-Vorhersagen.

Beitragende

Autor*innen:

Weitere Beitragende:

Zurück
Übersicht
Weiter
Sicherheit