Best Practices für die Sicherheit von KI-Arbeitslasten in GKE

Dieses Dokument enthält Best Practices für Plattformteams, Sicherheitstechniker und Cloud-Architekten, die KI-Arbeitslasten in Google Kubernetes Engine (GKE) bereitstellen. Mit GKE können Sie proprietäres geistiges Eigentum wie Modellgewichte schützen, den Ruf Ihrer Marke durch das Filtern von Inhalten schützen und die Einhaltung von Vorschriften verbessern.

Implementieren Sie diese Best Practices zusätzlich zu anderen Best Practices für die Sicherheit von GKE- und KI-Arbeitslasten, z. B. den folgenden:

Ihre Verantwortlichkeiten in Bezug auf die Sicherheit

Die Sicherheitslage Ihrer KI-Arbeitslasten hängt von verschiedenen Ebenen Ihrer Umgebung ab, z. B. von Ihrer Google Cloud Infrastruktur und den von Ihnen verwendeten Modellen. In der folgenden Tabelle werden diese Ebenen beschrieben. Außerdem wird angegeben, wer für die Sicherheit der einzelnen Ebenen verantwortlich ist und welche Sicherheitsverantwortlichkeiten für die jeweilige Ebene gelten:

Ebene Beschreibung Verantwortlichkeiten
Infrastruktur Die zugrunde liegende Infrastruktur, z. B. virtuelle Maschinen (VMs), Netzwerkkomponenten und Speicherhardware, auf der Ihre KI-Arbeitslasten ausgeführt werden. Google Cloud ist für die Infrastruktur verantwortlich und bietet eine solide Sicherheitsbasis.

Plattformadministratoren in Ihrer Organisation implementieren Kontrollen, um die Sicherheit in den folgenden Bereichen zu verbessern:

  • Schutz vor Prompt-Injection-Angriffen
  • Datenverschlüsselung
  • Nutzer- und Arbeitslastauthentifizierung und ‑autorisierung
  • Sicherheit von Ausgaben
  • Hardware- und Mandantenisolation für Mehrmandantenumgebungen
  • Ratenbegrenzung in Mehrmandanten-Umgebungen
  • Erfassung von Logs und Messwerten
Modell Das Modell, die Modellgewichte, die Trainingspipeline und die Sicherheitseigenschaften. Wenn Sie Modelle ausführen, die Sie trainiert oder feinabgestimmt haben, sind Sie für die Sicherung der Modellebene verantwortlich. Wenn Sie verwaltete Modelle von Drittanbietern (z. B. Gemini) verwenden, ist der Anbieter für die Sicherheit des Modells verantwortlich.

Auf der Modellebene ist der Modelleigentümer für die Sicherheit in den folgenden Bereichen verantwortlich:

  • Modellintegrität
  • Schutz von Modellgewichten
  • Sicherheitseigenschaften von Modellen
Anwendung Die Prompts, der Code, die Systemanweisungen und die Endnutzererfahrung. Anwendungsoperatoren und Plattformadministratoren in Ihrer Organisation sind für die Sicherheit auf der Anwendungsebene verantwortlich.

Auf der Anwendungsebene sind Anwendungsbetreiber, Entwickler und Plattformadministratoren für die Sicherheit in den folgenden Bereichen verantwortlich:

  • Schutz vor Prompt-Injection-Angriffen
  • Verarbeitung von Anwendungsdaten
  • Inhaltssicherheit auf Anwendungsebene
  • Isolierung und Sandboxing von Arbeitslasten

Sie wenden Kontrollen an, um die Ebenen zu schützen, für die Sie verantwortlich sind. Die folgenden Beispiele zeigen gängige Bereitstellungstypen für GKE-Kunden und die entsprechenden Sicherheitsverantwortlichkeiten für diese Bereitstellungen:

  • Sie verwenden ein verwaltetes Modell wie Gemini: Sie wenden Kontrollen auf der Infrastruktur- und Anwendungsebene an. Auch wenn Sie ein verwaltetes Modell mit integrierten Sicherheitsfiltern verwenden, sind Sie für die Abwehrmaßnahmen gegen Prompt-Injection verantwortlich, die zum Schutz Ihrer spezifischen Anwendungslogik erforderlich sind.
  • Sie betreiben Ihr eigenes Modell: Wenn Sie ein feinabgestimmtes Modell, ein Open-Source-Modell oder ein von Ihnen trainiertes Modell betreiben, sind Sie für die Sicherheit auf jeder Ebene verantwortlich.
  • Sie sind ein Anbieter von KI-Diensten für mehrere Mandanten: Wenn Sie KI-Dienste für Ihre eigenen Endnutzer bereitstellen, indem Sie Ihr Modell in GKE ausführen und Inferenzendpunkte für mehrere Mandanten verfügbar machen, sind Sie für zusätzliche Kontrollen verantwortlich. Zu diesen Multi-Tenant-Steuerelementen gehören die logische und physische Mandantenisolation (z. B. dedizierte Knotenpools, Namespaces und Netzwerkrichtlinien), die Ratenbegrenzung pro Mandant und die Verschlüsselung von Mandantendaten im Ruhezustand mit unterschiedlichen kundenverwalteten Verschlüsselungsschlüsseln (Customer-Managed Encryption Keys, CMEK).

Sicherheit auf Infrastrukturebene verbessern

Auf der Infrastrukturebene Google Cloud und GKE bieten einen grundlegenden Sicherheitsstatus,der standardmäßig verschiedene Sicherheitskontrollen implementiert. Um die Sicherheit Ihrer Infrastruktur für KI-Arbeitslasten zu verbessern, konfigurieren Sie zusätzliche Sicherheitskontrollen basierend auf dem Typ der KI-Arbeitslasten, die Sie ausführen, und den spezifischen Sicherheitszielen, die Sie erreichen möchten. In den folgenden Abschnitten werden die Produkte und Dienste beschrieben, mit denen Sie verschiedene Komponenten Ihrer KI-Infrastruktur schützen können.

GKE-Knoten schützen

Verwenden Sie die folgenden Dienste, um sensible Daten zu schützen, z. B. Inferenz-Arbeitslasten, bei denen Prompts und Antworten verarbeitet werden, oder Trainingsarbeitslasten, bei denen auf proprietäre Modelle zugegriffen wird:

  • Aktive vertrauliche Daten mit Hardware-Attestierung verschlüsseln: Führen Sie Ihre Inferenzarbeitslasten auf Confidential Google Kubernetes Engine-Knoten aus. Dadurch wird die Verschlüsselung des Arbeitsspeichers auf Hardwareebene auf Beschleuniger wie GPUs und TPUs sowie auf AMD SEV-SNP- oder Intel TDX-CPUs ausgeweitet. Verwenden Sie Confidential GKE Nodes für regulierte Bereitstellungen und sensible Inferenzarbeitslasten. Confidential GKE Nodes schützen Arbeitslasten nicht vor Exploits auf Anwendungsebene oder autorisierten Nutzern mit Zugriff auf Knotenebene.

    Für Anbieter, deren Kunden strenge Isolierungsanforderungen haben (z. B. für souveräne Arbeitslasten), bietet GKE Hypercluster eine kryptografische Bestätigung, dass selbst der Betreiber der zugrunde liegenden Infrastruktur,Google Cloud, keine Mandantendaten einsehen kann.

  • Risiko von Knotenidentitätsdiebstahl verringern: Führen Sie Arbeitslasten auf Shielded GKE-Knoten aus, die überprüfbare Knotenintegritäts- und Identitätsbestätigungen bieten. Verwenden Sie Shielded GKE-Knoten für alle Arbeitslasttypen.

  • Verwendung statischer Anmeldedaten für Arbeitslasten vermeiden: Verwenden Sie die Workload Identity-Föderation für GKE, um über Ihren Anwendungscode auf Google Cloud -Dienste zuzugreifen. Verwenden Sie dazu kurzlebige, föderierte Anmeldedaten und verhindern Sie, dass nicht essenzielle Compute Engine-Metadaten für Anwendungen verfügbar gemacht werden. Verwenden Sie die Workload Identity Federation for GKE in allen Produktionsclustern, insbesondere wenn Sie auf Daten zugreifen müssen, die sich in Diensten außerhalb des Clusters befinden.

Netzwerksteuerungen implementieren

Mit den folgenden Funktionen und Produkten können Sie die Netzwerksicherheit für KI-Arbeitslasten verbessern:

  • Alias-IP-Adressbereiche verwenden: VPC-native Cluster verwenden Alias-IP-Adressbereiche, um Traffic zwischen Pods weiterzuleiten, anstatt statische Routen im VPC-Netzwerk zu verwenden. Verwenden Sie immer VPC-native Cluster.

  • Netzwerkzugriff auf Knoten einschränken: Verwenden Sie private Knoten, um standardmäßig Traffic zwischen Ihren Knoten und dem öffentlichen Internet zu verhindern. Für Inferenzendpunkte, die verfügbar gemacht werden müssen, sollte ein verwalteter Dienst wie Google Cloud Armor zwischen den Endpunkten und dem Internet vorhanden sein.

  • Clusterinternen Traffic standardmäßig ablehnen: Verwenden Sie Kubernetes-Netzwerkrichtlinien, um Traffic zwischen Pods, zwischen Namespaces und ausgehenden Traffic ins Internet abzulehnen. Netzwerkverkehr nur für Anwendungen zulassen, die einen bestimmten Zugriff benötigen.

  • Edge-Schutz für Internetendpunkte hinzufügen: Mit Google Cloud Armor können Sie Inferenzendpunkte schützen, die über das Internet verfügbar sind. Dazu können Sie Ratenbegrenzung, DDoS-Schutz, standortbasierte Zugriffssteuerung und Layer 7-Angriffsabwehr implementieren. Wenn Sie öffentlich zugängliche KI‑APIs haben, verwenden Sie Cloud Armor, um volumetrische Angriffe und Angriffe auf Anwendungsebene zu erkennen und abzuwehren, bevor sie Ihre Compute-Infrastruktur erreichen. Kombinieren Sie Cloud Armor mit privaten Knoten, um die Sicherheit von Inferenzendpunkten zu optimieren.

  • Daten-Exfiltration bei einem Angriff verhindern: Verwenden Sie VPC Service Controls, um einen Sicherheitsbereich für Ihre Google Cloud -Ressourcen zu erstellen. Selbst wenn Anmeldedaten manipuliert werden, können Angreifer keine Daten aus dem Perimeter entfernen. VPC Service Controls für regulierte Arbeitslasten verwenden

Identität und Zugriff verwalten

Verwenden Sie die folgenden Autorisierungsmechanismen, um Nutzer zu identifizieren und den Zugriff auf Cluster und Arbeitslasten zu steuern:

Schlüssel und Secrets verwalten

Bewahren Sie alle Ihre Verschlüsselungsschlüssel und sensiblen Daten wie API-Schlüssel und Anmeldedaten außerhalb des Clusters auf. Mit den folgenden Produkten können Sie diese Ressourcen speichern:

  • Verschlüsselungsschlüssel verwalten: Verwenden Sie den Cloud Key Management Service, um alle Verschlüsselungsschlüssel zu verwalten. Sie können auch vom Kunden verwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEKs) in Cloud KMS erstellen, um Daten mit Schlüsseln zu verschlüsseln, die Sie verwalten. Dies ist häufig eine Anforderung in regulierten Branchen.

  • Sensible Anwendungsdaten speichern: Verwenden Sie Secret Manager, um sensible Daten zu speichern, die von Arbeitslasten verwendet werden, z. B. Anwendungsschlüssel, API-Schlüssel und Anmeldedaten. Wenn Sie diese Daten aus Pods lesen möchten, verwenden Sie die Workload Identity-Föderation für GKE, um bestimmten Arbeitslastidentitäten nur Zugriff auf die Ressourcen zu gewähren, die die Pods benötigen.

Sicherheit der Lieferkette verbessern

Die folgenden Google Cloud Dienste können Ihnen helfen, die Sicherheit in der gesamten Softwarelieferkette zu verbessern:

  • Container-Images auf Sicherheitslücken scannen: Speichern Sie Ihre Container-Images in Artifact Registry-Repositories, in denen das Scannen auf Sicherheitslücken standardmäßig aktiviert ist. Aktivieren Sie die kontinuierliche CVE-Erkennung für jedes Image in Ihrer Registry.

  • Nur verifizierte Images in der Produktion zulassen: Verwenden Sie die Binärautorisierung, um die richtlinienbasierte Autorisierung von Container-Image-Signaturen zum Zeitpunkt der Bereitstellung zu erzwingen. Nur bestätigte Bilder werden in der Produktion verwendet.

  • Sicherheitserkennung und Statusverwaltung konfigurieren: Verwenden Sie Security Command Center, um KI-spezifische Ergebnisse zur Bedrohungserkennung und Statusverwaltung aufzurufen, z. B. falsch konfigurierte Gemini Enterprise Agent Platform-Endpunkte oder freigegebene Trainingsdaten-Buckets. Security Command Center integriert diese KI-Ergebnisse mit Artifact Registry-Sicherheitslücken und IAM-Analysen, um einen umfassenden Überblick über Ihre Flotte zu erhalten.

  • KI-Artefakte verfolgen: Verwenden Sie Tools für Stücklisten, die für Kubernetes-KI-Arbeitslasten entwickelt wurden, z. B. k8s-aibom, um umfassende Inventare Ihrer Modelle, Datasets und Frameworks zu erstellen.

Sicherheit auf der Modellebene verbessern

Wenn Sie Modelle ausführen, die Sie trainiert oder feinabgestimmt haben, oder Open-Source-Modelle, die Sie konfiguriert haben, sollten Sie verschiedene Einstellungen konfigurieren, um die Sicherheit des Modells zu verbessern. Wenn Sie verwaltete Modelle von Drittanbietern verwenden, ist diese Ebene nicht für Sie relevant. In den folgenden Abschnitten wird beschrieben, was Sie tun können, um die Integrität, Vertraulichkeit und Sicherheit Ihrer Modelle zu verbessern.

Modellintegrität verbessern

Verbessern Sie die Integrität Ihrer Modelle, damit Sie Manipulationen erkennen können, bevor das Modell über einen Inferenzendpunkt zugänglich ist. Die folgenden Richtlinien können Ihnen helfen, die Modellintegrität zu verbessern:

  • Modellartefakte signieren: Signieren Sie Modellgewichte kryptografisch, bevor Sie die Gewichte in Ihrer Registry veröffentlichen. Wenn Sie das Modell bereitstellen, prüfen Sie die Signatur mit Binärautorisierungs-Attestierungen. Durch das Signieren und Überprüfen Ihrer Modellartefakte können Sie feststellen, ob Modelle während der Speicherung oder Übertragung manipuliert wurden. Außerdem erhalten Sie so eine überprüfbare Nachweiskette für Produktionsmodelle.
  • Modifikationen nach dem Training finden: Der Open-Source-Activation Model Scanner (AMS) erkennt Modelle, die nach dem Training modifiziert wurden (z. B. um Backdoors, Gewichtungsstörungen oder nicht autorisierte Feinabstimmungen hinzuzufügen), indem er die Aktivierungssignaturen des Modells mit einer Baseline vergleicht. Führen Sie einen Scanner wie AMS als Teil Ihrer CI/CD-Pipeline aus, bevor Sie Ihre Modelle in Produktionsregistrierungen veröffentlichen. Planen Sie für hochwertige oder regulierte Modelle regelmäßige AMS-Scans für Produktionsartefakte, um Manipulationen zu erkennen, die nach der Erstveröffentlichung auftreten.

Vertraulichkeit von Modellen schützen

Wenn Sie sensible Modellgewichte haben, z. B. proprietäre Fine-Tuning-Modelle, Modelle, die mit regulierten Daten trainiert wurden, oder wettbewerbsfähiges geistiges Eigentum, sollten Sie die folgenden Richtlinien zum Schutz der Gewichte beachten:

  • Gewichtungen im inaktiven Zustand verschlüsseln: Speichern Sie Gewichtungen in verschlüsseltem Objektspeicher, z. B. in Cloud Storage-Buckets, mit eingeschränktem IAM-Zugriff. Cloud Storage verschlüsselt inaktive Kundeninhalte standardmäßig. Optional können Sie CMEKs verwenden, um die Daten mit Schlüsseln zu verschlüsseln, die Sie verwalten. Dies ist häufig eine Anforderung in regulierten Branchen. Weitere Informationen finden Sie in der Cloud Storage-Dokumentation unter Datenverschlüsselungsoptionen.

  • Gewichtungen während der Verwendung schützen: Führen Sie Modelle auf Confidential GKE Nodes aus, um sicherzustellen, dass Gewichtungen während der Inferenz im Arbeitsspeicher verschlüsselt werden. Confidential GKE Nodes können Ihnen helfen, Ihr geistiges Eigentum vor Kompromittierung auf Hypervisor-Ebene und unbefugtem Zugriff durch den Infrastrukturbetreiber zu schützen. Confidential GKE Nodes schützen nicht vor Exploits auf Anwendungsebene oder autorisierten Nutzern mit Zugriff auf Knotenebene.

  • Gesamten Zugriff auf Gewichte steuern: Protokollieren Sie den gesamten Zugriff auf Modellartefakte im Speicher. Verwenden Sie IAM-Zugriffsrichtlinien, um den Zugriff auf bestimmte Dienstkonten und Personen mit dokumentiertem Zugriffsbedarf einzuschränken. Beschränken Sie den Administratorzugriff auf den Cluster, einschließlich des Shell-Zugriffs auf Container, des SSH-Zugriffs auf Knoten-VMs oder des Debuggings auf Knotenebene, mithilfe von Kubernetes RBAC-Richtlinien und Chrome Enterprise Premium. Mit diesen Maßnahmen können Sie Modellgewichte vor Nutzern mit Zugriff auf Knotenebene schützen, was nicht durch Confidential GKE Nodes abgedeckt wird.

Sicherheitseigenschaften des Modells verbessern

Sie können während des Trainings verschiedene Sicherheitseinstellungen für Modelle implementieren. Wenn Sie Ihr eigenes Modell trainieren oder optimieren, sollten Sie in Sicherheitstraining investieren, das für den Anwendungsfall des Modells relevant ist. Zu den Sicherheitseigenschaften von Modellen gehören das Ablehnungsverhalten, das Alignment-Training und die Widerstandsfähigkeit gegen Jailbreaks. Wenn Sie ein vortrainiertes Modell verwenden, wählen Sie ein Modell mit Sicherheitseigenschaften aus, die den Anforderungen Ihrer Anwendung entsprechen.

Anwendungsentwickler und ‑betreiber können verschiedene Kontrollen auf der Anwendungsebene implementieren, um die Sicherheit in Bereichen zu verbessern, die das Modell nicht abdecken kann.

Sicherheit auf Anwendungsebene verbessern

Auf der Anwendungsebene haben Betreiber und Entwickler die größte Kontrolle über KI-spezifische Sicherheitskonfigurationen. Auf der Anwendungsebene können Sie Sicherheitskontrollen implementieren, die Daten schützen, wohlgeformte Anfragen erstellen und Prompts und Antworten schützen. Diese Steuerelemente sind in der Regel für Inferenz-Workloads nützlich, bei denen Nutzer-Prompts, Sitzungen und Antworten verarbeitet werden. In den folgenden Abschnitten werden verschiedene Kontrollen, Produkte und Dienste beschrieben, die Ihnen helfen können, bestimmte Sicherheitsziele auf der Anwendungsebene zu erreichen.

Schutz vor Bedrohungen auf Inhaltsebene

Prüfen Sie alle Prompts und Antworten auf Sicherheitsprobleme wie Prompt Injection, Offenlegung sensibler Daten und schädliche Inhalte. Da GKE-Knoten so konzipiert sind, dass sie keinen Zugriff auf Inhalte haben, stellen Sie Model Armor zwischen Ihrer Anwendung und dem Inferenzendpunkt bereit. Model Armor unterliegt bestimmten Grundsätzen für die Datenverarbeitung und ‑speicherung, die darauf ausgelegt sind, den Datenschutz Ihrer Daten während des Scannens zu verbessern.

Systemprompts schützen

Filtern Sie die Ausgaben auf Prompt-Lecks und konfigurieren Sie die Erkennung von Model Armor-Datenexfiltration, um Extraktionsmuster zu erkennen. Bei sehr vertraulichen Anweisungen sollten Sie diese in einem Aufruf verarbeiten, der keinen Text an den Nutzer zurückgibt.

Sitzungen und Routing verwalten

Wenn Sie Endnutzern Inferenzendpunkte zur Verfügung stellen, verwenden Sie GKE Inference Gateway. Inference Gateway erweitert die Gateway API, um Traffic basierend auf Messwerten und Daten weiterzuleiten, die für KI-Inferenz-Arbeitslasten spezifisch sind. Sie können Arbeitslasten automatisch skalieren, um den Bedarf zu decken, und sie in Model Armor und Apigee einbinden, um Inhalte zu filtern, die Sichtbarkeit auf Sitzungsebene zu verbessern und Kontingente zu erzwingen.

Sicherheit von KI-Agenten verbessern

Wenn Ihre KI-Arbeitslast ein Agent ist, benötigen Sie zusätzliche Steuerelemente auf Anwendungsebene, z. B.:

  • Zugriff auf Google Cloud APIs einschränken:Verwenden Sie die Workload Identity Federation for GKE mit IAM-Zugriffsrichtlinien, um einzuschränken, auf welche APIs die Pods Ihrer Agent-Arbeitslast zugreifen können. Verwenden Sie für jeden Agent ein dediziertes Kubernetes-ServiceAccount und gewähren Sie diesem Prinzipal nur die IAM-Berechtigungen, die die Arbeitslast benötigt.
  • Codeausführung oder nicht vertrauenswürdige Tools in Sandboxes ausführen: Mit Agent Sandbox können Sie Agents ausführen, die generierten Code ausführen oder mit nicht überprüften Drittanbieter-Tools in Sandbox-Umgebungen interagieren. Agent Sandbox verwendet einen Isolierungsmechanismus wie GKE Sandbox oder Kata Containers, um vor Container-Escapes zu schützen.

Beobachtbarkeit und Reaktion auf Vorfälle konfigurieren

Sammeln Sie Protokolle und überwachen Sie verschiedene Messwerte, um potenzielle Angriffe frühzeitig zu erkennen und die Auswirkungen von Exploits zu begrenzen. In den folgenden Abschnitten finden Sie Richtlinien, die Ihnen helfen können, die Erkennung von Angreifern und die Reaktion darauf zu verbessern.

Logs und Messwerte erfassen

Um Bedrohungen so schnell wie möglich zu erkennen, sollten Sie so viele der folgenden Best Practices für die Beobachtbarkeit wie möglich implementieren:

  • GKE-Logs erfassen.
  • Aktivieren Sie Audit-Logs zum Datenzugriff für sensible Vorgänge wie die Verwendung von KMS-Schlüsseln.
  • Protokollieren Sie keine Inhalte von Prompts oder Vervollständigungen, es sei denn, Ihre Richtlinie erlaubt dies ausdrücklich. Wenn Sie multimodale Prompt- und Antwortdaten erheben (Vorabversion), löschen Sie die gespeicherten Daten oder schränken Sie den Zugriff darauf gemäß Ihren Sicherheitsrichtlinien ein.
  • Erfassen Sie Messwerte, die für Ihre SREs wichtig sind.
  • Konfigurieren Sie die automatische Anwendungsüberwachung für bestimmte Arten von KI-Modellservern.
  • Logs in Cloud Logging oder auf Ihrer eigenen SIEM-Plattform (Security Information and Event Management) zusammenfassen.
  • Mit logbasierten Messwerten können Sie Messwerte auf der Grundlage des Inhalts von Logs erstellen.

KI-spezifische Bedrohungen erkennen

Richten Sie Benachrichtigungen in Logging und Cloud Monitoring ein, um verschiedene KI-spezifische Bedrohungen zu erkennen. Die spezifischen Benachrichtigungsrichtlinien, die Sie einrichten, hängen von den Arten von Logs ab, die Sie erfassen, und von den Anforderungen Ihrer Organisation. Weitere Informationen zu den verfügbaren Benachrichtigungsrichtlinien finden Sie unter Vergleich der Benachrichtigungsoptionen. Konfigurieren Sie Benachrichtigungen für KI-spezifische Bedrohungen wie die folgenden:

KI-spezifische Bedrohungen und Signale
Prompt Injection Model Armor-Logs für die Bereinigung oder Ablehnung von Prompts
Systemprompt-Extraktion Model Armor und Anomalien bei Cache-Treffern
Offenlegung sensibler Daten Model Armor-Antwortlogs
Missbrauch von Inferenzkosten Tokennutzung auf Sitzungsebene aus Inference Gateway-Messwerten
Sitzungsmanipulation Geschwindigkeit neuer Sitzungen pro Mandant aus Inference Gateway-Messwerten
Modell-Fingerprinting Muster für die Funktionsprüfung
Timing-Seitenkanal Architektonische Maßnahmen (Cache-Partitionierung)

Prozess zur Reaktion auf Vorfälle einrichten

Wie Sie auf verschiedene Vorfälle reagieren, hängt von Ihrer Organisationsstruktur und Ihren Sicherheitsanforderungen ab. In den folgenden Richtlinien wird beschrieben, was zu tun ist, wenn Sie bestimmte Arten von Bedrohungen für Ihre KI-Arbeitslasten erkennen:

  • Erkennung von Inhalten in Model Armor: Die Anfrage wird blockiert, das Ereignis wird dokumentiert und Sie werden benachrichtigt, wenn die Rate einen Schwellenwert überschreitet. Ratenbegrenzung für Nutzer mit wiederholten Verstößen einrichten

  • Inferenz-Erkennungen: Drosseln Sie Mandanten mit dem Inference Gateway. Sitzungen bei bestätigtem Missbrauch beenden.

  • Schichtübergreifende Korrelation:Eine Model Armor-Erkennung in Kombination mit einem Token-Missbrauchsmuster deutet auf koordinierten Missbrauch hin. Korrelationsregeln definieren und einen Konfidenzschwellenwert festlegen, ab dem das Risiko eines falsch-positiven Alerts gering ist. Automatisieren Sie das Beenden von Sitzungen, die diesen Grenzwert überschreiten.

Sicherheit im gesamten Bereitstellungslebenszyklus implementieren

Optimieren Sie Ihre KI-Bereitstellungen für Sicherheit über den gesamten Bereitstellungszyklus hinweg. Implementieren Sie in bestimmten Lebenszyklusphasen Kontrollen, die eine oder mehrere Schichten schützen. In den folgenden Abschnitten finden Sie Richtlinien für die einzelnen Phasen des Lebenszyklus.

Infrastruktur bereitstellen

Wenn Sie die Infrastruktur erstellen oder entwerfen, auf der Ihre KI-Arbeitslasten ausgeführt werden, sollten Sie so viele der folgenden Kontrollen wie möglich implementieren:

Kategorie
GKE-Knoten
  • Aktivieren Sie die Workload Identity-Föderation für GKE in allen Produktionsclustern.
  • Confidential GKE Nodes für sensible Inferenzarbeitslasten einrichten
  • Aktivieren Sie Shielded GKE-Knoten für alle Arbeitslasten.
Netzwerk
  • Verwenden Sie VPC-native Cluster.
  • Aktivieren Sie private Knoten.
  • Clustertraffic standardmäßig mit NetworkPolicies ablehnen
  • VPC Service Controls-Perimeter für regulierte Arbeitslasten erstellen
  • Model Armor für Inferenzendpunkte bereitstellen
  • Inference Gateway für Load Balancing und Sitzungsverwaltung konfigurieren
Identitäts- und Zugriffsverwaltung
  • Chrome Enterprise Premium für den administrativen Zugriff durch Menschen verwenden
  • Verwenden Sie IAM-Zugriffsrichtlinien und Kubernetes RBAC zur Autorisierung.
Sensible Daten verwalten
  • Speichern Sie alle Secrets, z. B. API-Schlüssel, in Secret Manager.
  • Container-Images in Artifact Registry speichern und das Scannen auf Sicherheitslücken aktivieren.
Beobachtbarkeit
  • Aktivieren Sie Security Command Center.
  • Einrichten von Logging und Monitoring
  • Prozess zur Reaktion auf Vorfälle einrichten

Arbeitslasten und Infrastruktur betreiben

Wenn Sie Ihre KI-Arbeitslasten bereitstellen und ein Produktionssystem ausführen, sollten Sie so viele der folgenden Kontrollen wie möglich implementieren:

Kategorie
Arbeitslastsicherheit
  • Richtlinien für Container-Images mit der Binärautorisierung erzwingen
  • Modellartefakte bei der Bereitstellung signieren und prüfen.
  • Führen Sie AMS in der CI-Pipeline des Modells aus.
  • Alle strukturierten Ausgaben validieren
  • KI-Agenten, die Code ausführen, in Sandboxes isolieren
Netzwerk
  • Model Armor-Profile abstimmen.
  • Inference Gateway-Einstellungen anpassen
Schutz sensibler Daten Verwenden Sie CMEK, um Daten mit Ihren eigenen Schlüsseln in regulierten Umgebungen zu verschlüsseln.
Beobachtbarkeit
  • Audit-Logging konfigurieren und zusammenfassen.
  • KI-basierte Inventuren für die Lieferkette erstellen

Bereitstellungen im großen Maßstab verwalten

Wenn Ihr Unternehmen wächst, sollten Sie die folgenden Kontrollmechanismen implementieren, um die Sicherheitsverwaltung zu automatisieren:

  • Mit dem Organization Policy Service können Sie Schutzmaßnahmen auf Organisationsebene konfigurieren.
  • Richtlinien zur Zulassungszeit mithilfe von Kubernetes-Zulassungs-Webhooks erzwingen
  • Automatisieren Sie die erste Reaktion auf Erkennungen mit hoher Zuverlässigkeit.
  • Schichtübergreifende SIEM-Korrelation und Verhaltensbaselines pro Mandant einrichten

Zusammenfassung der Best Practices

In der folgenden Tabelle sind die Best Practices zusammengefasst, die in diesem Dokument empfohlen werden:

Thema
Sicherheit auf Infrastrukturebene verbessern GKE-Knoten schützen, Netzwerksteuerungen implementieren, Identität und Zugriff verwalten, Schlüssel und vertrauliche Daten verwalten und die Sicherheit der Lieferkette verbessern.
Sicherheit auf der Modellebene verbessern Die Integrität des Modells verbessern, die Vertraulichkeit des Modells schützen und die Sicherheitseigenschaften des Modells verbessern.
Sicherheit auf Anwendungsebene verbessern Schützen Sie sich vor Bedrohungen auf Inhaltsebene, schützen Sie System-Prompts, verwalten Sie Sitzungen und Routing und verbessern Sie die Sicherheit von KI-Agenten.
Beobachtbarkeit und Reaktion auf Vorfälle konfigurieren Sammeln Sie Logs und Messwerte, erkennen Sie KI-spezifische Bedrohungen und richten Sie einen Prozess zur Reaktion auf Vorfälle ein.
Sicherheit im gesamten Bereitstellungslebenszyklus implementieren Infrastruktur bereitstellen, Arbeitslasten und Infrastruktur betreiben und Bereitstellungen im großen Maßstab verwalten

Nächste Schritte