AI Protection – Übersicht

Mit AI Protection können Sie den Sicherheitsstatus Ihrer KI Arbeitslasten verwalten. Sie erhalten einen Überblick über die KI-Sicherheit in Ihrer Google Cloud Umgebung und können Bedrohungen erkennen und Risiken für Ihren KI-Bestand minimieren. In diesem Dokument finden Sie eine Übersicht über KI-Schutz mit den Vorteilen und einigen wichtigen Konzepten.

AI Protection ist bei Aktivierung von Security Command Center auf Organisations- und Projektebene verfügbar.

Wenn Sie Security Command Center auf Organisationsebene aktivieren, werden auf dem Dashboard AI Security und in den Ansichten AI Security auf den Console-Seiten Daten angezeigt, die aus allen Projekten und Ressourcen in der Organisation aggregiert wurden.

Wenn Sie Security Command Center auf Projektebene aktivieren, werden auf dem Dashboard AI Security und in den Ansichten auf den Console-Seiten Daten angezeigt, die sich auf Ressourcen im ausgewählten Projekt beziehen.

Funktionen von KI-Schutz

Mit KI-Schutz können Sie Bedrohungen und Risiken für Komponenten in Ihren KI-Systemen verwalten. Die verfügbaren Funktionen hängen von Ihrer Dienststufe ab. Dazu gehören:

  • KI-Bestand bewerten: Informationen zu Ihren KI-Systemen und ‑Assets.
  • Sicherheitslücken erkennen (Dienststufen „Premium“ und „Enterprise“ (eingestellt)): Software-Sicherheitslücken (CVEs) und Klartext-Secrets in agentischen Arbeitslasten erkennen, die mit Agent Runtime bereitgestellt wurden.
  • Risiken erkennen (Dienststufen „Premium“ und „Enterprise“ (eingestellt)): Risiken und ihre Auswirkungen auf das Ökosystem anhand von Angriffspfadsimulationen und vordefinierten Regeln für den Sicherheitsgraphen erkennen, wobei Agents und MCP-Server als hochwertige Ressourcen dienen.
  • Agents mit nicht erforderlichen Berechtigungen erkennen: Agents von Agent Runtime erkennen, denen nicht erforderliche Berechtigungen gewährt wurden.
  • Compliance verwalten: Proaktiv prüfen, ob KI-Assets in Ihren Bereitstellungen die relevanten Sicherheitsstandards einhalten. Die Dienststufe „Standard“ umfasst grundlegende Sicherheitsergebnisse mit Security Essentials, während die Dienststufen „Premium“ und „Enterprise“ erweiterte Framework Compliance bieten.
  • Bedrohungen erkennen und verwalten: Potenzielle Bedrohungen für Ihre KI-Systeme und ‑Assets rechtzeitig erkennen und darauf reagieren.

Anwendungsfälle für KI-Schutz

Mit KI-Schutz können Unternehmen ihre Sicherheit verbessern, indem sie Bedrohungen und Risiken im Zusammenhang mit KI-Systemen und sensiblen Daten erkennen und minimieren. Die folgenden Anwendungsfälle sind Beispiele dafür, wie KI-Schutz in verschiedenen Organisationen eingesetzt werden kann:

  • Finanzdienstleister: Finanzdaten von Kunden

    Ein großer Finanzdienstleister verwendet KI-Modelle, die sensible Finanzdaten verarbeiten.

    • Herausforderung:Die Verarbeitung hochsensibler Finanzdaten mit KI-Modellen birgt mehrere Risiken, darunter das Risiko von Datenpannen, Datenexfiltration während des Trainings oder der Inferenz sowie Sicherheitslücken in der zugrunde liegenden KI-Infrastruktur.
    • Anwendungsfall:KI-Schutz überwacht KI-Workflows kontinuierlich auf verdächtige Aktivitäten, erkennt unbefugten Datenzugriff und anomales Modellverhalten, klassifiziert sensible Daten und trägt dazu bei, die Einhaltung von Vorschriften wie PCI DSS und DSGVO zu verbessern.

  • Gesundheitsdienstleister: Datenschutz und Compliance

    Ein großer Gesundheitsdienstleister verwaltet elektronische Gesundheitsdaten und verwendet KI für die Diagnose und Behandlungsplanung, wobei er mit geschützten Gesundheitsdaten (Protected Health Information, PHI) umgeht.

    • Herausforderung:Geschützte Gesundheitsdaten, die von KI-Modellen analysiert werden, unterliegen strengen Vorschriften wie HIPAA. Zu den Risiken gehören die versehentliche Offenlegung von geschützten Gesundheitsdaten durch Fehlkonfigurationen oder böswillige Angriffe auf KI-Systeme, die auf Patientendaten abzielen.
    • Anwendungsfall:KI-Schutz erkennt potenzielle HIPAA-Verstöße und gibt entsprechende Warnungen aus, erkennt unbefugten Zugriff auf PHI durch Modelle oder Nutzer, kennzeichnet anfällige und potenziell falsch konfigurierte KI-Dienste und überwacht auf Datenlecks.

  • Fertigungs- und Robotikunternehmen: proprietäres geistiges Eigentum

    Ein Fertigungsunternehmen, das sich auf fortschrittliche Robotik und Automatisierung spezialisiert hat, setzt stark auf KI, um Produktionslinien und die Robotersteuerung zu optimieren. Wichtiges geistiges Eigentum ist in den KI-Algorithmen und Fertigungsdaten enthalten.

    • Herausforderung:Proprietäre KI-Algorithmen und sensible Betriebsdaten sind anfällig für Diebstahl durch Insiderbedrohungen oder externe Angreifer, was zu Wettbewerbsnachteilen oder Betriebsunterbrechungen führen kann.
    • Anwendungsfall:KI-Schutz überwacht auf unbefugten Zugriff auf KI-Modelle und Code-Repositories, erkennt Versuche, trainierte Modelle zu exfiltrieren, und ungewöhnliche Datenzugriffsmuster und kennzeichnet Sicherheitslücken in KI-Entwicklungsumgebungen, um den Diebstahl von geistigem Eigentum zu verhindern.

Erkennungsdienste in KI-Schutz

Im folgenden Abschnitt werden Regeln und Erkennungsdienste beschrieben, die Ergebnisse erstellen, wenn Sie KI-Schutz aktivieren. Sowohl die Dienststufe von Security Command Center als auch der Aktivierungsbereich (Organisations- oder Projektebene) bestimmen, welche Erkennungsdienste von Security Command Center unterstützt werden und welche Ergebnisse erstellt werden. Einige Erkennungsdienste werden von Security Command Center automatisch aktiviert, andere müssen Sie manuell konfigurieren. Weitere Informationen finden Sie unter KI-Schutz konfigurieren.

AI Discovery-Dienst

Dies ist ein integrierter Dienst, der Cloud Monitoring-Daten verwendet, um KI-Modelle zu erkennen und zu ermitteln, ob Model Armor Modelle schützt. Auf der Dienststufe „Standard“ unterstützt AI Discovery die Erkennung von Gemini-Modellen nicht.

Informationen zu den Ergebnissen, die von diesem Dienst erstellt werden, finden Sie unter Ergebnisse des AI Discovery-Dienstes.

Compliance-Manager-Frameworks

KI-Schutz verwendet Compliance-Manager-Frameworks die von Security Command Center automatisch im Erkennungsmodusbereitgestellt werden.

Integrierte Compliance-Manager-Frameworks

KI-Schutz umfasst die folgenden Frameworks. Wenn Sie KI-Schutz aktivieren, werden diese Frameworks von Security Command Center automatisch in Ihrer Organisation oder Ihrem Projekt aktiviert.

Je nach Dienststufe können Sie zusätzliche Compliance Manager Frameworks und Cloud-Kontrollen konfigurieren. Weitere Informationen zum Compliance-Manager finden Sie unter Compliance-Manager.

Benutzerdefinierte Compliance-Manager-Frameworks

Sie können benutzerdefinierte Frameworks erstellen, indem Sie Kopien der integrierten Frameworks erstellen, die für Ihre Dienststufe verfügbar sind.

  • Anpassung:Sie können Cloud-Kontrollen in Ihren benutzerdefinierten Frameworks hinzufügen oder entfernen, um sie an Ihre Sicherheitsrichtlinien anzupassen.
  • Gezielte Anwendung:Sie können benutzerdefinierte Frameworks auf bestimmte Organisationen, Ordner oder Projekte anwenden. Sie können beispielsweise bestimmte Kontrollen für bestimmte Gerichtsbarkeiten auf bestimmte Ordner anwenden, um sicherzustellen, dass Daten in einer bestimmten geografischen Region verbleiben.
  • Einschränkung:Sie können KI-Schutz-Frameworks nicht Anwendungen zuweisen.

Event Threat Detection-Regeln für Gemini Enterprise Agent Platform-Assets

Event Threat Detection erkennt mehrere potenzielle Bedrohungen im Zusammenhang mit Gemini Enterprise Agent Platform-Assets, z. B. anomale Dienstkontoaktivitäten, Änderungen an vertraulichen Berechtigungen und Missbrauch von agentischen Identitäten.

Zu den Ergebniskategorien, die auf KI-Assets angewendet werden, gehören:

  • Persistenz: Neue KI-API-Methode
  • Persistenz: Neue Region für KI-Dienst
  • Rechteausweitung: Anomale Identitätsübernahme des Dienstkontos bei KI-Administratoraktivität
  • Rechteausweitung: Anomale Identitätsübernahme des Dienstkontos bei KI-Datenzugriff
  • Rechteausweitung: Anomale mehrstufige Dienstkontodelegierung bei KI-Administratoraktivität
  • Rechteausweitung: Anomale mehrstufige Dienstkontodelegierung bei KI-Datenzugriff
  • Rechteausweitung: Anomale Identitätsübernahme des Dienstkontos bei KI-Administratoraktivität
  • Anfänglicher Zugriff: Keine Dienstkontoaktivität im KI-Dienst
  • Persistenz: Anomale IAM-Gewährung für agentische Identität
  • Diebstahl von Anmeldedaten: Anmeldedaten der agentischen Identität außerhalb von verwendet Google Cloud
  • Persistenz: Sensible KI-Berechtigung zu benutzerdefinierter Rolle hinzugefügt
  • Persistenz: Vom KI-Agenten gewährte sensible Rolle
  • Persistenz: Sensible Rolle für externen KI-Agenten gewährt
  • Verteidigungsausgang: Rolle „TokenCreator“ auf Projektebene für KI-Agenten gewährt
  • Verteidigungsausgang: Rolle „TokenCreator“ auf Ordnerebene für KI-Agenten gewährt
  • Verteidigungsausgang: Rolle „TokenCreator“ auf Organisationsebene für KI-Agenten gewährt

Eine vollständige Liste der Event Threat Detection-Ergebnisse, die auf KI-Assets angewendet werden, finden Sie unter Übersicht über Event Threat Detection.

Agent Platform-Bedrohungserkennung für Agent Runtime

Die Agent Platform-Bedrohungserkennung (Vorschau) bietet eine Bedrohungserkennung zur Laufzeit für Agents, die in Agent Runtime bereitgestellt werden. Sie überwacht laufende Agents auf potenzielle Angriffe und generiert Ergebnisse in Security Command Center.

Die Agent Platform-Bedrohungserkennung generiert Ergebnisse für Agent Runtime, einschließlich der folgenden Kategorien:

  • Befehl und Steuerung: Steganographie-Tool erkannt
  • Diebstahl von Anmeldedaten: Find Google Cloud Credentials
  • Diebstahl von Anmeldedaten: Ausspähung von GPG-Schlüsseln
  • Diebstahl von Anmeldedaten: Suche nach privaten Schlüsseln oder Passwörtern
  • Verteidigungsausgang: Befehlszeile für Base64 ELF-Datei
  • Verteidigungsausgang: Base64-codiertes Python-Script ausgeführt
  • Verteidigungsausgang: Base64-codiertes Shell-Script ausgeführt
  • Verteidigungsausgang: Compiler-Tool für Code im Container gestartet
  • Ausführung: Netcat-Remote-Codeausführung im Container
  • Ausführung: Mögliche Ausführung beliebiger Befehle über CUPS (CVE-2024-47177)
  • Ausführung: Mögliche Remote-Befehlsausführung erkannt
  • Ausführung: Programm mit nicht zulässiger HTTP-Proxy-Umgebung ausgeführt
  • Ausführung: Socat-Reverse-Shell erkannt
  • Ausführung: Verdächtiges freigegebenes OpenSSL-Objekt geladen
  • Exfiltration: Remote-Tools zum Kopieren von Dateien im Container gestartet
  • Auswirkungen: Erkennung schädlicher Cmdline-Dateien
  • Auswirkungen: Bulk-Entfernung von Daten von Laufwerk
  • Auswirkungen: Verdächtige Cryptomining-Aktivität mit Stratum-Protokoll
  • Rechteausweitung: Missbrauch von Sudo zur Rechteausweitung (CVE-2019-14287)
  • Rechteausweitung: Sicherheitslücke bei der lokalen Rechteausweitung in Polkit (CVE-2021-4034)
  • Rechteausweitung: Mögliche Rechteausweitung durch Sudo (CVE-2021-3156)
  • Ausführung: Schädlicher Python-Code ausgeführt
  • Ausführung: Container-Escape
  • Ausführung: Ausführung eines Kubernetes-Angriffstools
  • Ausführung: Ausführung eines lokalen Ausspähtools
  • Auswirkungen: Schädliches Script ausgeführt
  • Auswirkungen: Schädliche URL beobachtet
  • Ausführung: Unerwartete untergeordnete Shell

Weitere Informationen zur Agent Platform-Bedrohungserkennung

Agent Platform-Sicherheitslückenbewertung

Die Agent Platform-Sicherheitslückenbewertung (Vorschau) erkennt Sicherheitslücken und Klartext-Secrets wie Anmeldedaten, Schlüssel, Zugriffstokens oder Zertifikate in Container-Images der Gemini Enterprise Agent Platform.

Weitere Informationen finden Sie unter Agent Platform-Sicherheitslückenbewertung in "Erkennungsdienste".

Notebook Security Scanner

Der Notebook Security Scanner (Vorschau) scannt Colab Enterprise-Notebooks auf Sicherheitslücken in Python-Paketen.

Weitere Informationen finden Sie unter Notebook Security Scanner in "Erkennungsdienste".

Schutz sensibler Daten

Der Sensitive Data Protection Discovery-Dienst ist ein vollständig verwalteter Google CloudDienst, mit dem Sie sensible Daten erkennen, klassifizieren und schützen können. Mit Sensitive Data Protection können Sie feststellen, ob Sie sensible oder personenidentifizierbare Informationen (PII) speichern.

Weitere Informationen finden Sie unter Ergebnisse von Sensitive Data Protection in "Erkennungsdienste".

Model Armor

Nachdem Sie Model Armor aktiviert und Model Armor für die Integration in eine oder mehrere KI-bezogene Komponenten konfiguriert haben, können Sie Model Armor-Ergebnisse in Security Command Center untersuchen.

Auf der Dienststufe „Security Command Center Standard“ unterstützt KI-Schutz nicht Gemini-Modelle.

Informationen zum Konfigurieren von Model Armor finden Sie unter Vorlagen erstellen und verwalten.

Risk Engine

Risk Engine ist eine Funktion in Security Command Center, mit der das Angriffsrisiko Ihrer Cloud-Bereitstellungen bewertet wird. Außerdem werden Angriffsbewertungen für Sicherheitslückenergebnisse und Ihre hochwertigen Ressourcen zugewiesen und Pfade dargestellt, die ein potenzieller Angreifer nutzen könnte, um Ihre hochwertigen Ressourcen zu erreichen.

Weitere Informationen finden Sie unter Risk Engine in "Erkennungsdienste".

Unterstützte Ressourcen in KI-Schutz

KI-Schutz erkennt Assets mit den folgenden Mechanismen:

  • Deklarative KI-Assets: Assets, die von Tools zur Lebenszyklusverwaltung von KI (z. B. Gemini Enterprise Agent Platform) verfolgt werden.
  • Abgeleitete KI-Assets: Assets für allgemeine Zwecke (z. B. Compute- und Speicher-Assets), die KI-Daten oder ‑Arbeitslasten verarbeiten.
  • Model-as-a-Service (nur API): Assets, die programmatische Aufrufe an KI-Modelle von Google oder Drittanbietern ausführen.

In diesem Abschnitt werden der unterstützte KI-Bestand und die Assets definiert, die mit KI-Schutz geschützt werden können.

  • Gemini Enterprise- und Agent Search-Apps: Das sind KI-Systeme, die ihre Umgebung wahrnehmen, Entscheidungen treffen und Maßnahmen ergreifen können, um bestimmte Ziele zu erreichen.
  • Endpunkte: Die Arbeitslasten von KI-Anwendungen reichen von internen Tools zur Verbesserung der Mitarbeiterproduktivität bis hin zu für Nutzer konzipierten Lösungen zur Verbesserung der Nutzererfahrung und zur Steigerung des Umsatzes. Beispiele sind KI-Agents, virtuelle Assistenten, konversationelle KI-Chatbots und personalisierte Empfehlungen. KI-Schutz identifiziert diese als Agent Platform-Endpunkte auf dem Tab KI-Ressourcen auf der Seite Assets.
  • Datenquellen: Zu den unterstützten Datenquellen gehören BigQuery-Tabellen, Cloud Storage, Agent Platform-Datasets und Gemini Enterprise-Datenspeicher.
  • Modelle: KI-Schutz identifiziert KI-Modelle als Foundation Models, optimierte KI-Modelle, Standard-KI-Modelle von Google und benutzerdefinierte KI-Modelle. Beispiele:
    • Gemini (verfügbar für die Dienststufen „Premium“ und „Enterprise“ (eingestellt))
    • Llama
    • Übersetzungsmodelle
    • Benutzerdefinierte Modelle für bestimmte Aufgaben
  • KI-Assets: KI-Assets tragen zu Pipelines für maschinelles Lernen bei und werden von KI-Arbeitslasten verwendet. Zu den Arten von KI-Assets gehören:
  • MCP-Server (Model Context Protocol): KI-Schutz erkennt MCP-Server, die in der Agent Registry katalogisiert sind. Wenn Sie diese Funktion verwenden möchten, müssen Sie die App Hub API konfigurieren in jedem Projekt, das einen MCP-Server hostet.

Auswirkungen von Änderungen an der Dienststufe

Wenn Sie die Dienststufe von „Premium“ oder „Enterprise“ auf „Standard“ herabstufen, wirkt sich das wie folgt auf Ihre KI-Schutz-Funktionen aus:

  • Erkennungsdienste: Security Command Center deaktiviert Erkennungsdienste und Compliance-Manager-Frameworks, die von der Dienststufe „Standard“ nicht unterstützt werden. Weitere Informationen finden Sie unter Dienststufen im Compliance-Manager verwalten.
  • Untersuchungsfunktionen: Sie verlieren den Zugriff auf erweiterte Untersuchungsfunktionen, wie Angriffspfadsimulationen für KI-Assets, Sicherheitslückenbewertung für Agents, und Erkennung von Agents mit nicht erforderlichen Berechtigungen.
  • Ergebnisse werden inaktiv:Ergebnisse, die von Compliance-Manager-Frameworks erstellt wurden, die auf der Dienststufe „Standard“ nicht unterstützt werden, werden inaktiv. Weitere Informationen finden Sie unter Dienststufen im Compliance-Manager verwalten.

Wenn Sie wieder auf die Dienststufe „Premium“ oder „Enterprise“ upgraden, stellt Security Command Center die erweiterten Funktionen wieder her, stellt aber keine Framework-Bereitstellungen automatisch wieder her, die während des Downgrades entfernt wurden. Sie müssen die Frameworks manuell neu bereitstellen.

Nächste Schritte