AI Protection – Übersicht

Mit AI Protection können Sie den Sicherheitsstatus Ihrer KI-Arbeitslasten in Ihrer Google Cloud -Umgebung verwalten. Sie können damit Einblick in Ihr KI-Inventar erhalten, Bedrohungen erkennen und Risiken für Ihre KI-Systeme minimieren.

AI Protection ist bei Aktivierungen von Security Command Center auf Organisations- und Projektebene verfügbar. Je nach Aktivierungsbereich werden im Dashboard AI Security in der Google Cloud Console aggregierte Daten für alle Projekte und Ressourcen oder Daten für das ausgewählte Projekt angezeigt.

Funktionen des KI-Schutzes

Der KI-Schutz hilft Ihnen, Bedrohungen und Risiken für Komponenten in Ihren KI-Systemen zu verwalten. Ihre Dienststufe bestimmt die verfügbaren Funktionen, darunter:

  • KI-Asset-Inventar bewerten: KI-Systeme und -Assets verstehen.
  • Sicherheitslücken identifizieren (Premium- und Enterprise-Dienststufen (eingestellt)): Identifizieren Sie Softwaresicherheitslücken (CVEs) und Klartext-Secrets in agentischen Arbeitslasten, die mit Agent Runtime bereitgestellt wurden.
  • Risiken identifizieren (Premium- und Enterprise-Dienststufen (eingestellt)): Identifizieren Sie Risiken und ihre Auswirkungen auf das Ökosystem basierend auf der Angriffspfadsimulation und vordefinierten Sicherheitsgraphregeln, wobei Agenten und MCP-Server als hochwertige Ressourcen dienen.
  • Agenten mit zu vielen Berechtigungen erkennen: Erkennen Sie Agent Runtime-Agenten, denen zu viele Berechtigungen gewährt wurden.
  • Compliance verwalten: Prüfen Sie proaktiv, ob die KI-Assets in Ihren Bereitstellungen den relevanten Sicherheitsstandards entsprechen. Die Standard-Dienststufe umfasst grundlegende Sicherheitsergebnisse mit Security Essentials, während die Premium- und Enterprise-Dienststufen erweiterte Framework-Compliance bieten.
  • Bedrohungen erkennen und verwalten: Erkennen Sie potenzielle Bedrohungen für Ihre KI-Systeme und ‑Assets und reagieren Sie rechtzeitig darauf.

Anwendungsfälle für AI Protection

AI Protection hilft Organisationen, ihre Sicherheit zu verbessern, indem Bedrohungen und Risiken im Zusammenhang mit KI-Systemen und sensiblen Daten erkannt und minimiert werden. Die folgenden Anwendungsfälle sind Beispiele dafür, wie AI Protection in verschiedenen Organisationen eingesetzt werden kann:

  • Finanzdienstleister: Finanzdaten von Kunden

    Ein großes Finanzdienstleistungsunternehmen verwendet KI-Modelle, die sensible Finanzdaten verarbeiten.

    • Herausforderung: Die Verarbeitung hochsensibler Finanzdaten mit KI-Modellen birgt mehrere Risiken, darunter das Risiko von Datenpannen, Datenexfiltration während des Trainings oder der Inferenz sowie Schwachstellen in der zugrunde liegenden KI-Infrastruktur.
    • Anwendungsfall: AI Protection überwacht KI-Workflows kontinuierlich auf verdächtige Aktivitäten, erkennt unbefugten Datenzugriff und ungewöhnliches Modellverhalten, klassifiziert sensible Daten und hilft Ihnen, die Compliance mit Vorschriften wie PCI DSS und DSGVO zu verbessern.

  • Gesundheitsdienstleister: Datenschutz und Compliance

    Ein großer Gesundheitsdienstleister verwaltet elektronische Gesundheitsdaten und verwendet KI für die Diagnose und Behandlungsplanung. Dabei werden geschützte Gesundheitsdaten (Protected Health Information, PHI) verarbeitet.

    • Herausforderung: PHI, die von KI-Modellen analysiert werden, unterliegen strengen Vorschriften wie HIPAA. Zu den Risiken gehören die versehentliche Offenlegung von PHI durch Fehlkonfigurationen oder böswillige Angriffe auf KI-Systeme, die auf Patientendaten abzielen.
    • Anwendungsfall: AI Protection erkennt potenzielle HIPAA-Verstöße und gibt entsprechende Warnungen aus, erkennt unbefugten Zugriff auf PHI durch Modelle oder Nutzer, kennzeichnet anfällige und potenziell falsch konfigurierte KI-Dienste und überwacht Datenlecks.

  • Fertigungs- und Robotikunternehmen: proprietäres geistiges Eigentum

    Ein Fertigungsunternehmen, das sich auf fortschrittliche Robotik und Automatisierung spezialisiert hat, ist stark auf KI angewiesen, um Produktionslinien und die Robotersteuerung zu optimieren. Wichtiges geistiges Eigentum ist in die KI-Algorithmen und Fertigungsdaten eingebettet.

    • Herausforderung: Proprietäre KI-Algorithmen und sensible Betriebsdaten sind durch Insiderbedrohungen oder externe Angreifer gefährdet, was zu Wettbewerbsnachteilen oder Betriebsunterbrechungen führen kann.
    • Anwendungsfall: AI Protection überwacht den unbefugten Zugriff auf KI-Modelle und Code-Repositories, erkennt Versuche, trainierte Modelle zu exfiltrieren, und ungewöhnliche Datenzugriffsmuster und meldet Sicherheitslücken in KI-Entwicklungsumgebungen, um den Diebstahl von geistigem Eigentum zu verhindern.

Erkennungsdienste in AI Protection

Im folgenden Abschnitt werden Regeln und Erkennungsdienste beschrieben, die Ergebnisse erstellen, wenn Sie AI Protection aktivieren. Sowohl die Dienststufe als auch der Aktivierungsbereich (Organisationsebene oder Projektebene) von Security Command Center bestimmen, welche Erkennungsdienste von Security Command Center unterstützt werden und welche Ergebnisse erstellt werden. Im Security Command Center werden einige Erkennungsdienste automatisch aktiviert, andere müssen Sie manuell konfigurieren. Weitere Informationen finden Sie unter KI-Schutz konfigurieren.

AI Discovery-Dienst

Dies ist ein integrierter Dienst, der Cloud Monitoring-Daten verwendet, um KI-Modelle zu erkennen und festzustellen, ob Model Armor Modelle schützt. In der Standard-Dienststufe unterstützt AI Discovery nicht die Erkennung von Gemini-Modellen.

Informationen zu den Ergebnissen, die dieser Dienst erstellt, finden Sie unter Ergebnisse des AI Discovery-Dienstes.

Compliance-Manager-Frameworks

AI Protection verwendet Compliance Manager-Frameworks, die Security Command Center automatisch im Erkennungsmodus bereitstellt.

Integrierte Frameworks im Compliance-Manager

AI Protection umfasst die folgenden Frameworks. Wenn Sie AI Protection aktivieren, aktiviert das Security Command Center diese Frameworks automatisch in Ihrer Organisation oder Ihrem Projekt.

Je nach Dienststufe können Sie zusätzliche Frameworks und Cloud-Steuerelemente für den Compliance Manager konfigurieren. Weitere Informationen zum Compliance-Manager finden Sie unter Compliance-Manager.

Benutzerdefinierte Frameworks im Compliance-Manager

Sie können benutzerdefinierte Frameworks erstellen, indem Sie Kopien der integrierten Frameworks erstellen, die in Ihrer Dienststufe verfügbar sind.

  • Anpassung: Sie können Cloud-Steuerelemente in Ihren benutzerdefinierten Frameworks hinzufügen oder entfernen, um sie an Ihre Sicherheitsrichtlinien anzupassen.
  • Gezielte Anwendung: Sie können benutzerdefinierte Frameworks auf bestimmte Organisationen, Ordner oder Projekte anwenden. Sie können beispielsweise bestimmte rechtliche Kontrollen auf bestimmte Ordner anwenden, um dafür zu sorgen, dass Daten in einer bestimmten geografischen Region verbleiben.
  • Einschränkung: Sie können Anwendungen keine AI Protection-Frameworks zuweisen.

Event Threat Detection-Regeln für Gemini Enterprise Agent Platform-Assets

Event Threat Detection erkennt mehrere potenzielle Bedrohungen im Zusammenhang mit Assets der Gemini Enterprise Agent Platform, z. B. anomale Dienstkontoaktivitäten, Änderungen an vertraulichen Berechtigungen und Missbrauch von Agentenidentitäten.

Zu den Kategorien, die für KI-Assets gelten, gehören:

  • Persistenz: Neue KI-API-Methode
  • Persistenz: Neue geografische Region für KI-Dienst
  • Rechteausweitung: Anomale Identitätsübernahme des Dienstkontos bei KI-Administratoraktivität
  • Rechteausweitung: Anomale Identitätsübernahme des Dienstkontos bei KI-Datenzugriff
  • Rechteausweitung: Anomale mehrstufige Dienstkontodelegierung bei KI-Administratoraktivität
  • Rechteausweitung: Anomale mehrstufige Dienstkontodelegierung bei KI-Datenzugriff
  • Rechteausweitung: Anomale Identitätsübernahme des Dienstkontos bei KI-Administratoraktivität
  • Anfänglicher Zugriff: Keine Dienstkontoaktivität im KI-Dienst
  • Persistenz: IAM Anomalous Grant to Agentic Identity
  • Zugriff auf Anmeldedaten: Agentische Identitätsanmeldedaten außerhalb von Google Cloudverwendet
  • Persistenz: Sensible KI-Berechtigung zu benutzerdefinierter Rolle hinzugefügt
  • Persistenz: Vom KI-Agenten gewährte sensible Rolle
  • Persistenz: Sensible Rolle für externen KI-Agenten gewährt
  • Persistenz: Externer Zugriff auf Gemini Discovery Engine API-Anwendungen gewährt
  • Auswirkungen: Gemini Discovery Engine API-Dokumentimport durch externe Nutzer
  • Auswirkungen: Gemini Discovery Engine API-Dokumentimport aus externer Ressource
  • Auswirkungen: Gemini Discovery Engine API-Dokumentenimport: VPC-Perimeterverstoß
  • Defense Evasion: Rolle „TokenCreator“ auf Projektebene für KI-Agenten gewährt
  • Umgehung von Abwehrmaßnahmen: Rolle „TokenCreator“ auf Ordnerebene für KI-Agenten gewährt
  • Umgehung von Abwehrmaßnahmen: Rolle „TokenCreator“ auf Organisationsebene für KI-Agenten gewährt

Eine vollständige Liste der Event Threat Detection-Ergebnisse, die für KI-Assets gelten, finden Sie unter Event Threat Detection – Übersicht.

Agent Platform-Bedrohungserkennung für Agent Runtime

Die Agent Platform-Bedrohungserkennung (Vorabversion) bietet eine Laufzeitbedrohungserkennung für KI-Agenten, die in der Agent Runtime bereitgestellt werden. Es überwacht laufende Agents auf potenzielle Angriffe und generiert Ergebnisse im Security Command Center.

Die Bedrohungserkennung für Agent Platform generiert Ergebnisse für Agent Runtime, einschließlich der folgenden Kategorien:

  • Command and Control: Steganographie-Tool erkannt
  • Zugriff auf Anmeldedaten: Google Cloud -Anmeldedaten finden
  • Zugriff auf Anmeldedaten: Ausspähung von GPG-Schlüsseln
  • Anmeldedatenzugriff: Suche nach privaten Schlüsseln oder Passwörtern
  • Umgehung von Sicherheitsvorkehrungen: Befehlszeile für Base64 ELF-Datei
  • Defense Evasion: Base64-codiertes Python-Script ausgeführt
  • Defense Evasion: Base64 Encoded Shell Script Executed
  • Defense Evasion: Compiler-Tool für Code im Container gestartet
  • Ausführung: Netcat-Remote-Codeausführung im Container
  • Ausführung: Mögliche Ausführung beliebiger Befehle über CUPS (CVE-2024-47177)
  • Ausführung: Mögliche Remote-Befehlsausführung erkannt
  • Ausführung: Program Run with Disallowed HTTP Proxy Env
  • Ausführung: Socat-Reverse-Shell erkannt
  • Ausführung: Verdächtiges freigegebenes OpenSSL-Objekt geladen
  • Exfiltration: Remote-Tools zum Kopieren von Dateien im Container gestartet
  • Auswirkung: Erkennung schädlicher Cmdline-Dateien
  • Auswirkung: Bulk-Entfernung von Daten von Laufwerk
  • Auswirkung: Verdächtige Cryptomining-Aktivität mit Stratum-Protokoll
  • Rechteausweitung: Missbrauch von Sudo zur Rechteausweitung (CVE-2019-14287)
  • Rechteausweitung: Sicherheitslücke bei der lokalen Rechteausweitung in Polkit (CVE-2021-4034)
  • Rechteausweitung: Mögliche Rechteausweitung durch Sudo (CVE-2021-3156)
  • Ausführung: Schädlicher Python-Code ausgeführt
  • Ausführung: Container-Escape
  • Execution: Kubernetes Attack Tool Execution
  • Ausführung: Ausführung eines lokalen Ausspähtools
  • Auswirkung: Schädliches Script ausgeführt
  • Auswirkung: Schädliche URL beobachtet
  • Ausführung: unerwartete untergeordnete Shell

Weitere Informationen zur Bedrohungserkennung für die Agent Platform

Agent Platform-Sicherheitslückenbewertung

Die Agent Platform-Sicherheitslückenbewertung (Vorabversion) identifiziert Sicherheitslücken und Klartext-Secrets wie Anmeldedaten, Schlüssel, Zugriffstokens oder Zertifikate in Container-Images der Gemini Enterprise Agent Platform.

Weitere Informationen finden Sie unter Sicherheitslückenbewertung für die Agent-Plattform im Abschnitt „Erkennungsdienste“.

Notebook Security Scanner

Der Notebook Security Scanner (Vorabversion) scannt Colab Enterprise-Notebooks, um Sicherheitslücken in Python-Paketen zu erkennen.

Weitere Informationen finden Sie unter Notebook Security Scanner im Abschnitt „Erkennungsdienste“.

Sensitive Data Protection

Der Sensitive Data Protection-Erkennungsdienst ist ein vollständig verwalteter Dienst von Google Cloud, mit dem Sie sensible Daten erkennen, klassifizieren und schützen können. Mit Sensitive Data Protection können Sie feststellen, ob Sie vertrauliche oder personenidentifizierbare Informationen speichern.

Weitere Informationen finden Sie unter Sensitive Data Protection-Ergebnisse in „Erkennungsdienste“.

Model Armor

Nachdem Sie Model Armor aktiviert und Model Armor für die Einbindung in eine oder mehrere KI-bezogene Komponenten konfiguriert haben, können Sie Model Armor-Ergebnisse im Security Command Center untersuchen.

In der Standard-Dienststufe von Security Command Center unterstützt AI Protection keine Gemini-Modelle.

Informationen zum Konfigurieren von Model Armor finden Sie unter Vorlagen erstellen und verwalten.

Risk Engine

Die Risk Engine ist ein Feature im Security Command Center, das die Risikoexposition Ihrer Cloud-Bereitstellungen bewertet, Angriffsrisikobewertungen für Sicherheitslücken und Ihre hochwertigen Ressourcen zuweist und Pfade darstellt, die ein potenzieller Angreifer nutzen könnte, um auf Ihre hochwertigen Ressourcen zuzugreifen.

Weitere Informationen finden Sie unter Risk Engine in „Erkennungsdienste“.

Unterstützte Ressourcen in AI Protection

AI Protection erkennt Assets mithilfe der folgenden Mechanismen:

  • Deklarative KI-Assets: Assets, die von Tools zur Verwaltung des KI-Lebenszyklus (z. B. Gemini Enterprise Agent Platform) verfolgt werden.
  • Abgeleitete KI-Assets: Assets für allgemeine Zwecke (z. B. Computing- und Speicher-Assets), die KI-Daten oder ‑Arbeitslasten verarbeiten.
  • Model-as-a-Service (nur API): Assets, die programmatische Aufrufe an Erstanbieter- oder Drittanbieter-KI-Modelle senden.

In diesem Abschnitt werden die unterstützten KI-Inventare und ‑Assets definiert, die mit AI Protection geschützt werden können.

  • Gemini Enterprise- und Agent Search-Anwendungen: Das sind KI-Systeme, die ihre Umgebung wahrnehmen, Entscheidungen treffen und Maßnahmen ergreifen können, um bestimmte Ziele zu erreichen.
  • Endpunkte: KI-Anwendungsarbeitslasten reichen von internen Tools zur Verbesserung der Mitarbeiterproduktivität bis hin zu für Nutzer konzipierten Lösungen, die die Nutzererfahrung verbessern und das Geschäft ankurbeln sollen. Beispiele hierfür sind KI-Agenten, virtuelle Assistenten, konversationelle KI-Chatbots und personalisierte Empfehlungen. AI Protection identifiziert diese als Agent Platform-Endpunkte auf dem Tab KI-Ressourcen auf der Seite „Assets“.
  • Datenquellen: Zu den unterstützten Datenquellen gehören BigQuery-Tabellen, Cloud Storage, Agent Platform-Datasets und Gemini Enterprise-Datenspeicher.
  • Modelle: AI Protection identifiziert KI-Modelle als Foundation Models, optimierte KI-Modelle, Standard-KI-Modelle von Erstanbietern und benutzerdefinierte KI-Modelle. Beispiele:
    • Gemini (verfügbar in den Dienststufen „Premium“ und „Enterprise (eingestellt)“)
    • Llama
    • Übersetzungsmodelle
    • Benutzerdefinierte Modelle für bestimmte Aufgaben
  • KI-Assets: KI-Assets tragen zu Machine-Learning-Betriebspipelines bei und werden von KI-Arbeitslasten verwendet. Zu den Arten von KI-Assets gehören:
  • MCP-Server (Model Context Protocol): AI Protection identifiziert MCP-Server, die in der Agent Registry katalogisiert sind. Wenn Sie diese Funktion verwenden möchten, müssen Sie die App Hub API in jedem Projekt konfigurieren, das einen MCP-Server hostet.

Auswirkungen von Änderungen der Dienstleistungsvariante

Wenn Sie ein Downgrade der Dienststufe von Premium oder Enterprise auf Standard durchführen, wirkt sich das Downgrade folgendermaßen auf Ihre AI Protection-Funktionen aus:

  • Erkennungsdienste: Security Command Center deaktiviert Erkennungsdienste und Compliance Manager-Frameworks, die von der Standard-Stufe nicht unterstützt werden. Weitere Informationen finden Sie unter Dienststufen im Compliance Manager verwalten.
  • Prüffunktionen: Sie verlieren den Zugriff auf erweiterte Prüffunktionen wie Simulationen von Angriffspfaden für KI-Assets, die Bewertung von Sicherheitslücken bei Agenten und die Erkennung von Agenten mit zu vielen Berechtigungen.
  • Ergebnisse werden inaktiv: Ergebnisse, die von Compliance Manager-Frameworks erstellt wurden, die in der Standard-Stufe nicht unterstützt werden, werden inaktiv. Weitere Informationen finden Sie unter Dienststufen im Compliance Manager verwalten.

Wenn Sie wieder auf die Premium- oder Enterprise-Stufe upgraden, stellt Security Command Center die erweiterten Funktionen wieder her. Framework-Bereitstellungen, die während des Downgrades entfernt wurden, werden jedoch nicht automatisch wiederhergestellt. Sie müssen die Frameworks manuell neu bereitstellen.

Nächste Schritte