Mit dem KI-Schutz können Sie den Sicherheitsstatus Ihrer KI-Arbeitslasten verwalten, indem Sie Bedrohungen erkennen und Risiken für Ihr KI-Asset-Inventar minimieren. Dieses Dokument bietet einen allgemeinen Überblick über den KI-Schutz, einschließlich seiner Vorteile und einiger wichtiger Konzepte. Der KI-Schutz ist bei Aktivierung von Security Command Center auf Organisations- und Projektebene verfügbar.
Bei den Dienststufen „Premium“ und „Enterprise“ (eingestellt) bietet der KI-Schutz einen Überblick über die KI-Sicherheit in Ihrer Google Cloud Umgebung.
Wenn Security Command Center auf Organisationsebene aktiviert ist, werden auf dem KI-Schutz-Dashboard in der Google Cloud Console ein einheitlicher Satz von Widgets und Funktionen mit Daten angezeigt, die aus allen Projekten und Ressourcen innerhalb der Organisation zusammengefasst wurden.
Wenn Security Command Center auf Projektebene aktiviert ist, werden auf dem KI-Schutz-Dashboard nur Daten für dieses Projekt angezeigt.
Funktionen des KI-Schutzes
Der KI-Schutz unterstützt Sie auf folgende Weise bei der Verwaltung von Bedrohungen und Risiken für Ihre KI-Systeme:
- Inventar Ihrer KI-Assets bewerten: Mit dem KI-Sicherheits-Dashboard und dem Tab „KI-Ressourcen“ können Sie Ihre KI-Systeme und ‑Assets bewerten und besser verstehen. Dazu gehören:
- Modelle
- Datenquellen
- Endpunkte
- Agents
- MCP-Server (Model Context Protocol), die in der Agent Registry katalogisiert sind. Für die Erkennung von MCP-Servern muss die App Hub API (
apphub.googleapis.com) in jedem Projekt aktiviert sein, das einen MCP-Server hostet.
- Sicherheitslücken identifizieren: Software-Sicherheitslücken (CVEs) in agentischen Arbeitslasten erkennen, die mit der Agent Runtime bereitgestellt wurden.
- Risiken identifizieren: Agentische Risiken und ihre Auswirkungen auf das Ökosystem identifizieren anhand der Angriffspfadsimulation und vordefinierter Regeln für den Sicherheitsgraphen, wobei Agents und MCP-Server als wertvolle Ressourcen gelten.
- Überprivilegierte Agents erkennen: Agents der Agent Runtime erkennen, denen zu viele Berechtigungen gewährt wurden.
- Risiken und Compliance verwalten: Risiken für Ihre KI-Assets proaktiv verwalten und prüfen, ob Ihre KI-Bereitstellungen den relevanten Sicherheitsstandards entsprechen.
- Rechtliche und finanzielle Risiken minimieren: Finanzielle, rufschädigende, und rechtliche Risiken im Zusammenhang mit Sicherheitsverstößen und mangelnder Einhaltung von Vorschriften reduzieren.
- Bedrohungen erkennen und verwalten: Potenzielle Bedrohungen für Ihre KI-Systeme und ‑Assets rechtzeitig erkennen und darauf reagieren.
- Ein Dashboard verwenden: Alle KI-bezogenen Risiken und Bedrohungen über ein zentrales Dashboard verwalten.
Anwendungsfälle für den KI-Schutz
Der KI-Schutz hilft Unternehmen, ihre Sicherheit zu verbessern, indem er Bedrohungen und Risiken im Zusammenhang mit KI-Systemen und sensiblen Daten erkennt und minimiert. Die folgenden Anwendungsfälle sind Beispiele dafür, wie der KI-Schutz in verschiedenen Organisationen eingesetzt werden kann:
Finanzdienstleister: Finanzdaten von Kunden
Ein großer Finanzdienstleister verwendet KI-Modelle, die sensible Finanzdaten verarbeiten.
- Herausforderung:Die Verarbeitung hochsensibler Finanzdaten mit KI-Modellen birgt mehrere Risiken, darunter das Risiko von Datenpannen, Datenexfiltration während des Trainings oder der Inferenz sowie Sicherheitslücken in der zugrunde liegenden KI-Infrastruktur.
- Anwendungsfall:Der KI-Schutz überwacht KI-Workflows kontinuierlich auf verdächtige Aktivitäten, erkennt unbefugten Datenzugriff und anomales Modellverhalten, klassifiziert sensible Daten und trägt dazu bei, die Einhaltung von Vorschriften wie PCI DSS und DSGVO zu verbessern.
Gesundheitsdienstleister: Datenschutz und Compliance
Ein großer Gesundheitsdienstleister verwaltet elektronische Patientenakten und verwendet KI für die Diagnose und Behandlungsplanung, wobei er mit geschützten Gesundheitsdaten (Protected Health Information, PHI) arbeitet.
- Herausforderung:Geschützte Gesundheitsdaten, die von KI-Modellen analysiert werden, unterliegen strengen Vorschriften wie HIPAA. Zu den Risiken gehören die versehentliche Offenlegung von geschützten Gesundheitsdaten durch Fehlkonfigurationen oder böswillige Angriffe auf KI-Systeme, die auf Patientendaten abzielen.
- Anwendungsfall:Der KI-Schutz erkennt potenzielle HIPAA-Verstöße und unbefugten Zugriff auf geschützte Gesundheitsdaten durch Modelle oder Nutzer und gibt entsprechende Warnungen aus. Außerdem werden anfällige und potenziell falsch konfigurierte KI-Dienste gekennzeichnet und auf Datenlecks überwacht.
Fertigungs- und Robotikunternehmen: proprietäres geistiges Eigentum
Ein Fertigungsunternehmen, das sich auf fortschrittliche Robotik und Automatisierung spezialisiert hat, setzt stark auf KI, um Produktionslinien und die Robotersteuerung zu optimieren. Wichtiges geistiges Eigentum ist in den KI-Algorithmen und Fertigungsdaten enthalten.
- Herausforderung:Proprietäre KI-Algorithmen und sensible Betriebsdaten sind anfällig für Diebstahl durch Insiderbedrohungen oder externe Angreifer, was zu Wettbewerbsnachteilen oder Betriebsunterbrechungen führen kann.
- Anwendungsfall:Der KI-Schutz überwacht den unbefugten Zugriff auf KI-Modelle und Code-Repositories, erkennt Versuche, trainierte Modelle zu exfiltrieren, und ungewöhnliche Datenzugriffsmuster und kennzeichnet Sicherheitslücken in KI-Entwicklungsumgebungen, um den Diebstahl von geistigem Eigentum zu verhindern.
Event Threat Detection-Regeln für Assets der Gemini Enterprise Agent Platform
Event Threat Detection erkennt mehrere potenzielle Bedrohungen im Zusammenhang mit Assets der Gemini Enterprise Agent Platform, z. B. anomale Dienstkontoaktivitäten, Änderungen vertraulicher Berechtigungen und Missbrauch der agentischen Identität.
Folgende Kategorien gelten für KI-Assets:
- Persistenz: Neue KI-API-Methode
- Persistenz: Neue Region für KI-Dienst
- Rechteausweitung: Anomale Identitätsübernahme des Dienstkontos bei KI-Administratoraktivität
- Rechteausweitung: Anomale Identitätsübernahme des Dienstkontos bei KI-Datenzugriff
- Rechteausweitung: Anomale mehrstufige Dienstkontodelegierung bei KI-Administratoraktivität
- Rechteausweitung: Anomale mehrstufige Dienstkontodelegierung bei KI-Datenzugriff
- Rechteausweitung: Anomale Identitätsübernahme des Dienstkontos bei KI-Administratoraktivität
- Anfänglicher Zugriff: Keine Dienstkontoaktivität im KI-Dienst
- Persistenz: Anomale IAM-Gewährung für agentische Identität
- Diebstahl von Anmeldedaten: Anmeldedaten der agentischen Identität außerhalb von verwendet Google Cloud
- Persistenz: Sensible KI-Berechtigung zu benutzerdefinierter Rolle hinzugefügt
- Persistenz: Vom KI-Agenten gewährte sensible Rolle
- Persistenz: Sensible Rolle für externen KI-Agenten gewährt
- Verteidigungsausgang: Rolle „TokenCreator“ auf Projektebene für KI-Agenten gewährt
- Verteidigungsausgang: Rolle „TokenCreator“ auf Ordnerebene für KI-Agenten gewährt
- Verteidigungsausgang: Rolle „TokenCreator“ auf Organisationsebene für KI-Agenten gewährt
Eine vollständige Liste der Event Threat Detection-Ergebnisse, die für KI-Assets gelten, finden Sie unter Erkennungsdienste.
Agent Platform-Bedrohungserkennung für die Agent Runtime
Die Agent Platform-Bedrohungserkennung bietet eine Bedrohungserkennung zur Laufzeit für Agents, die in der Agent Runtime bereitgestellt werden. Sie überwacht laufende Agents auf potenzielle Angriffe und generiert Ergebnisse in Security Command Center.
Die Agent Platform-Bedrohungserkennung kann Ergebnisse für die Agent Runtime generieren, einschließlich der folgenden Kategorien:
- Befehl und Steuerung: Steganographie-Tool erkannt
- Diebstahl von Anmeldedaten: Find Google Cloud Credentials
- Diebstahl von Anmeldedaten: Ausspähung von GPG-Schlüsseln
- Diebstahl von Anmeldedaten: Suche nach privaten Schlüsseln oder Passwörtern
- Verteidigungsausgang: Befehlszeile für Base64 ELF-Datei
- Verteidigungsausgang: Base64-codiertes Python-Script ausgeführt
- Verteidigungsausgang: Base64-codiertes Shell-Script ausgeführt
- Verteidigungsausgang: Compiler-Tool für Code im Container gestartet
- Ausführung: Netcat-Remote-Codeausführung im Container
- Ausführung: Mögliche Ausführung beliebiger Befehle über CUPS (CVE-2024-47177)
- Ausführung: Mögliche Remote-Befehlsausführung erkannt
- Ausführung: Programmausführung mit nicht zulässiger HTTP-Proxy-Umgebung
- Ausführung: Socat-Reverse-Shell erkannt
- Ausführung: Verdächtiges freigegebenes OpenSSL-Objekt geladen
- Exfiltration: Remote-Tools zum Kopieren von Dateien im Container gestartet
- Auswirkungen: Erkennung schädlicher Cmdline-Dateien
- Auswirkungen: Bulk-Entfernung von Daten von Laufwerk
- Auswirkungen: Verdächtige Cryptomining-Aktivität mit Stratum-Protokoll
- Rechteausweitung: Missbrauch von Sudo zur Rechteausweitung (CVE-2019-14287)
- Rechteausweitung: Sicherheitslücke bei der lokalen Rechteausweitung in Polkit (CVE-2021-4034)
- Rechteausweitung: Mögliche Rechteausweitung durch Sudo (CVE-2021-3156)
- Ausführung: Schädlicher Python-Code ausgeführt
- Ausführung: Container-Escape
- Ausführung: Ausführung eines Kubernetes-Angriffstools
- Ausführung: Ausführung eines lokalen Ausspähtools
- Auswirkungen: Schädliches Script ausgeführt
- Auswirkungen: Schädliche URL beobachtet
- Ausführung: Unerwartete untergeordnete Shell
Eine vollständige Liste der Ergebnisse der Agent Platform-Bedrohungserkennung finden Sie unter Erkennungsdienste.
KI-Schutz-Framework
Der KI-Schutz verwendet ein Sicherheitsframework, das aus Cloud-Kontrollen besteht, die automatisch im Erkennungsmodus bereitgestellt werden. Im Erkennungsmodus wendet das System Cloud-Kontrollen auf definierte Ressourcen an, um sie zu überwachen. Wenn das System Verstöße erkennt, werden Benachrichtigungen generiert.
Sie können Frameworks und Cloud Kontrollen verwenden, um Ihre Anforderungen an den KI-Schutz zu definieren und auf Ihre Google Cloud Umgebung anzuwenden.
Standardframework
Der KI-Schutz enthält ein Standardframework, in dem empfohlene Baseline-Kontrollen definiert sind. Wenn Sie den KI-Schutz aktivieren, wird das Standard Framework automatisch auf Ihre Google Cloud Organisation oder Ihr Projekt angewendet.
Weitere Informationen zu den Cloud-Kontrollen, die vom Standardframework verwendet werden, finden Sie unter Empfohlene KI-Grundlagen von Google – Vertex AI.
Benutzerdefinierte Frameworks
Wenn Sie diese Anforderungen anpassen müssen, können Sie benutzerdefinierte Frameworks erstellen, indem Sie Kopien des Standardframeworks erstellen:
- Anpassung:Sie können in Ihren benutzerdefinierten Frameworks Cloud-Kontrollen hinzufügen oder entfernen, um sie an Ihre Sicherheitsrichtlinien anzupassen.
- Gezielte Anwendung:Sie können benutzerdefinierte Frameworks auf bestimmte Organisationen, Ordner oder Projekte anwenden. So können Sie beispielsweise bestimmte Kontrollen für bestimmte Gerichtsbarkeiten auf bestimmte Ordner anwenden, um sicherzustellen, dass Daten in einer bestimmten geografischen Region verbleiben.
- Einschränkung:Sie können Anwendungen keine KI-Schutz-Frameworks zuweisen.
Unterstützte Funktionsbereiche für den KI-Schutz
In diesem Abschnitt werden Funktionsbereiche definiert, die mit dem KI-Schutz gesichert werden können.
- KI-Arbeitslasten: Die Arbeitslasten von KI-Anwendungen reichen von internen Tools zur Verbesserung der Mitarbeiterproduktivität bis hin zu Lösungen für Nutzer, die das Nutzererlebnis verbessern und das Geschäft vorantreiben sollen. Beispiele sind KI-Agents, virtuelle Assistenten, konversationelle KI-Chatbots und personalisierte Empfehlungen.
- KI-Agents: KI-Agents sind KI-Systeme, die ihre Umgebung wahrnehmen, Entscheidungen treffen und Maßnahmen ergreifen können, um bestimmte Ziele zu erreichen.
- KI-Modelle: KI-Modelle werden in grundlegende KI-Modelle, optimierte KI-Modelle, Standard-KI-Modelle von Google und benutzerdefinierte KI-Modelle unterteilt. Beispiele sind Gemini, Llama, Übersetzungs modelle und benutzerdefinierte Modelle für bestimmte Aufgaben.
- KI-Assets: KI-Assets tragen zu Pipelines für maschinelles Lernen bei
und werden von KI-Arbeitslasten verwendet. Zu den Arten von KI-Assets gehören:
- Deklarative KI-Assets: Diese Assets werden von Tools zur Verwaltung des KI-Lebenszyklus wie der Gemini Enterprise Agent Platform verfolgt.
- Abgeleitete KI-Assets: Assets für allgemeine Zwecke wie Compute- und Speicher-Assets, die zum Verarbeiten von KI-Daten oder ‑Arbeitslasten verwendet werden.
- Model-as-a-Service (nur API): Assets mit programmatischen Aufrufen in KI-Modelle von Google oder Drittanbietern.
- Schatten-KI-Ressourcen: Nicht genehmigte oder nicht verwaltete KI-Assets und ‑Arbeitslasten. Schatten-KI-Ressourcen werden in Security Command Center in der Google Cloud Console nicht unterstützt.