KI-Schutz unterstützt Sie beim Verwalten des Sicherheitsstatus Ihrer KI-Arbeitslasten, indem Bedrohungen erkannt und Risiken für Ihr KI-Asset-Inventar minimiert werden. Dieses Dokument bietet einen allgemeinen Überblick über KI-Schutz, einschließlich der Vorteile und einiger wichtiger Konzepte. KI-Schutz ist bei Aktivierungen von Security Command Center auf Organisationsebene verfügbar.
Wenn Security Command Center auf Organisationsebene aktiviert ist, bietet AI Protection für die Dienststufen „Premium“ und „Enterprise“ eine umfassende Übersicht über die KI-Sicherheit in Ihrer gesamten Google Cloud Umgebung. Das KI-Schutz-Dashboard in der Google Cloud Console enthält eine konsistente Reihe von Widgets und Funktionen mit Daten, die aus allen Projekten und Ressourcen innerhalb der Organisation zusammengeführt wurden.
Funktionen von KI-Schutz
KI-Schutz unterstützt Sie auf folgende Weise beim Verwalten von Bedrohungen und Risiken für Ihre KI-Systeme:
- KI-Asset-Inventar bewerten: Bewerten und verstehen Sie Ihre KI-Systeme und KI Assets mithilfe des AI Security-Dashboards und des Tabs „KI-Ressourcen“. Dazu gehören:
- Sicherheitslücken identifizieren: Identifizieren Sie Softwaresicherheitslücken (CVEs) in agentischen Arbeitslasten, die mit der Agent Runtime bereitgestellt wurden.
- Risiken identifizieren: Identifizieren Sie agentische Risiken und ihre Auswirkungen auf das Ökosystem basierend auf der Angriffspfadsimulation und vordefinierten Regeln für den Sicherheitsgraphen, wobei KI-Agenten und MCP-Server als wertvolle Ressourcen gelten.
- KI-Agenten mit nicht erforderlichen Berechtigungen erkennen: Erkennen Sie Agent Runtime-KI-Agenten, denen nicht erforderliche Berechtigungen gewährt wurden. (Vorschau)
- Risiken und Compliance verwalten: Verwalten Sie proaktiv Risiken für Ihre KI-Assets und prüfen Sie, ob Ihre KI-Bereitstellungen den relevanten Sicherheitsstandards entsprechen.
- Rechtliche und finanzielle Risiken minimieren: Reduzieren Sie die finanziellen, rufschädigenden, und rechtlichen Risiken, die mit Sicherheitsverletzungen und Verstößen gegen Vorschriften verbunden sind.
- Bedrohungen erkennen und verwalten: Erkennen Sie potenzielle Bedrohungen für Ihre KI-Systeme und ‑Assets rechtzeitig und reagieren Sie darauf.
- Ein Dashboard verwenden: Verwalten Sie alle Ihre KI-bezogenen Risiken und Bedrohungen über ein zentrales Dashboard.
Anwendungsfälle für KI-Schutz
KI-Schutz unterstützt Unternehmen dabei, ihre Sicherheit zu verbessern, indem Bedrohungen und Risiken im Zusammenhang mit KI-Systemen und vertraulichen Daten erkannt und minimiert werden. Die folgenden Anwendungsfälle sind Beispiele dafür, wie KI-Schutz in verschiedenen Unternehmen eingesetzt werden kann:
Finanzdienstleister: Finanzdaten von Kunden
Ein großer Finanzdienstleister verwendet KI-Modelle, die vertrauliche Finanzdaten verarbeiten.
- Herausforderung:Die Verarbeitung hochsensibler Finanzdaten mit KI-Modellen birgt mehrere Risiken, darunter das Risiko von Datenpannen, Datenexfiltration während des Trainings oder der Inferenz sowie Sicherheitslücken in der zugrunde liegenden KI-Infrastruktur.
- Anwendungsfall:KI-Schutz überwacht KI-Workflows kontinuierlich auf verdächtige Aktivitäten, erkennt unbefugten Datenzugriff und anomales Modellverhalten, führt die Klassifizierung sensibler Daten durch und trägt dazu bei, die Einhaltung von Vorschriften wie PCI DSS und DSGVO zu verbessern.
Gesundheitsdienstleister: Datenschutz und Compliance
Ein großer Gesundheitsdienstleister verwaltet elektronische Patientenakten und verwendet KI für die Diagnose und Behandlungsplanung, wobei er mit geschützten Gesundheitsdaten (Protected Health Information, PHI) umgeht.
- Herausforderung:PHI, die von KI-Modellen analysiert werden, unterliegen strengen Vorschriften wie HIPAA. Zu den Risiken gehören die versehentliche Offenlegung von PHI durch Fehlkonfigurationen oder böswillige Angriffe auf KI-Systeme, die auf Patientendaten abzielen.
- Anwendungsfall:KI-Schutz erkennt potenzielle HIPAA-Verstöße und benachrichtigt Sie darüber, erkennt unbefugten PHI-Zugriff durch Modelle oder Nutzer, kennzeichnet anfällige und potenziell falsch konfigurierte KI-Dienste und überwacht auf Datenlecks.
Fertigungs- und Robotikunternehmen: geschütztes geistiges Eigentum
Ein Fertigungsunternehmen, das sich auf fortschrittliche Robotik und Automatisierung spezialisiert hat, setzt stark auf KI, um Produktionslinien und die Robotersteuerung zu optimieren. Wichtiges geistiges Eigentum ist in die KI-Algorithmen und Fertigungsdaten eingebettet.
- Herausforderung:Geschützte KI-Algorithmen und vertrauliche Betriebsdaten sind anfällig für Diebstahl durch Insider oder externe Angreifer, was zu Wettbewerbsnachteilen oder Betriebsunterbrechungen führen kann.
- Anwendungsfall:KI-Schutz überwacht den unbefugten Zugriff auf KI-Modelle und Code-Repositories, erkennt Versuche, trainierte Modelle zu exfiltrieren, und ungewöhnliche Datenzugriffsmuster und kennzeichnet Sicherheitslücken in KI-Entwicklungsumgebungen, um den Diebstahl von geistigem Eigentum zu verhindern.
Event Threat Detection-Regeln für Gemini Enterprise Agent Platform-Assets
Event Threat Detection erkennt mehrere potenzielle Bedrohungen im Zusammenhang mit Gemini Enterprise Agent Platform-Assets, z. B. anomale Dienstkontoaktivitäten, Änderungen an vertraulichen Berechtigungen und Missbrauch der agentischen Identität.
Folgende Kategorien gelten für KI-Assets:
- Persistenz: Neue KI-API-Methode
- Persistenz: Neue Region für KI-Dienst
- Rechteausweitung: Anomale Identitätsübernahme des Dienstkontos bei KI-Administratoraktivität
- Rechteausweitung: Anomale Identitätsübernahme des Dienstkontos bei KI-Datenzugriff
- Rechteausweitung: Anomale mehrstufige Dienstkontodelegierung bei KI-Administratoraktivität
- Rechteausweitung: Anomale mehrstufige Dienstkontodelegierung bei KI-Datenzugriff
- Rechteausweitung: Anomale Identitätsübernahme des Dienstkontos bei KI-Administratoraktivität
- Anfänglicher Zugriff: Keine Dienstkontoaktivität im KI-Dienst
- Persistenz: Anomale IAM-Gewährung für agentische Identität
- Diebstahl von Anmeldedaten: Anmeldedaten der agentischen Identität außerhalb von verwendet Google Cloud
- Persistenz: Sensible KI-Berechtigung zu benutzerdefinierter Rolle hinzugefügt
- Persistenz: Vom KI-Agenten gewährte sensible Rolle
- Persistenz: Sensible Rolle für externen KI-Agenten gewährt
- Verteidigungsausgang: Rolle „TokenCreator“ auf Projektebene für KI-Agenten gewährt
- Verteidigungsausgang: Rolle „TokenCreator“ auf Ordnerebene für KI-Agenten gewährt
- Verteidigungsausgang: Rolle „TokenCreator“ auf Organisationsebene für KI-Agenten gewährt
Eine vollständige Liste der Event Threat Detection-Ergebnisse, die für KI-Assets gelten, finden Sie unter Erkennungsdienste.
Agent Platform-Bedrohungserkennung für Agent Runtime
Die Agent Platform-Bedrohungserkennung bietet eine Bedrohungserkennung zur Laufzeit für KI-Agenten, die in der Agent Runtime bereitgestellt werden. Sie überwacht laufende KI-Agenten auf potenzielle Angriffe und generiert Ergebnisse in Security Command Center.
Die Agent Platform-Bedrohungserkennung kann Ergebnisse für die Agent Runtime generieren, einschließlich der folgenden Kategorien:
- Befehl und Steuerung: Steganographie-Tool erkannt
- Diebstahl von Anmeldedaten: Find Google Cloud Credentials
- Diebstahl von Anmeldedaten: Ausspähung von GPG-Schlüsseln
- Diebstahl von Anmeldedaten: Suche nach privaten Schlüsseln oder Passwörtern
- Verteidigungsausgang: Befehlszeile für Base64 ELF-Datei
- Verteidigungsausgang: Base64-codiertes Python-Script ausgeführt
- Verteidigungsausgang: Base64-codiertes Shell-Script ausgeführt
- Verteidigungsausgang: Compiler-Tool für Code im Container gestartet
- Ausführung: Netcat-Remote-Codeausführung im Container
- Ausführung: Mögliche Ausführung beliebiger Befehle über CUPS (CVE-2024-47177)
- Ausführung: Mögliche Remote-Befehlsausführung erkannt
- Ausführung: Programmausführung mit nicht zulässiger HTTP-Proxy-Umgebung
- Ausführung: Socat-Reverse-Shell erkannt
- Ausführung: Verdächtiges freigegebenes OpenSSL-Objekt geladen
- Exfiltration: Remote-Tools zum Kopieren von Dateien im Container gestartet
- Auswirkungen: Erkennung schädlicher Cmdline-Dateien
- Auswirkungen: Bulk-Entfernung von Daten von Laufwerk
- Auswirkungen: Verdächtige Cryptomining-Aktivität mit Stratum-Protokoll
- Rechteausweitung: Missbrauch von Sudo zur Rechteausweitung (CVE-2019-14287)
- Rechteausweitung: Sicherheitslücke bei der lokalen Rechteausweitung in Polkit (CVE-2021-4034)
- Rechteausweitung: Mögliche Rechteausweitung durch Sudo (CVE-2021-3156)
- Ausführung: Schädlicher Python-Code ausgeführt
- Ausführung: Container-Escape
- Ausführung: Ausführung eines Kubernetes-Angriffstools
- Ausführung: Ausführung eines lokalen Ausspähtools
- Auswirkungen: Schädliches Script ausgeführt
- Auswirkungen: Schädliche URL beobachtet
- Ausführung: Unerwartete untergeordnete Shell
Eine vollständige Liste der Ergebnisse der Agent Platform-Bedrohungserkennung finden Sie unter Erkennungsdienste.
KI-Schutz-Framework
KI-Schutz verwendet ein Framework mit bestimmten Cloud-Kontrollen, die automatisch im Erkennungsmodus bereitgestellt werden. Im Erkennungsmodus wird die Cloud-Kontrolle auf die definierten Ressourcen angewendet, um sie zu überwachen. Alle Verstöße werden erkannt und Benachrichtigungen werden generiert. Mit Frameworks und Cloud-Kontrollen können Sie Ihre KI-Schutz-Anforderungen definieren und diese Anforderungen auf Ihre Google Cloud Umgebung anwenden. KI-Schutz enthält das Standard Framework, in dem empfohlene Baseline-Kontrollen für KI-Schutz definiert sind. Wenn Sie KI-Schutz aktivieren, wird das Standard Framework automatisch im Erkennungs Modus auf die Google Cloud Organisation angewendet.
Bei Bedarf können Sie Kopien des Frameworks erstellen, um benutzerdefinierte KI-Schutz-Frameworks zu erstellen. Sie können die Cloud-Kontrollen zu Ihren benutzerdefinierten Frameworks hinzufügen und die benutzerdefinierten Frameworks auf die Organisation, Ordner oder Projekte anwenden. Sie können beispielsweise benutzerdefinierte Frameworks erstellen, die bestimmte Kontrollen für bestimmte Ordner anwenden, um sicherzustellen, dass Daten in diesen Ordnern in einer bestimmten geografischen Region verbleiben.
Cloud-Kontrollen im Standard-KI-Schutz-Framework
Weitere Informationen zu den Cloud-Kontrollen, die vom AI Protection Framework verwendet werden, finden Sie unter Empfohlene Grundlagen für KI von Google – Vertex AI.
Unterstützte Funktionsbereiche für KI-Schutz
In diesem Abschnitt werden Funktionsbereiche definiert, die mit KI-Schutz geschützt werden können.
- KI-Arbeitslasten: KI-Anwendungsarbeitslasten reichen von internen Tools zur Verbesserung der Mitarbeiterproduktivität bis hin zu Lösungen für Nutzer zur Verbesserung der Nutzererfahrung und zur Steigerung des Umsatzes. Beispiele hierfür sind KI-Agenten, virtuelle Assistenten, konversationelle KI-Chatbots und personalisierte Empfehlungen.
- KI-Agenten: KI-Agenten sind KI-Systeme, die ihre Umgebung wahrnehmen, Entscheidungen treffen und Maßnahmen ergreifen können, um bestimmte Ziele zu erreichen.
- KI-Modelle: KI-Modelle werden in Foundation Models, optimierte KI-Modelle, Standard-KI-Modelle von Google und benutzerdefinierte KI-Modelle unterteilt. Beispiele hierfür sind Gemini, Llama, Übersetzungs modelle und benutzerdefinierte Modelle für bestimmte Aufgaben.
- KI-Assets: KI-Assets tragen zu Pipelines für Machine-Learning-Vorgänge bei
und werden von KI-Arbeitslasten verwendet. Zu den Arten von KI-Assets gehören:
- Deklarative KI-Assets: Diese Assets werden von Tools zur Verwaltung des KI-Lebenszyklus wie der Gemini Enterprise Agent Platform verfolgt.
- Abgeleitete KI-Assets: Assets für allgemeine Zwecke wie Compute- und Speicher-Assets, die zum Verarbeiten von KI-Daten oder ‑Arbeitslasten verwendet werden.
- Model-as-a-Service (nur API): Assets mit programmatischen Aufrufen in KI-Modelle von Google oder Drittanbietern.
- Schatten-KI-Ressourcen: Nicht genehmigte oder nicht verwaltete KI-Assets und ‑Arbeitslasten. Schatten-KI-Ressourcen werden in Security Command Center in der Google Cloud Console nicht unterstützt.