AI Protection – Übersicht

Der KI-Schutz hilft Ihnen, den Sicherheitsstatus Ihrer KI-Arbeitslasten zu verwalten, indem er Bedrohungen erkennt und Ihnen hilft, Risiken für Ihr KI-Asset-Inventar zu minimieren. Dieses Dokument bietet einen allgemeinen Überblick über KI-Schutz, einschließlich der Vorteile und einiger wichtiger Konzepte. KI-Schutz ist bei Aktivierungen von Security Command Center auf Organisationsebene verfügbar.

Wenn Security Command Center in den Service-Stufen Premium und Enterprise auf Organisationsebene aktiviert ist, bietet AI Protection einen umfassenden Überblick über die KI-Sicherheit in Ihrer gesamten Google Cloud -Umgebung. Das KI-Schutz-Dashboard in der Google Cloud Console bietet eine einheitliche Reihe von Widgets und Funktionen, wobei Daten aus allen Projekten und Ressourcen innerhalb der Organisation zusammengefasst werden.

Funktionen von KI-Schutz

Der KI-Schutz hilft Ihnen, Bedrohungen und Risiken für Ihre KI-Systeme auf folgende Weise zu verwalten:

  • KI-Ressourceninventar bewerten: Bewerten und verstehen Sie Ihre KI-Systeme und KI-Ressourcen, einschließlich der folgenden:
    • Modelle
    • Datenquellen
    • Endpunkte
    • Agents (Vorschau)
    • MCP-Server (Model Context Protocol), die in der Agent Registry katalogisiert sind (Vorabversion). Die Ermittlung von MCP-Servern erfordert, dass die App Hub API (apphub.googleapis.com) in jedem Projekt aktiviert ist, in dem ein MCP-Server gehostet wird.
  • Sicherheitslücken identifizieren: Software-Sicherheitslücken (CVEs) in agentenbasierten Arbeitslasten identifizieren, die mit der Agent Runtime bereitgestellt werden.
  • Risiken identifizieren: Identifizieren Sie agentische Risiken und deren Auswirkungen auf das Ökosystem auf der Grundlage von Angriffspfadsimulationen und vordefinierten Regeln für den Sicherheitsgraphen, wobei Agents und MCP-Server als hochwertige Ressourcen gelten.
  • KI-Agenten mit nicht erforderlichen Berechtigungen erkennen: Erkennen Sie Agent Runtime-Agents, denen nicht erforderliche Berechtigungen gewährt wurden. (Vorschau)
  • Risiken und Compliance verwalten: Risiken für Ihre KI-Assets proaktiv verwalten und überprüfen, ob Ihre KI-Bereitstellungen den relevanten Sicherheitsstandards entsprechen.
  • Rechtliche und finanzielle Risiken minimieren: Reduzieren Sie die finanziellen, reputationsbezogenen und rechtlichen Risiken, die mit Sicherheitsverstößen und Nichteinhaltung von Vorschriften verbunden sind.
  • Bedrohungen erkennen und verwalten: Erkennen Sie potenzielle Bedrohungen für Ihre KI-Systeme und ‑Assets rechtzeitig und reagieren Sie darauf.
  • Ein Dashboard aufrufen: Alle KI-bezogenen Risiken und Bedrohungen lassen sich über ein zentrales Dashboard verwalten.

Anwendungsfälle für KI-Schutz

KI-Schutz hilft Unternehmen, ihre Sicherheit zu verbessern, indem Bedrohungen und Risiken im Zusammenhang mit KI‑Systemen und sensiblen Daten erkannt und minimiert werden. Die folgenden Anwendungsfälle sind Beispiele dafür, wie KI-Schutz in verschiedenen Organisationen eingesetzt werden kann:

  • Finanzdienstleister: Finanzdaten von Kunden

    Ein großes Finanzdienstleistungsinstitut verwendet KI-Modelle, die sensible Finanzdaten verarbeiten.

    • Herausforderung:Die Verarbeitung hochsensibler Finanzdaten mit KI-Modellen birgt mehrere Risiken, darunter das Risiko von Datenpannen, Daten-Exfiltration während des Trainings oder der Inferenz sowie Sicherheitslücken in der zugrunde liegenden KI-Infrastruktur.
    • Anwendungsfall:KI-Schutz überwacht KI-Workflows kontinuierlich auf verdächtige Aktivitäten, erkennt unbefugten Datenzugriff und anomales Modellverhalten, klassifiziert sensible Daten und trägt dazu bei, die Einhaltung von Vorschriften wie PCI-DSS und DSGVO zu verbessern.

  • Gesundheitsdienstleister: Datenschutz und Compliance

    Ein großer Gesundheitsdienstleister verwaltet elektronische Gesundheitsdaten und verwendet KI für Diagnosen und Behandlungsplanung. Dabei werden „Geschützte Gesundheitsdaten“ (Protected Health Information, PHI) verarbeitet.

    • Herausforderung:PHI, das von KI-Modellen analysiert wird, unterliegt strengen Vorschriften wie HIPAA. Zu den Risiken gehören die versehentliche Offenlegung von vertraulichen Gesundheitsdaten durch Fehlkonfigurationen oder böswillige Angriffe, die auf KI-Systeme für Patientendaten abzielen.
    • Anwendungsfall:KI-Schutz erkennt potenzielle HIPAA-Verstöße und benachrichtigt Nutzer darüber, erkennt unbefugten PHI-Zugriff durch Modelle oder Nutzer, kennzeichnet anfällige und potenziell falsch konfigurierte KI-Dienste und überwacht auf Datenlecks.

  • Fertigungs- und Robotikunternehmen: proprietäres geistiges Eigentum

    Ein Fertigungsunternehmen, das sich auf fortschrittliche Robotik und Automatisierung spezialisiert hat, setzt stark auf KI, um Produktionslinien und Robotersteuerung zu optimieren. Wichtiges geistiges Eigentum ist in den KI-Algorithmen und Fertigungsdaten enthalten.

    • Herausforderung:Proprietäre KI-Algorithmen und sensible Betriebsdaten sind anfällig für Diebstahl durch Insider oder externe Angreifer, was zu Wettbewerbsnachteilen oder Betriebsunterbrechungen führen kann.
    • Anwendungsfall:KI-Schutz überwacht den unbefugten Zugriff auf KI-Modelle und Code-Repositories, erkennt Versuche, trainierte Modelle zu exfiltrieren, und ungewöhnliche Datenzugriffsmuster und kennzeichnet Sicherheitslücken in KI-Entwicklungsumgebungen, um den Diebstahl von geistigem Eigentum zu verhindern.

Event Threat Detection-Regeln für Gemini Enterprise Agent Platform-Assets

Event Threat Detection erkennt verschiedene potenzielle Bedrohungen für Gemini Enterprise Agent Platform-Assets, z. B. anomale Dienstkontoaktivitäten, Änderungen an vertraulichen Berechtigungen und Missbrauch von Agent-Identitäten.

Folgende Kategorien gelten für KI-Assets:

  • Persistenz: Neue KI-API-Methode
  • Persistenz: Neue geografische Region für KI-Dienst
  • Ausweitung von Berechtigungen: Anomale Identitätsübernahme des Dienstkontos bei KI-Administratoraktivität
  • Privilege Escalation: Anomalous Service Account Impersonator for AI Data Access
  • Ausweitung von Berechtigungen: Anomale mehrstufige Dienstkontodelegierung bei KI-Administratoraktivität
  • Privilege Escalation: Anomalous Multistep Service Account Delegation for AI Data Access
  • Ausweitung von Berechtigungen: Anomale Identitätsübernahme des Dienstkontos bei KI-Administratoraktivität
  • Anfänglicher Zugriff: Dormante Dienstkontoaktivität im KI-Dienst
  • Persistenz: Ungewöhnliche IAM-Gewährung für Agentic Identity
  • Anmeldedatenzugriff: Agentic Identity-Anmeldedaten werden außerhalb von Google Cloudverwendet
  • Persistenz: Sensible KI-Berechtigung zu benutzerdefinierter Rolle hinzugefügt
  • Persistenz: Vom KI-Agenten gewährte sensible Rolle
  • Persistenz: Sensible Rolle für externen KI-Agenten gewährt
  • Defense Evasion: Rolle „TokenCreator“ auf Projektebene für KI-Agenten gewährt
  • Umgehung von Abwehrmaßnahmen: Rolle „TokenCreator“ auf Ordnerebene für KI-Agenten gewährt
  • Umgehen von Sicherheitsmaßnahmen: Rolle „TokenCreator“ auf Organisationsebene für KI-Agenten gewährt

Eine vollständige Liste der Event Threat Detection-Ergebnisse, die für KI-Assets gelten, finden Sie unter Erkennungsservices.

Bedrohungserkennung für Agent Platform für die Agent-Laufzeit

Die Bedrohungserkennung für Agent Platform bietet eine Laufzeit-Bedrohungserkennung für Agents, die in Agent Runtime bereitgestellt werden. Es überwacht laufende Agents auf potenzielle Angriffe und generiert Ergebnisse im Security Command Center.

Die Bedrohungserkennung für die Agent Platform kann Ergebnisse für die Agent-Laufzeit generieren, darunter die folgenden Kategorien:

  • Command-and-Control: Steganographie-Tool erkannt
  • Zugriff auf Anmeldedaten: Suchen Sie nach Google Cloud Anmeldedaten.
  • Credential Access: GPG Key Reconnaissance
  • Zugriff auf Anmeldedaten: Suche nach privaten Schlüsseln oder Passwörtern
  • Umgehung von Abwehrmaßnahmen: Befehlszeile für Base64-ELF-Datei
  • Defense Evasion: Base64-codiertes Python-Script ausgeführt
  • Defense Evasion: Base64-codiertes Shell-Script ausgeführt
  • Umgehung von Abwehrmaßnahmen: Compiler-Tool für Code im Container gestartet
  • Ausführung: Netcat-Remote-Codeausführung im Container
  • Ausführung: Mögliche Ausführung beliebiger Befehle über CUPS (CVE-2024-47177)
  • Ausführung: Mögliche Remote-Befehlsausführung erkannt
  • Ausführung: Programmausführung mit nicht zulässiger HTTP-Proxy-Umgebung
  • Ausführung: Socat-Reverse-Shell erkannt
  • Ausführung: Verdächtiges freigegebenes OpenSSL-Objekt geladen
  • Exfiltration: Remote-Tools zum Kopieren von Dateien im Container gestartet
  • Auswirkung: Erkennung schädlicher Cmdline-Dateien
  • Auswirkungen: Bulk-Entfernung von Daten von Laufwerk
  • Auswirkungen: Verdächtige Cryptomining-Aktivität mit Stratum-Protokoll
  • Rechteausweitung: Missbrauch von Sudo zur Rechteausweitung (CVE-2019-14287)
  • Rechteausweitung: Sicherheitslücke bei der lokalen Rechteausweitung in Polkit (CVE-2021-4034)
  • Rechteausweitung: Mögliche Rechteausweitung durch Sudo (CVE-2021-3156)
  • Ausführung: schädlicher Python-Code ausgeführt
  • Ausführung: Container-Escape
  • Ausführung: Ausführung eines Kubernetes-Angriffstools
  • Ausführung: Ausführung eines lokalen Ausspähtools
  • Auswirkung: Schädliches Script ausgeführt
  • Auswirkung: Schädliche URL beobachtet
  • Ausführung: Unerwartete untergeordnete Shell

Eine vollständige Liste der Ergebnisse von Agent Platform Threat Detection finden Sie unter Erkennungsservices.

Framework für KI-Schutz

KI-Schutz verwendet ein Framework mit spezifischen Cloud-Steuerelementen, die automatisch im Erkennungsmodus bereitgestellt werden. Im Erkennungsmodus wird die Cloud-Kontrolle auf die definierten Ressourcen angewendet, um sie zu überwachen. Alle Verstöße werden erkannt und es werden Benachrichtigungen generiert. Sie verwenden Frameworks und Cloud-Kontrollen, um Ihre KI-Schutz-Anforderungen zu definieren und auf Ihre Google Cloud -Umgebung anzuwenden. KI-Schutz umfasst das Standard-Framework, in dem empfohlene grundlegende Kontrollen für KI-Schutz definiert sind. Wenn Sie KI-Schutz aktivieren, wird das Standard-Framework automatisch auf die Organisation Google Cloud im Erkennungsmodus angewendet.

Bei Bedarf können Sie Kopien des Frameworks erstellen, um benutzerdefinierte KI-Schutz-Frameworks zu erstellen. Sie können die Cloud-Kontrollen Ihren benutzerdefinierten Frameworks hinzufügen und die benutzerdefinierten Frameworks auf die Organisation, Ordner oder Projekte anwenden. Sie können beispielsweise benutzerdefinierte Frameworks erstellen, mit denen bestimmte Gerichtsbarkeitskontrollen auf bestimmte Ordner angewendet werden. So lässt sich sicherstellen, dass Daten in diesen Ordnern in einer bestimmten geografischen Region verbleiben.

Cloud-Kontrollen im standardmäßigen KI-Schutz-Framework

Weitere Informationen zu den Cloud-Steuerelementen, die vom KI-Schutz-Framework verwendet werden, finden Sie unter Google Recommended AI Essentials – Vertex AI.

Unterstützte Funktionsbereiche für KI-Schutz

In diesem Abschnitt werden die Funktionsbereiche definiert, in denen KI-Schutz für mehr Sicherheit sorgen kann.

  • KI-Arbeitslasten: KI-Anwendungen reichen von internen Tools zur Steigerung der Mitarbeiterproduktivität bis hin zu für Nutzer konzipierten Lösungen zur Verbesserung der Nutzererfahrung und zur Steigerung des Umsatzes. Beispiele hierfür sind KI-Agents, virtuelle Assistenten, konversationelle KI-Chatbots und personalisierte Empfehlungen.
  • KI-Agenten: KI-Agenten sind KI-Systeme, die ihre Umgebung wahrnehmen, Entscheidungen treffen und Maßnahmen ergreifen können, um bestimmte Ziele zu erreichen.
  • KI-Modelle: KI-Modelle werden in Foundation Models, optimierte KI-Modelle, Standard-KI-Modelle auf Grundlage selbst erhobener Daten und benutzerdefinierte KI-Modelle unterteilt. Beispiele sind Gemini, Llama, Übersetzungsmodelle und benutzerdefinierte Modelle für bestimmte Aufgaben.
  • KI-Assets: KI-Assets tragen zu Machine-Learning-Pipelines bei und werden von KI-Arbeitslasten verwendet. Zu den Arten von KI-Assets gehören die folgenden:
    • Deklarative KI-Assets: Tools zur Verwaltung des KI-Lebenszyklus, z. B. die Gemini Enterprise Agent Platform, verfolgen diese Assets.
    • Abgeleitete KI-Assets: Assets für allgemeine Zwecke wie Compute- und Speicher-Assets, die zum Verarbeiten von KI-Daten oder ‑Arbeitslasten verwendet werden.
    • Model-as-a-Service (nur API): Assets mit programmatischen Aufrufen von eigenen oder KI-Modellen von Drittanbietern.

AI Security-Dashboard verwenden

Im Dashboard für AI Security können Sie das Inventar der KI-Assets Ihrer Organisation visualisieren und vorgeschlagene Maßnahmen zur Risikominderung und zur Abwehr von Bedrohungen prüfen.

Auf das AI Security-Dashboard zugreifen

Rufen Sie in der Google Cloud Console die Seite Risikoübersicht > KI-Sicherheit auf, um auf das Dashboard für KI-Sicherheit zuzugreifen:

Zu AI Security

Weitere Informationen finden Sie unter AI Security-Dashboard.

Risikomanagement für KI-Systeme

Dieser Abschnitt enthält Informationen zu potenziellen Risiken, die mit KI-Systemen verbunden sind. Sie können sich die größten Risiken in Ihrem KI-Inventar ansehen.

Wenn Sie auf ein Problem klicken, wird ein Detailbereich mit einer Visualisierung des Problems geöffnet.

KI-Bedrohungen ansehen

Dieser Abschnitt enthält Informationen zu Bedrohungen im Zusammenhang mit KI-Systemen. Sie können sich die fünf letzten Bedrohungen ansehen, die mit Ihren KI-Ressourcen in Verbindung stehen.

Auf dieser Seite haben Sie folgende Möglichkeiten:

  • Klicken Sie auf Alle ansehen, um Bedrohungen aufzurufen, die mit Ihren KI-Ressourcen verknüpft sind.
  • Klicken Sie auf eine beliebige Bedrohung, um weitere Details dazu aufzurufen.

KI-Inventar visualisieren

Im Dashboard finden Sie eine Visualisierung Ihres KI-Inventars mit einer Zusammenfassung der Projekte, die generative KI umfassen, der selbst erhobenen und Drittanbietermodelle, die aktiv verwendet werden, und der Datasets, die zum Trainieren der Drittanbietermodelle verwendet werden.

Auf dieser Seite haben Sie folgende Möglichkeiten:

  • Klicken Sie auf einen der Knoten in der Visualisierung, um die Seite mit den Inventardetails aufzurufen.
  • Wenn Sie eine detaillierte Liste der einzelnen Assets (z. B. Foundation Models und benutzerdefinierte Modelle) aufrufen möchten, klicken Sie auf die Kurzinfo.
  • Klicken Sie auf das Modell, um eine detaillierte Ansicht zu öffnen. In dieser Ansicht werden Details wie die Endpunkte, an denen das Modell gehostet wird, und das Dataset angezeigt, das zum Trainieren des Modells verwendet wurde. Wenn Sensitive Data Protection aktiviert ist, wird in der Dataset-Ansicht auch angezeigt, ob das Dataset sensible Daten enthält.

Zusammenfassung der Ergebnisse des AI Framework prüfen

In diesem Abschnitt erfahren Sie, wie Sie Ergebnisse aus dem KI-Framework und den Datensicherheitsrichtlinien bewerten und verwalten können. Er enthält Folgendes:

  • Ergebnisse: In diesem Abschnitt wird eine Zusammenfassung der Ergebnisse angezeigt, die von KI-Sicherheitsrichtlinien und Datensicherheitsrichtlinien generiert wurden. Klicken Sie auf Alle Ergebnisse ansehen oder auf die Anzahl neben jeder Ergebniskategorie, um Details zum Ergebnis aufzurufen. Klicken Sie auf ein Ergebnis, um zusätzliche Informationen dazu aufzurufen.
  • Sensible Daten in Vertex AI-Datasets: In diesem Abschnitt wird eine Zusammenfassung der Ergebnisse basierend auf sensiblen Daten in Datasets angezeigt, die von Sensitive Data Protection gemeldet wurden. Weitere Informationen finden Sie unter Einführung in Gemini Enterprise Agent Platform.

Model Armor-Ergebnisse prüfen

Ein Diagramm zeigt die Gesamtzahl der Prompts oder Antworten, die von Model Armor gescannt wurden, und die Anzahl der Probleme, die von Model Armor erkannt wurden. Außerdem werden im Diagramm zusammenfassende Statistiken für verschiedene Arten von erkannten Problemen angezeigt, z. B. Prompt-Injection- und Jailbreak-Erkennung sowie Erkennung sensibler Daten. Bei agentenbasierten Arbeitslasten kann Model Armor im Agent Gateway (Vorabversion) konfiguriert werden, um Prompts und Antworten an und von Agenten zu prüfen.

Diese Informationen werden anhand der Messwerte ausgefüllt, die Model Armor in Cloud Monitoring veröffentlicht. Weitere Informationen finden Sie unter Model Armor – Übersicht.

Nächste Schritte