VPC Service Controls mit der Gemini Enterprise Agent Platform

VPC Service Controls können Ihnen helfen, das Risiko der Daten-Exfiltration aus der Gemini Enterprise Agent Platform zu reduzieren. Verwenden Sie VPC Service Controls, um einen Dienstperimeter zu erstellen, der die von Ihnen angegebenen Ressourcen und Daten schützt. Wenn Sie beispielsweise VPC Service Controls zum Schutz der Agent Platform verwenden, können die folgenden Artefakte Ihren Dienstperimeter nicht verlassen:

  • Trainingsdaten für ein AutoML- oder benutzerdefiniertes Modell
  • Von Ihnen erstellte Modelle
  • Modelle, nach denen Sie mit der Neural Architecture Search auf der Agent Platform gesucht haben
  • Anfragen für Onlineinferenzen
  • Ergebnisse einer Batchinferenzanfrage
  • Gemini-Modelle

Zugriff auf Google APIs steuern

Die Agent Platform APIs, wie unter Zugriff auf die Gemini Enterprise Agent Platform von lokalen und Multicloud-Umgebungen, beschrieben, umfassen eine Reihe von Zugriffsoptionen, darunter das öffentliche Internet, Private Service Connect für Google APIs und den privater Google-Zugriff.

Öffentlicher Zugriff

Standardmäßig sind diese öffentlichen APIs über das Internet erreichbar. Für die Verwendung sind jedoch IAM-Berechtigungen erforderlich. Funktionen wie Private Service Connect für Google APIs und der privater Google-Zugriff erleichtern zwar die private Kommunikation über hybride Netzwerkarchitekturen, beseitigen aber nicht die öffentliche Internetzugänglichkeit für Agent Platform APIs.

Um den API-Zugriff detailliert zu steuern und die öffentliche Internetnutzung explizit einzuschränken, ist die Implementierung von VPC Service Controls unerlässlich. Wenn Sie einen VPC Service Controls-Perimeter (VPC-SC) einrichten und Gemini Enterprise in die geschützten Dienste aufnehmen, wird der gesamte öffentliche Internetzugriff auf Ihre Agent Platform-Instanz automatisch blockiert. Daher wird Nutzern, die versuchen, programmatisch oder über die Google Google Cloud Console auf Agent Platform-Dienste zuzugreifen, der Zugriff verweigert, es sei denn, sie sind in einer Zulassungsliste enthalten.

Informationen zum Wiederherstellen des Zugriffs für autorisierte Quellen außerhalb des Perimeters (z. B. Nutzer in Ihren Büros) finden Sie unter Zugriff auf öffentliche Endpunkte auf geschützte Ressourcen von außerhalb eines VPC Service Controls-Perimeters zulassen für Bereitstellungs anleitungen.

Privater Zugriff

Organisationen, die den Zugriff auf öffentliche Google APIs auf privaten Zugriff beschränken müssen, können VPC Service Controls in Kombination mit Private Service Connect für Google APIs (VPC Service Controls-Bundle) oder dem privater Google-Zugriff verwenden. Bei der Bereitstellung über hybride Netzwerke und innerhalb von Google Cloud, ermöglichen beide Optionen den privaten Zugriff auf Google APIs von lokalen Umgebungen aus. Private Service Connect für Google APIs bietet jedoch auch die Flexibilität, eine benutzerdefinierte IP-Adresse und einen DNS-Endpunktnamen zu definieren.

Als Best Practice sollten Sie die eingeschränkte virtuelle IP (VIP) mit Private Service Connect für Google APIs oder dem privater Google-Zugriff verwenden, um eine private Netzwerkroute für Anfragen an Google Cloud Dienste bereitzustellen, ohne die Anfragen im Internet verfügbar zu machen. Die eingeschränkte VIP unterstützt alle APIs, die VPC Service Controls schützen kann und die Überlegungen für lokale und VPC-Netzwerke erfordern. Nachfolgend sehen Sie einige Beispiele:

API-Zugriff über den Zugriff auf private Dienste steuern

Für die folgenden Agent Platform APIs, die mit dem Zugriff auf private Dienste bereitgestellt werden, ist eine zusätzliche Netzwerkkonfiguration erforderlich, wenn sie in einer Umgebung implementiert werden, die mit VPC Service Controls geschützt ist:

  • Vektorsuche (Indexabfrage)
  • Benutzerdefiniertes Training (Datenebene)
  • Agent Platform Pipelines
  • Private Endpunkte für Onlinevorhersagen

Agent Platform Pipelines ist beispielsweise ein von Google verwalteter Dienst (Ersteller), der in einem Einzelmandantenprojekt und VPC-Netzwerk bereitgestellt wird und die Möglichkeit bietet, unterstützte Dienste basierend auf den Anforderungen des Nutzers zu skalieren. Die Kommunikation zwischen den Ersteller- und Nutzernetzwerken wird mit VPC-Netzwerk-Peering hergestellt, mit Ausnahme des ausgehenden Internet-Traffics, der über das Erstellernetzwerk weitergeleitet wird.

Im Erstellernetzwerk ist eine Standardroute vorhanden, die neben dem uneingeschränkten Zugriff auf Google APIs auch den ausgehenden Internet-Traffic ermöglicht. Wenn Sie das Erstellernetzwerk aktualisieren möchten, um die eingeschränkte VIP zu unterstützen, müssen Sie VPC Service Controls für Peeringsaktivieren, wodurch die folgenden Aktionen für alle unterstützten Dienste ausgeführt werden, die in Ihrem Dienstnetzwerk-Erstellernetzwerk bereitgestellt werden:

  • Entfernt die IPv4-Standardroute (Ziel 0.0.0.0/0, nächster Hop „Standard-Internetgateway“).
  • Erstellt von Cloud DNS verwaltete private Zonen und autorisiert diese Zonen für das VPC-Netzwerk des Diensterstellers. Die Zonen umfassen googleapis.com, pkg.dev, gcr.io und andere erforderliche Domains oder Hostnamen für Google APIs und -Dienste, die mit VPC Service Controls kompatibel sind.
  • Die Datensätze in den Zonen lösen alle Hostnamen in 199.36.153.4, 199.36.153.5, 199.36.153.6 und 199.36.153.7 auf.

Eine alternative Methode zum Entfernen der Standardroute aus dem Erstellernetzwerk ohne die vorhandenen von Google verwalteten Dienste zu beeinträchtigen, ist die Verwendung von HA VPN über Cloud Interconnect . Diese Methode umfasst die folgenden Schritte:

  1. Stellen Sie zusätzlich zu HA VPN ein VPC-Netzwerk für Dienste im VPC-Netzwerk des Nutzers bereit.
  2. Stellen Sie von Google verwaltete Dienste im VPC-Netzwerk für Dienste bereit.
  3. Aktivieren Sie VPC Service Controls für Peerings.
  4. Geben Sie das Subnetz für den Zugriff auf private Dienste als benutzerdefinierte Routenwerbung vom Cloud Router aus an, wenn die verwalteten Dienste lokal erreichbar sein müssen.
  5. Aktualisieren Sie das VPC-Netzwerk-Peering für das Dienstnetzwerk mit der Option zum Exportieren benutzerdefinierter Routen.

Unterstützung von VPC Service Controls für Abstimmungspipelines für generative KI

Unterstützung von VPC Service Controls wird in der Abstimmungspipeline der folgenden Modelle bereitgestellt:

  • Die Gemini 2.5 Familie von Modellen.
  • text-bison for PaLM 2
  • BERT
  • T5
  • Die textembedding-gecko-Modellfamilie.

VPC Service Controls mit Gemini Enterprise Agent Platform Pipelines verwenden

Der Dienstperimeter blockiert den Zugriff von der Agent Platform auf APIs und Dienste von Drittanbietern im Internet. Wenn Sie Google Cloud Pipelinekomponenten verwenden oder eigene benutzerdefinierte Pipelinekomponenten für die Verwendung mit Agent Platform Pipelines erstellen, können Sie keine PyPI-Abhängigkeiten aus der öffentlichen Python Package Index-Registry (PyPI) installieren. Stattdessen müssen Sie eine der folgenden Aktionen ausführen:

Benutzerdefinierte Container verwenden

Als Best Practice für Produktionssoftware sollten Komponentenersteller containerisierte Python-Komponenten verwenden und die Abhängigkeiten in ihr Container-Image einbauen, damit während der Ausführung einer Pipeline keine Live-Installation erforderlich ist. Eine Möglichkeit dazu ist folgende:

  1. Erstellen Sie ein eigenes Container-Image mit dem Kubeflow Pipelines SDK und anderen vorinstallierten Paketen. Sie können beispielsweise us-docker.pkg.dev/vertex-ai/training/tf-cpu.2-17:latest als Basisebene Ihres Images verwenden und eine zusätzliche Ebene hinzufügen, um die Pakete zum Zeitpunkt der Containererstellung zu installieren.

  2. Aktualisieren Sie den Code der Komponentendefinition, um den Pfad base_image und das Flag install_kfp_package auf False zu setzen. Dieses Flag weist den KFP-Compiler an, keinen Befehl vom Typ „pip install kfp“ in die Containerbefehlszeile einzufügen, da das Kubeflow Pipelines SDK-Paket bereits im Image installiert ist. Beispiel:

    @component(
    base_image='gcr.io/deeplearning-platform-release/tf-cpu.2-17',
    install_kfp_package=False,
)
def my_component(...):
    ...

Pakete aus einem Artifact Registry-Repository installieren

Alternativ können Sie in Ihrem Projekt ein Artifact Registry-Repository erstellen, Python-Pakete darin speichern und Ihre Agent Platform-Umgebung so konfigurieren, dass sie daraus installiert wird, wie in diesem Abschnitt beschrieben. Weitere Informationen finden Sie unter Python-Pakete verwalten.

Rollen und Berechtigungen konfigurieren

  1. Das Dienstkonto für Ihre Agent Platform-Umgebung muss die Rolle iam.serviceAccountUser haben.
  2. Wenn Sie benutzerdefinierte PyPI-Pakete aus einem Repository im Netzwerk Ihres Projekts installieren und dieses Repository keine öffentliche IP-Adresse hat:
    1. Weisen Sie dem Dienstkonto der Umgebung Berechtigungen für den Zugriff auf dieses Repository zu.
    2. Prüfen Sie, ob die Verbindung zu diesem Repository in Ihrem Projekt konfiguriert ist.

Repository erstellen

  1. Erstellen Sie in Ihrem Projekt ein Artifact Registry-Repository im VPC-Modus.
  2. Speichern Sie die erforderlichen Python-Pakete im Repository.

Agent Platform-Umgebung für die Installation aus dem Repository konfigurieren

Wenn Sie benutzerdefinierte PyPI-Pakete aus einem oder mehreren Artifact Registry-Repositories installieren möchten, rufen Sie @dsl.component ähnlich wie im folgenden Beispiel auf:

@dsl.component(packages_to_install=["tensorflow"],
pip_index_urls=['https://us-central1-python.pkg.dev/mygcpproject1/pypi-repo1/simple', 'https://us-central1-python.pkg.dev/mygcpproject2/pypi-repo2/simple'],)
def hello_world(text: str) -> str:
    import my_package
    import tensorflow

    return my_package.hello_world(text)

VPC Service Controls mit der PSC-Schnittstelle verwenden

Für die folgenden Agent Platform APIs, die mit der Schnittstelle für den Zugriff auf private Dienste bereitgestellt werden, ist eine zusätzliche Netzwerkkonfiguration erforderlich, wenn sie in einer Umgebung implementiert werden, die mit VPC Service Controls geschützt ist:

  • Benutzerdefiniertes Training (Datenebene)
  • Agent Platform Pipelines
  • Private Endpunkte für Onlineinferenzen
  • Agent Runtime

Die Möglichkeit des Dienstes von Agent Platform-Erstellern, auf das öffentliche Internet zuzugreifen, hängt von der Sicherheitskonfiguration Ihres Projekts ab, insbesondere davon, ob Sie VPC Service Controls verwenden oder nicht:

  • Ohne VPC Service Controls: Der von Google verwaltete Mandant, der die Agent Platform hostet, behält den Standard-Internetzugriff bei. Dieser ausgehende Traffic verlässt direkt die sichere, von Google verwaltete Umgebung, in der Ihr Erstellerdienst ausgeführt wird. Eine Ausnahme von diesem Verhalten ist die Agent Runtime, die keinen ausgehenden Internet-Traffic bietet. Stattdessen müssen Sie eine Proxy-VM mit einer RFC 1918-Adresse für den ausgehenden Internet-Traffic bereitstellen.

  • Mit VPC Service Controls: Wenn Ihr Projekt in einem VPC Service Controls -Perimeter (VPC-SC) enthalten ist, wird der Standard-Internetzugriff der von Google verwalteten Umgebung, die die Agent Platform hostet, blockiert. Diese Einschränkung ist eine Sicherheitsmaßnahme, die die Daten-Exfiltration verhindern soll. Damit die Agent Platform in diesem Szenario auf das öffentliche Internet zugreifen kann, müssen Sie explizit einen sicheren Egress-Pfad konfigurieren, der den Traffic über Ihr VPC-Netzwerk weiterleitet.

Die empfohlene Methode umfasst folgende Schritte:

  1. Bereitstellen eines Proxyservers innerhalb Ihres VPC-Perimeters in einem RFC 1918-Subnetz.
  2. Erstellen eines Cloud NAT-Gateways, damit die Proxy-VM das Internet erreichen kann.
  3. Definieren des Proxyservers (IP-Adresse oder FQDN) in Ihrer Laufzeitumgebung.

Für diese Aufgabe ist kein bestimmter oder bevorzugter Netzwerkproxy vorgeschrieben. Sie können jede geeignete Lösung verwenden. Beispiele sind: Squid-Proxy, HAProxy, Envoy und TinyProxy.

Dienstperimeter erstellen

Eine Übersicht zum Erstellen eines Dienstperimeters finden Sie unter Dienst perimeter erstellen in der Dokumentation zu VPC Service Controls.

Eingeschränkte Dienste Ihrem Perimeter hinzufügen

Beim Einrichten eines Dienstperimeters empfehlen wir, alle eingeschränkten Dienste als Best Practice für die Sicherheiteinzubeziehen. Dieser umfassende Ansatz trägt dazu bei, potenzielle Sicherheitslücken und unbefugten Zugriff zu minimieren. Es kann jedoch Szenarien geben, in denen Ihre Organisation spezifische Anforderungen hat, die sich auf den Schutz der Gemini Enterprise Agent Platform und ihrer verbundenen APIs konzentrieren. In solchen Fällen haben Sie die Flexibilität, nur die spezifischen Agent Platform APIs auszuwählen und einzubeziehen, die für Ihre Abläufe unerlässlich sind.

Zu den Agent Platform APIs, die Sie in Ihren Dienstperimeter einbeziehen können, gehören:

  • Die Gemini Enterprise Agent Platform unterstützt die folgenden Dienste und Funktionen:
    • Batchinferenz
    • Datasets
    • Agent Platform Feature Store (Bigtable-Onlinebereitstellung)
    • Agent Platform Feature Store (optimierte Onlinebereitstellung) (eingestellt)
    • Generative KI auf der Gemini Enterprise Agent Platform (Gemini)
    • Model Registry
    • Onlineinferenz
    • Modellabstimmung öffnen
    • Semantische Governance-Richtlinie
    • Semantic Governance Policy Engine
    • Vektorsuche (Indexerstellung)
    • Vektorsuche (Indexabfrage)
    • Benutzerdefiniertes Training (Steuerungsebene)
    • Benutzerdefiniertes Training (Datenebene)
    • Agent Platform Pipelines
    • Private Endpunkte für Onlineinferenzen
    • Colab Enterprise
    • Agent Runtime
    • Verwaltete Trainingscluster
    • Agent Platform-Sandboxes
  • Notebooks API unterstützt den folgenden Dienst:
    • Gemini Enterprise Agent Platform Workbench

Beschränkungen

Die folgenden Einschränkungen gelten bei der Verwendung von VPC Service Controls:

  • Das Live-Abrufen von URL-Kontexten ist für VPC-SC-Projekte deaktiviert, damit die Daten-Exfiltration blockiert wird.
  • Zum Hinzufügen von Daten-Labels müssen Sie die IP-Adressen der Labelersteller einer Zugriffsebene hinzufügen.
  • Bei Google Cloud Pipelinekomponenten starten die Komponenten Container, die ihr Basis-Image auf alle Anforderungen prüfen. Das KFP-Paket sowie alle im Argument packages_to_install aufgeführten Pakete sind die Anforderungen für einen Container. Wenn die angegebenen Anforderungen nicht bereits im Basis-Image vorhanden sind (entweder bereitgestellt oder benutzerdefiniert), versucht die Komponente, sie aus dem Python Package Index (PyPI) herunterzuladen. Da der Dienstperimeter den Zugriff von der Gemini Enterprise Agent Platform auf APIs und Dienste von Drittanbietern im Internet blockiert, schlägt der Download mit Connection to pypi.org timed out fehl. Informationen zu Möglichkeiten, diesen Fehler zu vermeiden, finden Sie unter VPC Service Controls mit Agent Platform Pipelines verwenden.
  • Wenn Sie VPC Service Controls mit benutzerdefinierten Kerneln in der Agent Platform Workbench verwenden, müssen Sie stattdessen DNS-Peering so konfigurieren, dass Anfragen für *.notebooks.googleusercontent.com an das Subnetz 199.36.153.8/30 (private.googleapis.com) anstelle von 199.36.153.4/30 (restricted.googleapis.com) gesendet werden.
  • Wenn Sie VPC Service Controls mit der Gemini Enterprise Agent Platform Inference verwenden, müssen Endpunkte erstellt werden, nachdem das Projekt dem Dienstperimeter hinzugefügt wurde. Wenn ein Endpunkt in einem Projekt erstellt wird, das nicht Teil eines Dienstperimeters ist, und dieses Projekt später einem Dienstperimeter hinzugefügt wird, schlägt der Versuch, ein Modell auf diesem Endpunkt bereitzustellen, fehl. Wenn der Endpunkt ein gemeinsam genutzter öffentlicher Endpunkt ist, schlägt auch das Senden einer Anfrage an den Endpunkt fehl. Ebenso schlägt der Versuch, ein Modell auf einem Endpunkt bereitzustellen, fehl, wenn der Endpunkt in einem Projekt erstellt wurde, das Teil eines Dienstperimeters war, und das Projekt später entfernt wird.
  • Wenn Sie VPC Service Controls mit der Agent Runtime verwenden, muss das Projekt Teil eines Dienstperimeters sein, bevor Sie den KI-Agenten bereitstellen. Wenn ein KI-Agent bereitgestellt wird, bevor das Projekt einem Perimeter hinzugefügt wird, wird der KI-Agent nicht durch VPC Service Controls geschützt und hat weiterhin Zugriff auf das öffentliche Internet.
  • Model Garden-Bereitstellungen mit einem Klick auf einen öffentlichen Endpunkt (dedizierter Endpunkt) werden in einer VPC-SC-Umgebung nicht unterstützt. Verwenden Sie stattdessen einen privaten Endpunkt, der VPC Service Controls unterstützt. Weitere Informationen finden Sie unter Modell auf einem privaten Endpunkt bereitstellen.
  • Das Anfrage- und Antwort-Logging ist mit VPC Service Controls nicht verfügbar.

Nächste Schritte