Controlli di servizio VPC con Gemini Enterprise Agent Platform

I Controlli di servizio VPC possono aiutarti a mitigare il rischio di esfiltrazione di dati da Gemini Enterprise Agent Platform. Utilizza i Controlli di servizio VPC per creare un perimetro di servizio che protegga le risorse e i dati che specifichi. Ad esempio, quando utilizzi i Controlli di servizio VPC per proteggere Agent Platform, i seguenti artefatti non possono uscire dal perimetro di servizio:

  • Dati di addestramento per un modello AutoML o un modello personalizzato
  • Modelli che hai creato
  • Modelli che hai cercato utilizzando Neural Architecture Search su Agent Platform
  • Richieste di inferenze online
  • Risultati di una richiesta di inferenza batch
  • Modelli Gemini

Controllo dell'accesso alle API di Google

Le API Agent Platform, come descritto in Accesso a Gemini Enterprise Agent Platform da on-premise e multicloud, comprendono una gamma di opzioni di accessibilità, tra cui internet pubblico, Private Service Connect per le API di Google e l'accesso privato Google.

Accesso pubblico

Per impostazione predefinita, queste API pubbliche sono raggiungibili da internet, ma per utilizzarle sono necessarie le autorizzazioni IAM. Sebbene funzionalità come Private Service Connect per le API di Google e l'accesso privato Google facilitino la comunicazione privata su architetture di rete ibride, non eliminano l'accessibilità a internet pubblico per le API della piattaforma dell'agente.

Per stabilire un controllo granulare sull'accesso alle API e limitare esplicitamente l'esposizione a internet pubblico, l'implementazione dei Controlli di servizio VPC diventa essenziale. Quando stabilisci un perimetro dei Controlli di servizio VPC (VPC-SC) e includi Gemini Enterprise nei servizi protetti, l'accesso a internet pubblico alla tua istanza di Agent Platform viene bloccato automaticamente. Di conseguenza, agli utenti che tentano di accedere ai servizi della piattaforma agente in modo programmatico o utilizzando la console Google Cloud viene negato l'accesso, a meno che non siano inclusi in una lista consentita.

Per ripristinare l'accesso per le origini autorizzate esterne al perimetro (ad esempio gli utenti nei tuoi uffici aziendali), consulta Consenti l'accesso da endpoint pubblici alle risorse protette dall'esterno di un perimetro dei Controlli di servizio VPC per le istruzioni di deployment.

Accesso privato

Le organizzazioni che devono limitare l'accesso pubblico alle API di Google all'accesso privato possono utilizzare i Controlli di servizio VPC in combinazione con Private Service Connect per le API di Google (bundle dei Controlli di servizio VPC) o l'accesso privato Google. Se il deployment viene eseguito su un networking ibrido e all'interno di Google Cloud, entrambe le opzioni consentono l'accesso privato alle API di Google da on-premise. Tuttavia, Private Service Connect per le API di Google offre anche flessibilità nella definizione di un indirizzo IP personalizzato e di un nome endpoint DNS.

Come best practice, utilizza l'IP virtuale (VIP) con limitazioni con Private Service Connect per le API di Google o l'accesso privato Google per fornire una route di rete privata per le richieste ai servizi Google Cloud senza esporre le richieste a internet. Il VIP con limitazioni supporta tutte le API che possono essere protette dai Controlli di servizio VPC e che richiedono considerazioni per le reti on-premise e le reti VPC. Di seguito sono riportati alcuni esempi:

Controllo dell'accesso alle API tramite l'accesso privato ai servizi

Le seguenti API Agent Platform di cui è stato eseguito il deployment con l'accesso privato ai servizi richiedono una configurazione di rete aggiuntiva se implementate in un ambiente protetto con i Controlli di servizio VPC:

  • Vector Search (query di indice)
  • Addestramento personalizzato (piano dati)
  • Pipeline Agent Platform
  • Endpoint di previsione online privati

Ad esempio, le pipeline della piattaforma dell'agente sono un servizio gestito da Google (producer), di cui è stato eseguito il deployment in un progetto single-tenant e in una rete VPC con la possibilità di scalare i servizi supportati in base ai requisiti del consumer. La comunicazione tra le reti producer e consumer viene stabilita con il peering di rete VPC, ad eccezione del traffico in uscita verso internet, che viene instradato attraverso la rete producer.

Nella rete producer esiste una route predefinita che consente il traffico in uscita verso internet, oltre all'accesso illimitato alle API di Google. L'aggiornamento della rete producer per supportare il VIP limitato richiede l'abilitazione dei Controlli di servizio VPC per i peering, che esegue le seguenti azioni su tutti i servizi supportati di cui è stato eseguito il deployment nella rete producer di networking dei servizi:

  • Rimuove la route predefinita IPv4 (destinazione 0.0.0.0/0, gateway internet predefinito dell'hop successivo).
  • Crea zone private gestite da Cloud DNS e le autorizza per la rete VPC del producer di servizi. Le zone includono googleapis.com, pkg.dev, gcr.io e altri domini o nomi host necessari per le API e i servizi di Google compatibili con i Controlli di servizio VPC.
  • I dati dei record nelle zone risolvono tutti i nomi host in 199.36.153.4, 199.36.153.5, 199.36.153.6 e 199.36.153.7.

Un metodo alternativo per rimuovere la route predefinita dalla rete producer senza influire sui servizi gestiti da Google esistenti consiste nell'utilizzare la VPN ad alta affidabilità su Cloud Interconnect, che prevede i seguenti passaggi:

  1. Esegui il deployment di una rete VPC dei servizi oltre alla VPN ad alta disponibilità affidabilità nella rete VPC consumer.
  2. Esegui il deployment dei servizi gestiti da Google nella rete VPC dei servizi.
  3. Abilita i Controlli di servizio VPC per i peering.
  4. Annuncia la subnet di accesso privato ai servizi come annuncio di route personalizzato dal router Cloud se i servizi gestiti richiedono la raggiungibilità on-premise.
  5. Aggiorna il peering di rete VPC per il networking dei servizi con l'opzione Esporta route personalizzate.

Supporto dei Controlli di servizio VPC per le pipeline di ottimizzazione dell'AI generativa

Il supporto dei Controlli di servizio VPC è fornito nella pipeline di ottimizzazione dei seguenti modelli:

  • La famiglia di modelli Gemini 2.5.
  • text-bison for PaLM 2
  • BERT
  • T5
  • La famiglia di modelli textembedding-gecko.

Utilizzo dei Controlli di servizio VPC con le pipeline di Gemini Enterprise Agent Platform

Il perimetro di servizio blocca l'accesso da Agent Platform ad API e servizi di terze parti su internet. Se utilizzi i componenti della pipelineGoogle Cloud o crei i tuoi componenti della pipeline personalizzati da utilizzare con le pipeline della piattaforma agente, non puoi installare le dipendenze PyPI dal registro pubblico Python Package Index (PyPI). Devi invece eseguire una delle seguenti operazioni:

Utilizzo di container personalizzati

Come best practice per il software di produzione, gli autori dei componenti devono utilizzare componenti Python containerizzati e creare le dipendenze nell'immagine container, in modo che non sia necessaria un'installazione in tempo reale durante l'esecuzione di una pipeline. Un modo per farlo è il seguente:

  1. Crea la tua immagine container con l'SDK Kubeflow Pipelines e altri pacchetti preinstallati. Ad esempio, puoi utilizzare us-docker.pkg.dev/vertex-ai/training/tf-cpu.2-17:latest come livello di base della tua immagine e aggiungere un livello aggiuntivo per installare i pacchetti al momento della creazione del container.

  2. Aggiorna il codice di definizione del componente per impostare il percorso base_image e il flag install_kfp_package su False. Questo flag indica al compilatore KFP di non inserire un comando pip install kfp nella riga di comando del container, perché il pacchetto SDK Kubeflow Pipelines è già installato nell'immagine. Ad esempio:

    @component(
    base_image='gcr.io/deeplearning-platform-release/tf-cpu.2-17',
    install_kfp_package=False,
)
def my_component(...):
    ...

Installa i pacchetti da un repository Artifact Registry

In alternativa, puoi creare un repository Artifact Registry nel tuo progetto, archiviare i pacchetti Python al suo interno e configurare l'ambiente della piattaforma dell'agente per l'installazione da lì, come descritto in questa sezione. Per saperne di più, consulta Gestisci i pacchetti Python.

Configura ruoli e autorizzazioni

  1. Il account di servizio per l'ambiente Agent Platform deve avere il ruolo iam.serviceAccountUser.
  2. Se installi pacchetti PyPI personalizzati da un repository nella rete del tuo progetto e questo repository non ha un indirizzo IP pubblico:
    1. Assegna le autorizzazioni per accedere a questo repository al account di servizio dell'ambiente.
    2. Assicurati che la connettività a questo repository sia configurata nel tuo progetto.

Crea il repository

  1. Crea un repository Artifact Registry in modalità VPC nel tuo progetto.
  2. Archiviare i pacchetti Python richiesti nel repository.

Configura l'ambiente Agent Platform per l'installazione dal repository

Per installare pacchetti PyPI personalizzati da uno o più repository Artifact Registry, effettua una chiamata simile alla seguente a @dsl.component:

@dsl.component(packages_to_install=["tensorflow"],
pip_index_urls=['https://us-central1-python.pkg.dev/mygcpproject1/pypi-repo1/simple', 'https://us-central1-python.pkg.dev/mygcpproject2/pypi-repo2/simple'],)
def hello_world(text: str) -> str:
    import my_package
    import tensorflow

    return my_package.hello_world(text)

Utilizzo dei Controlli di servizio VPC con l'interfaccia PSC

Le seguenti API Agent Platform di cui è stato eseguito il deployment con l'interfaccia Private Service Connect richiedono una configurazione di rete aggiuntiva se implementate in un ambiente protetto con i Controlli di servizio VPC:

  • Addestramento personalizzato (piano dati)
  • Pipeline Agent Platform
  • Endpoint di inferenza online privati
  • Agent Runtime

La capacità del servizio dei producer della piattaforma degli agenti di accedere alla rete internet pubblica dipende dalla configurazione della sicurezza del progetto, in particolare dall'utilizzo o meno dei Controlli di servizio VPC:

  • Senza Controlli di servizio VPC: il tenant gestito da Google che ospita Agent Platform mantiene l'accesso a internet predefinito. Questo traffico in uscita proviene direttamente dall'ambiente sicuro gestito da Google in cui viene eseguito il servizio producer. L'eccezione a questo comportamento è Agent Runtime, che non fornisce traffico in uscita verso internet. Devi invece eseguire il deployment di una VM proxy con un indirizzo RFC 1918 per il traffico in uscita verso internet.

  • Con i Controlli di servizio VPC: quando il tuo progetto è racchiuso in un perimetro dei Controlli di servizio VPC (VPC-SC), l'accesso a internet predefinito dell'ambiente gestito da Google che ospita Agent Platform è bloccato. Questa limitazione è una misura di sicurezza progettata per impedire l'esfiltrazione di dati. Per consentire ad Agent Platform di accedere alla rete internet pubblica in questo scenario, devi configurare esplicitamente un percorso di uscita sicuro che instradi il traffico attraverso la tua rete VPC.

Il metodo consigliato prevede:

  1. Deployment di un server proxy all'interno del perimetro VPC in una subnet RFC 1918.
  2. Creazione di un gateway Cloud NAT per consentire alla VM proxy di accedere a internet.
  3. Definizione del server proxy (indirizzo IP o FQDN) nell'ambiente di runtime.

Non esiste un proxy di rete prescritto o preferito per questa attività. Puoi utilizzare qualsiasi soluzione adatta. Ecco alcuni esempi: Squid proxy, HAProxy, Envoy e TinyProxy.

Creazione del perimetro di servizio

Per una panoramica della creazione di un perimetro di servizio, consulta Crea un perimetro di servizio nella documentazione dei Controlli di servizio VPC.

Aggiunta di servizi limitati al perimetro

Quando stabilisci un perimetro di servizio, ti consigliamo di includere tutti i servizi limitati come best practice per la sicurezza. Questo approccio completo contribuisce a ridurre al minimo le potenziali vulnerabilità e gli accessi non autorizzati. Tuttavia, potrebbero esserci scenari in cui la tua organizzazione ha requisiti specifici incentrati sulla protezione di Gemini Enterprise Agent Platform e delle sue API interconnesse. In questi casi, hai la flessibilità di selezionare e includere solo le API di Agent Platform specifiche che sono essenziali per le tue operazioni.

Le API Agent Platform che puoi incorporare nel perimetro di servizio includono:

  • Gemini Enterprise Agent Platform supporta i seguenti servizi e funzionalità:
    • Inferenza batch
    • Set di dati
    • Agent Platform Feature Store (erogazione online di Bigtable)
    • Agent Platform Feature Store (erogazione online ottimizzata) (Ritirato)
    • AI generativa su Gemini Enterprise Agent Platform (Gemini)
    • Model Registry
    • Inferenza online
    • Apri l'ottimizzazione del modello
    • Norme di governance semantica
    • Policy Engine di governance semantica
    • Vector Search (creazione di indici)
    • Vector Search (query di indice)
    • Addestramento personalizzato (control plane)
    • Addestramento personalizzato (piano dati)
    • Pipeline Agent Platform
    • Endpoint di inferenza online privati
    • Colab Enterprise
    • Agent Runtime
    • Cluster di addestramento gestiti
    • Sandbox di Agent Platform
  • L'API Notebooks supporta il seguente servizio:
    • Gemini Enterprise Agent Platform Workbench

Limitazioni

Quando utilizzi i Controlli di servizio VPC, si applicano le seguenti limitazioni:

  • Il recupero in tempo reale del contesto dell'URL è disattivato per i progetti VPC-SC in modo da bloccare l'esfiltrazione di dati.
  • Per l'etichettatura dei dati, devi aggiungere gli indirizzi IP degli etichettatori a un livello di accesso.
  • Per i componenti della pipeline Google Cloud , i componenti avviano container che controllano l'immagine di base per tutti i requisiti. Il pacchetto KFP, così come tutti i pacchetti elencati nell'argomento packages_to_install, sono i requisiti per un container. Se i requisiti specificati non sono già presenti nell'immagine di base (fornita o personalizzata), il componente tenta di scaricarli dal Python Package Index (PyPI). Poiché il perimetro di servizio blocca l'accesso da Gemini Enterprise Agent Platform ad API e servizi di terze parti su internet, il download non va a buon fine con Connection to pypi.org timed out. Per scoprire come evitare questo errore, consulta Utilizzo dei Controlli di servizio VPC con le pipeline della piattaforma agente.
  • Quando utilizzi i Controlli di servizio VPC con kernel personalizzati in Agent Platform Workbench, devi invece configurare il peering DNS per inviare richieste per *.notebooks.googleusercontent.com alla subnet 199.36.153.8/30 (private.googleapis.com) anziché 199.36.153.4/30 (restricted.googleapis.com).
  • Quando utilizzi i Controlli di servizio VPC con Gemini Enterprise Agent Platform Inference, gli endpoint devono essere creati dopo l'aggiunta del progetto al perimetro di servizio. Se un endpoint viene creato in un progetto che non fa parte di un perimetro di servizio e successivamente il progetto viene aggiunto a un perimetro di servizio, il tentativo di eseguire il deployment di un modello in quell'endpoint non andrà a buon fine. Se l'endpoint è un endpoint pubblico condiviso, anche l'invio di una richiesta all'endpoint non andrà a buon fine. Analogamente, il tentativo di eseguire il deployment di un modello in un endpoint non andrà a buon fine se l'endpoint è stato creato in un progetto che faceva parte di un perimetro di servizio e successivamente il progetto viene rimosso.
  • Quando utilizzi i Controlli di servizio VPC con Agent Runtime, il progetto deve far parte di un perimetro di servizio prima di eseguire il deployment dell'agente. Se un agente viene distribuito prima che il progetto venga aggiunto a un perimetro, l'agente non verrà protetto dai Controlli di servizio VPC e continuerà ad avere accesso a internet pubblico.
  • I deployment pubblici (endpoint dedicato) con un solo clic di Model Garden non sono supportati in un ambiente VPC-SC. Utilizza invece un endpoint privato che supporti i Controlli di servizio VPC. Per saperne di più, consulta Esegui il deployment di un modello in un endpoint privato.
  • Il logging delle richieste e delle risposte non è disponibile con i Controlli di servizio VPC.

Passaggi successivi