Controlli di servizio VPC con Gemini Enterprise Agent Platform

I Controlli di servizio VPC possono aiutarti a mitigare il rischio di esfiltrazione di dati da Gemini Enterprise Agent Platform. Utilizza i Controlli di servizio VPC per creare un perimetro di servizio che protegga le risorse e i dati che specifichi. Ad esempio, quando utilizzi i Controlli di servizio VPC per proteggere Agent Platform, i seguenti artefatti non possono uscire dal perimetro di servizio:

  • Dati di addestramento per un modello AutoML o un modello personalizzato
  • Modelli che hai creato
  • Modelli che hai cercato utilizzando Neural Architecture Search su Agent Platform
  • Richieste di inferenze online
  • Risultati di una richiesta di inferenza batch
  • Modelli Gemini

Controllo dell'accesso alle API di Google

Le API di Agent Platform, come descritto in Accesso a Gemini Enterprise Agent Platform da on-premise e multicloud, comprendono una serie di opzioni di accessibilità, tra cui internet pubblico, Private Service Connect per le API di Google e accesso privato Google.

Accesso pubblico

Per impostazione predefinita, queste API pubbliche sono raggiungibili da internet; tuttavia, per l'utilizzo sono necessarie le autorizzazioni IAM. Sebbene funzionalità come Private Service Connect per le API di Google e l'accesso privato Google facilitino la comunicazione privata tramite architetture di rete ibride, non eliminano l'accessibilità a internet pubblico per le API di Agent Platform.

Per stabilire un controllo granulare sull'accesso alle API e limitare esplicitamente l'esposizione a internet pubblico, l'implementazione dei Controlli di servizio VPC diventa essenziale. Quando stabilisci un perimetro dei Controlli di servizio VPC (VPC-SC) e includi Gemini Enterprise nei servizi protetti, tutto l'accesso a internet pubblico alla tua istanza di Agent Platform viene bloccato automaticamente. Di conseguenza, agli utenti che tentano di accedere ai servizi di Agent Platform a livello di programmazione o utilizzando la console Google Google Cloud viene negato l'accesso, a meno che non siano inclusi in una lista consentita.

Per ripristinare l'accesso per le origini autorizzate al di fuori del perimetro (ad esempio, gli utenti negli uffici aziendali), consulta Consentire l'accesso agli endpoint pubblici alle risorse protette dall'esterno di un perimetro dei Controlli di servizio VPC per le istruzioni di deployment.

Accesso privato

Le organizzazioni che devono limitare le API di Google pubbliche all'accesso privato possono utilizzare i Controlli di servizio VPC in combinazione con Private Service Connect per le API di Google (bundle dei Controlli di servizio VPC) o l'accesso privato Google. Quando viene eseguito il deployment su una rete ibrida e all'interno Google Cloud, entrambe le opzioni consentono l'accesso privato alle API di Google da on-premise. Tuttavia, Private Service Connect per le API di Google offre anche la flessibilità di definire un indirizzo IP personalizzato e un nome endpoint DNS.

Come best practice, utilizza l'IP virtuale (VIP) con limitazioni con Private Service Connect per le API di Google o l'accesso privato Google per fornire una route di rete privata per le richieste ai Google Cloud servizi senza esporre le richieste a internet. Il VIP con limitazioni supporta tutte le API che possono essere protette dai Controlli di servizio VPC che richiedono considerazioni per le reti on-premise e VPC. Di seguito sono riportati alcuni esempi:

Controllo dell'accesso alle API tramite l'accesso privato ai servizi

Le seguenti API di Agent Platform di cui è stato eseguito il deployment con l'accesso privato ai servizi richiedono una configurazione di rete aggiuntiva quando vengono implementate in un ambiente protetto con i Controlli di servizio VPC:

  • Vector Search (query dell'indice)
  • Addestramento personalizzato (piano dati)
  • Pipeline di Agent Platform
  • Endpoint di previsione online privati

Ad esempio, le pipeline di Agent Platform sono un servizio gestito da Google (producer), di cui è stato eseguito il deployment in un progetto e in una rete VPC single-tenant con la possibilità di scalare i servizi supportati in base ai requisiti del consumer. La comunicazione tra le reti producer e consumer viene stabilita con il peering di rete VPC, ad eccezione del traffico in uscita da internet, che viene instradato tramite la rete producer.

Nella rete producer esiste una route predefinita che consente il traffico in uscita da internet, oltre all'accesso senza limitazioni alle API di Google. L'aggiornamento della rete producer per supportare il VIP con limitazioni richiede l'abilitazione dei Controlli di servizio VPC per i peering, che esegue le seguenti azioni su tutti i servizi supportati di cui è stato eseguito il deployment nella rete producer di Service Networking:

  • Rimuove la route predefinita IPv4 (destinazione 0.0.0.0/0, hop successivo gateway internet predefinito).
  • Crea zone private gestite da Cloud DNS e autorizza queste zone per la rete VPC del producer di servizi. Le zone includono googleapis.com, pkg.dev, gcr.io e altri domini o nomi host necessari per le API e i servizi di Google compatibili con i Controlli di servizio VPC.
  • I dati dei record nelle zone risolvono tutti i nomi host in 199.36.153.4, 199.36.153.5, 199.36.153.6 e 199.36.153.7.

Un metodo alternativo per rimuovere la route predefinita dalla rete producer senza influire sui servizi gestiti da Google esistenti è utilizzare la VPN ad alta affidabilità su Cloud Interconnect , che consiste nei seguenti passaggi:

  1. Esegui il deployment di una rete VPC dei servizi in aggiunta alla VPN ad alta disponibilità affidabilità nella rete VPC consumer.
  2. Esegui il deployment dei servizi gestiti da Google nella rete VPC dei servizi.
  3. Abilita Controlli di servizio VPC per i peering.
  4. Pubblicizza la subnet di accesso privato ai servizi come un annuncio di route personalizzato da router Cloud se i servizi gestiti richiedono la connettività on-premise.
  5. Aggiorna il peering di rete VPC di Service Networking con l' opzione di esportazione delle route personalizzate.

Supporto dei Controlli di servizio VPC per le pipeline di ottimizzazione dell'AI generativa

Il supporto dei Controlli di servizio VPC è fornito nella pipeline di ottimizzazione dei seguenti modelli:

  • text-bison for PaLM 2
  • BERT
  • T5
  • La famiglia di modelli textembedding-gecko.

Utilizzo dei Controlli di servizio VPC con le pipeline di Gemini Enterprise Agent Platform

Il perimetro di servizio blocca l'accesso da Agent Platform alle API e ai servizi di terze parti su internet. Se utilizzi Google Cloud componenti della pipeline o crei i tuoi componenti della pipeline personalizzati da utilizzare con le pipeline di Agent Platform, non puoi installare le dipendenze PyPI dal registro pubblico Python Package Index (PyPI). In alternativa, devi eseguire una delle seguenti operazioni:

Utilizzo di container personalizzati

Come best practice per il software di produzione, gli autori dei componenti devono utilizzare componenti Python in container e creare le dipendenze nella loro immagine container, in modo che non sia necessaria alcuna installazione live durante l'esecuzione di una pipeline. Un modo per farlo è il seguente:

  1. Crea la tua immagine container con l'SDK Kubeflow Pipelines e altri pacchetti preinstallati. Ad esempio, puoi utilizzare us-docker.pkg.dev/vertex-ai/training/tf-cpu.2-17:latest come livello di base dell'immagine e aggiungere un livello extra per installare i pacchetti durante il tempo di compilazione del container.

  2. Aggiorna il codice di definizione del componente per impostare il percorso base_image e il flag install_kfp_package su False. Questo flag indica al compilatore KFP di non inserire un comando pip install kfp nella riga di comando del container, perché il pacchetto SDK Kubeflow Pipelines è già installato nell'immagine. Ad esempio:

    @component(
    base_image='gcr.io/deeplearning-platform-release/tf-cpu.2-17',
    install_kfp_package=False,
)
def my_component(...):
    ...

Installazione di pacchetti da un repository Artifact Registry

In alternativa, puoi creare un repository Artifact Registry nel tuo progetto, archiviare i pacchetti Python al suo interno e configurare l'ambiente Agent Platform per l'installazione da questo repository, come descritto in questa sezione. Per saperne di più, consulta Gestire i pacchetti Python.

Configurazione di ruoli e autorizzazioni

  1. Il account di servizio per l'ambiente Agent Platform deve avere il ruolo iam.serviceAccountUser.
  2. Se installi pacchetti PyPI personalizzati da un repository nella rete del tuo progetto e questo repository non ha un indirizzo IP pubblico:
    1. Assegna le autorizzazioni per accedere a questo repository al account di servizio dell'ambiente.
    2. Assicurati che la connettività a questo repository sia configurata nel tuo progetto.

Creazione del repository

  1. Crea un repository Artifact Registry in modalità VPC nel tuo progetto.
  2. Archivia i pacchetti Python richiesti nel repository.

Configurazione dell'ambiente Agent Platform per l'installazione dal repository

Per installare pacchetti PyPI personalizzati da uno o più repository Artifact Registry, effettua una chiamata simile alla seguente a @dsl.component:

@dsl.component(packages_to_install=["tensorflow"],
pip_index_urls=['https://us-central1-python.pkg.dev/mygcpproject1/pypi-repo1/simple', 'https://us-central1-python.pkg.dev/mygcpproject2/pypi-repo2/simple'],)
def hello_world(text: str) -> str:
    import my_package
    import tensorflow

    return my_package.hello_world(text)

Utilizzo dei Controlli di servizio VPC con l'interfaccia PSC

Le seguenti API di Agent Platform di cui è stato eseguito il deployment con l'interfaccia di connessione ai servizi privati richiedono una configurazione di rete aggiuntiva quando vengono implementate in un ambiente protetto con i Controlli di servizio VPC:

  • Addestramento personalizzato (piano dati)
  • Pipeline di Agent Platform
  • Endpoint di inferenza online privati
  • Agent Runtime

La capacità del servizio dei producer di Agent Platform di accedere a internet pubblico dipende dalla configurazione di sicurezza del tuo progetto, in particolare se utilizzi o meno i Controlli di servizio VPC:

  • Senza i Controlli di servizio VPC: il tenant gestito da Google che ospita Agent Platform mantiene il suo accesso a internet predefinito. Questo traffico in uscita esce direttamente dall'ambiente sicuro e gestito da Google in cui viene eseguito il servizio producer. L'eccezione a questo comportamento è Agent Runtime, che non fornisce il traffico in uscita da internet. In alternativa, devi eseguire il deployment di una VM proxy con un indirizzo RFC 1918 per il traffico in uscita da internet.

  • Con i Controlli di servizio VPC: quando il tuo progetto è racchiuso in un perimetro dei Controlli di servizio VPC (VPC-SC), l'ambiente gestito da Google che ospita Agent Platform ha l'accesso a internet predefinito bloccato. Questa limitazione è una misura di sicurezza progettata per impedire l'esfiltrazione di dati. Per consentire ad Agent Platform di accedere a internet pubblico in questo scenario, devi configurare esplicitamente un percorso di uscita sicuro che instrada il traffico attraverso la rete VPC.

Il metodo consigliato prevede:

  1. Eseguire il deployment di un server proxy all'interno del perimetro VPC in una subnet RFC 1918.
  2. Creare un gateway Cloud NAT per consentire alla VM proxy di raggiungere internet.
  3. Definire il server proxy (indirizzo IP o FQDN) nell'ambiente di runtime.

Non esiste un proxy di rete prescritto o preferito per questa attività. Puoi utilizzare qualsiasi soluzione adatta. Esempi: proxy Squid, HAProxy, Envoy e TinyProxy.

Creazione del perimetro di servizio

Per una panoramica della creazione di un perimetro di servizio, consulta Creare un perimetro di servizio nella documentazione dei Controlli di servizio VPC.

Aggiunta di servizi limitati al perimetro

Quando stabilisci un perimetro di servizio, ti consigliamo di includere tutti i servizi limitati come una best practice per la sicurezza. Questo approccio completo contribuisce a ridurre al minimo le potenziali vulnerabilità e l'accesso non autorizzato. Tuttavia, potrebbero esistere scenari in cui la tua organizzazione ha requisiti specifici incentrati sulla protezione di Gemini Enterprise Agent Platform e delle relative API interconnesse. In questi casi, hai la flessibilità di selezionare e includere solo le API di Agent Platform specifiche essenziali per le tue operazioni.

Le API di Agent Platform che puoi incorporare nel perimetro di servizio includono le seguenti:

  • Gemini Enterprise Agent Platform supporta i seguenti servizi e funzionalità:
    • Inferenza batch
    • Set di dati
    • Agent Platform Feature Store (erogazione online Bigtable)
    • Agent Platform Feature Store (erogazione online ottimizzata) (ritirato)
    • AI generativa su Gemini Enterprise Agent Platform (Gemini)
    • Model Registry
    • Inferenza online
    • Ottimizzazione dei modelli aperti
    • Vector Search (creazione dell'indice)
    • Vector Search (query dell'indice)
    • Addestramento personalizzato (control plane)
    • Addestramento personalizzato (piano dati)
    • Pipeline di Agent Platform
    • Endpoint di inferenza online privati
    • Colab Enterprise
    • Agent Runtime
    • Cluster di addestramento gestiti
  • L'API Notebooks supporta il seguente servizio:
    • Gemini Enterprise Agent Platform Workbench

Limitazioni

Quando utilizzi i Controlli di servizio VPC, si applicano le seguenti limitazioni:

  • Il recupero live del contesto URL è disattivato per i progetti VPC-SC in modo che l'esfiltrazione di dati venga bloccata.
  • Per l'etichettatura dei dati, devi aggiungere gli indirizzi IP degli etichettatori a un livello di accesso.
  • Per i Google Cloud componenti della pipeline, i componenti avviano i container che controllano la loro immagine di base per tutti i requisiti. Il pacchetto KFP, nonché tutti i pacchetti elencati nell'argomento packages_to_install, sono i requisiti per un container. Se uno dei requisiti specificati non è già presente nell'immagine di base (fornita o personalizzata), il componente tenta di scaricarlo da Python Package Index (PyPI). Poiché il perimetro di servizio blocca l'accesso da Gemini Enterprise Agent Platform alle API e ai servizi di terze parti su internet, il download non riesce con Connection to pypi.org timed out. Per scoprire come evitare questo errore, consulta Utilizzo dei Controlli di servizio VPC con le pipeline di Agent Platform.
  • Quando utilizzi i Controlli di servizio VPC con i kernel personalizzati in Agent Platform Workbench, devi invece configurare il peering DNS per inviare le richieste per *.notebooks.googleusercontent.com alla subnet 199.36.153.8/30 (private.googleapis.com) anziché a 199.36.153.4/30 (restricted.googleapis.com).
  • Quando utilizzi i Controlli di servizio VPC con l'inferenza di Gemini Enterprise Agent Platform, gli endpoint devono essere creati dopo che il progetto è stato aggiunto al perimetro di servizio. Se viene creato un endpoint in un progetto che non fa parte di un perimetro di servizio e successivamente il progetto viene aggiunto a un perimetro di servizio, il tentativo di eseguire il deployment di un modello su quell'endpoint non riuscirà. Se l'endpoint è un endpoint pubblico condiviso, anche l'invio di una richiesta all'endpoint non riuscirà. Allo stesso modo, il tentativo di eseguire il deployment di un modello su un endpoint non riuscirà se l'endpoint è stato creato in un progetto che faceva parte di un perimetro di servizio e successivamente il progetto viene rimosso.
  • Quando utilizzi i Controlli di servizio VPC con Agent Runtime, il progetto deve far parte di un perimetro di servizio prima di eseguire il deployment dell'agente. Se viene eseguito il deployment di un agente prima che il progetto venga aggiunto a un perimetro, l'agente non sarà protetto dai Controlli di servizio VPC e continuerà ad avere accesso a internet pubblico.
  • I deployment pubblici con 1 clic (endpoint dedicato) di Model Garden non sono supportati in un ambiente VPC-SC. Utilizza invece un endpoint privato che supporti i Controlli di servizio VPC. Per saperne di più, consulta Eseguire il deployment di un modello su un endpoint privato.
  • La registrazione di richieste e risposte non è disponibile con i Controlli di servizio VPC.

Passaggi successivi