Gemini Enterprise Agent Platform esporta le metriche in Cloud Monitoring. Agent Platform mostra anche alcune di queste metriche nella console Agent Platform Google Cloud . Puoi utilizzare Cloud Monitoring per creare dashboard o configurare avvisi basati sulle metriche. Ad esempio, puoi ricevere avvisi se la latenza di previsione di un modello in Agent Platform diventa troppo elevata.
Le sezioni seguenti descrivono le metriche fornite nella console di Agent Platform Google Cloud , che potrebbero essere metriche dirette o metriche calcolate inviate da Agent Platform a Cloud Monitoring.
Per visualizzare un elenco della maggior parte delle metriche esportate dalla piattaforma agente in Cloud Monitoring, consulta aiplatform. Per le metriche di addestramento personalizzato, consulta i tipi di metriche che iniziano con training nella sezione ml.
Metriche di monitoraggio dell'addestramento personalizzato
Quando esegui l'addestramento personalizzato, puoi monitorare i seguenti tipi di utilizzo delle risorse per ogni nodo di addestramento:
- Utilizzo della CPU o della GPU di ogni nodo di addestramento
- Utilizzo della memoria di ogni nodo di addestramento
- Utilizzo della rete (byte inviati al secondo e byte ricevuti al secondo)
Se utilizzi l'ottimizzazione degli iperparametri, puoi visualizzare le metriche per ogni prova.
Per visualizzare queste metriche dopo aver avviato l'addestramento personalizzato, segui questi passaggi:
Nella console Google Cloud , vai a una delle seguenti pagine, a seconda che tu stia utilizzando l'ottimizzazione degli iperparametri:
Se non utilizzi l'ottimizzazione degli iperparametri, vai alla pagina Job personalizzati.
Se utilizzi l'ottimizzazione degli iperparametri, vai alla pagina Job di ottimizzazione degli iperparametri.
Fai clic sul nome della risorsa di addestramento personalizzato.
Se hai creato una risorsa
TrainingPipelinepersonalizzata, fai clic sul nome del job creato daTrainingPipeline, ad esempioTRAINING_PIPELINE_NAME-custom-joboTRAINING_PIPELINE_NAME-hyperparameter-tuning-job.Fai clic sulla scheda CPU, GPU o Rete per visualizzare i grafici di utilizzo della metrica che ti interessa.
Se utilizzi l'ottimizzazione degli iperparametri, puoi fare clic su una riga nella tabella Prove di ottimizzazione degli iperparametri per visualizzare le metriche di una prova specifica.
Per visualizzare le metriche meno recenti o per personalizzare la visualizzazione delle metriche, utilizza Monitoring. Agent Platform esporta le metriche di addestramento personalizzato in Monitoring come tipi di metriche con il prefisso ml.googleapis.com/training. Il tipo di risorsa monitorata è cloudml_job.
Tieni presente che AI Platform Training esporta le metriche in Monitoring con gli stessi tipi di metrica e di risorsa.
Metriche di monitoraggio degli endpoint
Dopo aver eseguito il deployment di un modello in un endpoint, puoi monitorare l'endpoint per comprendere le prestazioni e l'utilizzo delle risorse del modello. Puoi monitorare metriche come pattern di traffico, tassi di errore, latenza e utilizzo delle risorse per assicurarti che il modello risponda alle richieste in modo coerente e prevedibile. Ad esempio, potresti rifare il deployment del modello con un tipo di macchina diverso per ottimizzare i costi. Dopo aver apportato la modifica, puoi monitorare il modello per verificare se le modifiche hanno influito negativamente sulle sue prestazioni.
In Cloud Monitoring, il tipo di risorsa monitorata per i modelli di cui è stato eseguito il deployment è
aiplatform.googleapis.com/Endpoint.
Metriche delle prestazioni
Le metriche sul rendimento possono aiutarti a trovare informazioni sui pattern di traffico, sugli errori e sulla latenza del modello. Puoi visualizzare le seguenti metriche sul rendimento nella console Google Cloud .
- Previsioni al secondo: il numero di previsioni al secondo sia per le previsioni online che per quelle in batch. Se hai più di un'istanza per richiesta, ogni istanza viene conteggiata in questo grafico.
- Percentuale di errori di previsione: la percentuale di errori prodotti dal modello. Una percentuale di errori elevata potrebbe indicare un problema con il modello o con le richieste al modello. Visualizza il grafico dei codici di risposta per determinare quali errori si stanno verificando.
- Latenza del modello (solo per i modelli tabulari e personalizzati): il tempo impiegato per eseguire il calcolo.
- Latenza di overhead (solo per modelli tabulari e personalizzati): il tempo totale impiegato per elaborare una richiesta, al di fuori del calcolo.
- Durata latenza totale: il tempo totale impiegato da una richiesta nel servizio, ovvero la latenza del modello più la latenza di overhead.
Utilizzo delle risorse
Le metriche di utilizzo delle risorse possono aiutarti a monitorare l'utilizzo della CPU, della memoria e della rete del tuo modello. Puoi visualizzare le seguenti metriche di utilizzo nella consoleGoogle Cloud .
- Numero di repliche: il numero di repliche attive utilizzate dal modello di cui è stato eseguito il deployment.
- Replica target: il numero di repliche attive richieste per il modello di cui è stato eseguito il deployment.
- Utilizzo CPU: percentuale di utilizzo attuale dei core della CPU della replica del modello di cui è stato eseguito il deployment. Il 100% rappresenta un core della CPU completamente utilizzato, quindi una replica può raggiungere un utilizzo superiore al 100% se il tipo di macchina ha più core.
- Utilizzo della memoria: la quantità di memoria allocata dalla replica del modello di cui è stato eseguito il deployment e attualmente in uso.
- Byte di rete inviati: il numero di byte inviati sulla rete dalla replica del modello di cui è stato eseguito il deployment.
- Byte di rete ricevuti: il numero di byte ricevuti sulla rete dalla replica del modello di cui è stato eseguito il deployment.
- Ciclo di servizio medio dell'acceleratore: la frazione di tempo media nell'ultimo periodo di campionamento durante il quale uno o più acceleratori hanno eseguito attivamente l'elaborazione.
- Memoria utilizzata dall'acceleratore: la quantità di allocazione della memoria allocata dalla replica del modello di cui è stato eseguito il deployment.
Visualizza i grafici delle metriche di monitoraggio degli endpoint
Vai alla pagina Endpoint di Agent Platform nella consoleGoogle Cloud .
Fai clic sul nome di un endpoint per visualizzarne le metriche.
Sotto gli intervalli del grafico, fai clic su Prestazioni o Utilizzo delle risorse per visualizzare le metriche relative alle prestazioni o all'utilizzo delle risorse.
Puoi selezionare diversi intervalli del grafico per visualizzare i valori delle metriche in un periodo di tempo specifico, ad esempio 1 ora, 12 ore o 14 giorni.
Se hai eseguito il deployment di più modelli nell'endpoint, puoi selezionare o deselezionare i modelli per visualizzare o nascondere le metriche per modelli specifici. Se selezioni più modelli, la console raggruppa alcune metriche dei modelli in un unico grafico. Ad esempio, se una metrica fornisce un solo valore per modello, la console raggruppa le metriche del modello in un unico grafico, come l'utilizzo della CPU. Per le metriche che possono avere più valori per modello, la console fornisce un grafico per ogni modello. Ad esempio, la console fornisce un grafico dei codici di risposta per ogni modello.
Metriche di monitoraggio di Vertex AI Feature Store (legacy)
Dopo aver creato un feature store utilizzando Vertex AI Feature Store (legacy), puoi monitorarne le prestazioni e l'utilizzo delle risorse, ad esempio le latenze di distribuzione dello spazio di archiviazione online o il numero di nodi di archiviazione online. Ad esempio, potresti voler monitorare le modifiche alle metriche di pubblicazione dello spazio di archiviazione online dopo aver aggiornato il numero di nodi di archiviazione online di un archivio di caratteristiche.
In Cloud Monitoring, il tipo di risorsa monitorata per un archivio di caratteristiche è
aiplatform.googleapis.com/Featurestore.
Metriche
- Dimensione richiesta: la dimensione della richiesta per tipo di entità nell'archivio di caratteristiche.
- Scrittura nello spazio di archiviazione offline per la scrittura in modalità flusso: il numero di richieste di scrittura in modalità flusso elaborate per lo spazio di archiviazione offline.
- Tempo di ritardo della scrittura in modalità flusso nell'archiviazione offline: il tempo trascorso (in secondi) tra la chiamata all'API di scrittura e la scrittura nell'archiviazione offline.
- Conteggio nodi: il numero di nodi di erogazione online per l'archivio di caratteristiche.
- Latenza: il tempo totale che una richiesta di erogazione online o di importazione di flussi di dati trascorre nel servizio.
- Query al secondo: il numero di query di erogazione online o di importazione di flussi di dati gestite dall'archivio di caratteristiche.
- Percentuale di errori: la percentuale di errori generati dall'archivio di caratteristiche durante la gestione delle richieste di erogazione online o di importazione di flussi di dati.
- Utilizzo della CPU: la frazione di CPU allocata dall'archivio di caratteristiche che viene utilizzata dallo spazio di archiviazione online. Questo numero può superare il 100% se lo spazio di archiviazione per l'erogazione online è sovraccarico. Valuta la possibilità di aumentare il numero di nodi di erogazione online dell'archivio di caratteristiche per ridurre l'utilizzo della CPU.
- Utilizzo CPU: nodo più attivo: il carico della CPU per il nodo più attivo nello spazio di archiviazione online dell'archivio di caratteristiche.
- Spazio di archiviazione offline totale: quantità di dati archiviati nel datastore offline dell'archivio di caratteristiche.
- Spazio di archiviazione online totale: quantità di dati archiviati nello spazio di archiviazione online del featurestore.
- Throughput di erogazione online: il throughput per le richieste di erogazione online, in MBps.
Visualizza i grafici delle metriche di monitoraggio dell'archivio di caratteristiche
Vai alla pagina Funzionalità di Agent Platform nella consoleGoogle Cloud .
Nella colonna Archivio di caratteristiche, fai clic sul nome di un archivio di caratteristiche per visualizzarne le metriche.
Puoi selezionare diversi intervalli del grafico per visualizzare i valori delle metriche in un periodo di tempo specifico, ad esempio 1 ora, 1 giorno o 1 settimana.
Per alcune metriche di erogazione online, puoi scegliere di visualizzare le metriche per un metodo specifico, che suddivide ulteriormente le metriche per tipo di entità. Ad esempio, puoi visualizzare la latenza per il metodo
ReadFeatureValueso il metodoStreamingReadFeatureValues.
Metriche di monitoraggio di Vertex AI Feature Store
Dopo aver configurato l'erogazione online utilizzando Vertex AI Feature Store, puoi monitorarne le prestazioni e l'utilizzo delle risorse. Ad esempio, puoi monitorare i carichi della CPU, il numero di nodi per l'erogazione online ottimizzata e il numero di richieste di erogazione.
In Cloud Monitoring, il tipo di risorsa monitorata per un'istanza di negozio online è aiplatform.googleapis.com/FeatureOnlineStore.
Metriche
Byte archiviati: la quantità di dati in byte nell'istanza dell'online store.
Carico della CPU: il carico medio della CPU dei nodi nell'istanza del negozio online.
Carico della CPU (nodo più attivo): il carico della CPU del nodo più attivo nell'istanza dell'online store.
Numero di nodi: il numero di nodi di pubblicazione online per un'istanza di negozio online configurata per l'erogazione online di Bigtable.
Numero di nodi ottimizzati: il numero di nodi di pubblicazione online per un'istanza di negozio online configurata per l'erogazione online ottimizzata.
Numero di richieste: il numero di richieste ricevute dall'istanza del negozio online.
Latenza di richiesta: la latenza di richiesta lato server dell'istanza del negozio online.
Conteggio byte risposta: la quantità di dati in byte inviati nelle risposte di erogazione online.
Età dei dati in uso: l'età dei dati in uso in secondi, misurata come la differenza tra l'ora corrente e l'ora dell'ultima sincronizzazione.
Sincronizzazioni in corso: il numero di sincronizzazioni in corso in un determinato momento.
Dati in uso per ora di sincronizzazione: suddivisione dei dati nell'istanza del negozio online in base al timestamp della sincronizzazione.