Registros e métricas

Visualizar

Este recurso está sujeito aos Termos das Soluções Pré-GA na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Aviso: durante o período de visualização, só é possível usar o Gemini na API conectada do GDC para fins de avaliação e teste. Não é permitido usar a versão de visualização do Gemini na API conectada do GDC para fins comerciais ou de produção, nem divulgar a saída gerada a terceiros.

Este documento descreve os registros e as métricas que o Gemini na API conectada do Google Distributed Cloud coleta e exporta.

Configurar a geração de registros e o monitoramento

Antes de começar a coletar registros e métricas, faça o seguinte:

1. Ative as APIs de geração de registros usando os comandos a seguir:

   gcloud services enable opsconfigmonitoring.googleapis.com --project PROJECT_ID
   gcloud services enable logging.googleapis.com --project PROJECT_ID
   gcloud services enable monitoring.googleapis.com --project PROJECT_ID
   

   Substitua PROJECT_ID pelo ID do projeto de destino Google Cloud .

2. Conceda os papéis necessários para gravar registros e métricas:

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --role roles/opsconfigmonitoring.resourceMetadata.writer \
       --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/metadata-agent]"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
       --role roles/logging.logWriter \
        --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/stackdriver-log-forwarder]"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
       --role roles/monitoring.metricWriter \
       --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/gke-metrics-agent]"
   

   Substitua PROJECT_ID pelo ID do projeto de destino Google Cloud .

Registros

Esta seção lista os tipos de recursos do Cloud Logging compatíveis com o Gemini na API conectada do GDC. Para conferir os registros do Gemini na API conectada do GDC, use a Análise de Registros no Google Cloud console. A geração de registros do Gemini na API conectada do GDC} está sempre ativada.

O tipo de recurso registrado do Gemini na API conectada do GDC é aiplatform.googleapis.com/Endpoint.

Também é possível capturar e recuperar registros do Gemini na API conectada do GDC usando a API Cloud Logging. Para informações sobre como configurar esse mecanismo de geração de registros, consulte a documentação das bibliotecas de cliente do Cloud Logging.

Métricas

Esta seção lista as métricas do Cloud Monitoring compatíveis com o Gemini na API conectada do GDC. Para conferir as métricas do Gemini na API conectada do GDC, use o Metrics Explorer no Google Cloud console.

Métricas de cluster conectado do Distributed Cloud

Os endpoints do Gemini na API conectada do GDC são implantados em clusters conectados do Distributed Cloud. Consulte Registros e métricas para informações sobre registros e métricas do Distributed Cloud conectado.

Métricas do gateway de inferência

Nome da métrica do Prometheus	Tipo de métricas	Tipo de dados	Rótulos	Tipo de Chemist	metric_kind do Chemist	value_type do Chemist	Rótulos do Chemist
ig_ops_successful_incoming_requests	Contador		modelo	aiplatform.googleapis.com/prediction/internal/gdc/ig/successful_requests	CUMULATIVE	INT64	modelo
ig_ops_unique_users	Contador		modelo	aiplatform.googleapis.com/prediction/internal/gdc/ig/unique_users	CUMULATIVE	INT64	modelo
ig_tokens_per_minute	Histograma	double	modelo	aiplatform.googleapis.com/prediction/internal/gdc/ig/tokens_per_min	CUMULATIVE	DISTRIBUTION	modelo
ig_total_response_time	Histograma	double	modelo	aiplatform.googleapis.com/prediction/internal/gdc/ig/response_time	CUMULATIVE	DISTRIBUTION	modelo
ig_ops_ffmpeg_image_latency	Histograma	double	modelo	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_image_latencies	CUMULATIVE	DISTRIBUTION	modelo
ig_ops_ffmpeg_video_latency	Histograma	double	modelo	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_video_latencies	CUMULATIVE	DISTRIBUTION	modelo
ig_ops_ffmpeg_audio_latency	Histograma	double	modelo	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_audio_latencies	CUMULATIVE	DISTRIBUTION	modelo
ig_time_to_first_token	Histograma	double	modelo context_window	aiplatform.googleapis.com/prediction/internal/gdc/ig/ttft	CUMULATIVE	DISTRIBUTION	modelo context_window
ig_time_per_output_token	Histograma	double	modelo context_window	aiplatform.googleapis.com/prediction/internal/gdc/ig/tpot	CUMULATIVE	DISTRIBUTION	modelo context_window
ig_cache_hit	Contador		modelo	aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_hit_count	CUMULATIVE	DISTRIBUTION	modelo _gdch_project
ig_cache_miss	Contador		modelo	aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_miss_count	CUMULATIVE	DISTRIBUTION	modelo _gdch_project

Métricas do roteador de IA generativa

Nome da métrica do Prometheus	Tipo de métricas	Tipo de dados	Rótulos	Tipo de Chemist	metric_kind do Chemist	value_type do Chemist	Rótulos do Chemist
llm_total_request_latency_milliseconds	Histograma	double	context_window modelo	aiplatform.googleapis.com/prediction/internal/gdc/gair/total_request_latencies	CUMULATIVE	DISTRIBUTION	context_window modelo
llm_unary_request_latency_milliseconds	Histograma	double	context_window modelo	aiplatform.googleapis.com/prediction/internal/gdc/gair/unary_request_latencies	CUMULATIVE	DISTRIBUTION	context_window modelo
llm_streaming_ttft_milliseconds	Histograma	double	context_window modelo	aiplatform.googleapis.com/prediction/internal/gdc/gair/ttft_ms	CUMULATIVE	DISTRIBUTION	context_window modelo
llm_streaming_tpot_milliseconds	Histograma	double	context_window modelo	aiplatform.googleapis.com/prediction/internal/gdc/gair/tpot_ms	CUMULATIVE	DISTRIBUTION	context_window modelo
llm_input_token_count	Histograma	double	modelo	aiplatform.googleapis.com/prediction/internal/gdc/gair/input_token_count	CUMULATIVE	DISTRIBUTION	modelo
llm_output_token_count	Histograma	double	modelo	aiplatform.googleapis.com/prediction/internal/gdc/gair/output_token_count	CUMULATIVE	DISTRIBUTION	modelo
llm_success_response_count	Contador	double	modelo	aiplatform.googleapis.com/prediction/internal/gdc/gair/success_response_count	CUMULATIVE	INT64	modelo
llm_failure_response_count	Contador	double	modelo	aiplatform.googleapis.com/prediction/internal/gdc/gair/failure_response_count	CUMULATIVE	INT64	modelo
llm_text_tokenization_latency_milliseconds	Histograma	double	modelo	aiplatform.googleapis.com/prediction/internal/gdc/gair/text_tokenization_latencies	CUMULATIVE	DISTRIBUTION	modelo
llm_image_tokenization_latency_milliseconds	Histograma	double		aiplatform.googleapis.com/prediction/internal/gdc/gair/image_tokenization_latencies	CUMULATIVE	DISTRIBUTION
llm_audio_tokenization_latency_milliseconds	Histograma	double		aiplatform.googleapis.com/prediction/internal/gdc/gair/audio_tokenization_latencies	CUMULATIVE	DISTRIBUTION

Métricas da GPU

Nome da métrica do Prometheus	Tipo de métricas	Tipo de dados	Rótulos	Tipo de Chemist	metric_kind do Chemist	value_type do Chemist	Rótulos do Chemist
DCGM_FI_DEV_MEM_COPY_UTIL	Medidor	int64	UUID da GPU pci_bus_id device modelName Hostname DCGM_FI_DRIVER_VERSION	aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_util	GAUGE	INT64	uuid gpu_model
DCGM_FI_DEV_MEMORY_TEMP	Medidor	int64	Os mesmos citados acima	aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_temp	GAUGE	INT64	Os mesmos citados acima
DCGM_FI_DEV_POWER_USAGE	Medidor	double	Os mesmos citados acima	aiplatform.googleapis.com/prediction/internal/gdc/gpu/power_usage	GAUGE	DOUBLE	Os mesmos citados acima
DCGM_FI_DEV_GPU_TEMP	Medidor	double	Os mesmos citados acima	aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_temp	GAUGE	INT64	Os mesmos citados acima
DCGM_FI_DEV_GPU_UTIL	Medidor	double	Os mesmos citados acima	aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_util	GAUGE	INT64	Os mesmos citados acima
DCGM_FI_DEV_ENC_UTIL	Medidor	int64	Os mesmos citados acima	aiplatform.googleapis.com/prediction/internal/gdc/gpu/encode_util	GAUGE	INT64	Os mesmos citados acima
DCGM_FI_DEV_XID_ERRORS	Contador	int64	Os mesmos citados acima	aiplatform.googleapis.com/prediction/internal/gdc/gpu/xid_errors	CUMULATIVE	INT64	Os mesmos citados acima
DCGM_FI_DEV_POWER_VIOLATION	Contador	int64	Os mesmos citados acima	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_power	CUMULATIVE	INT64	Os mesmos citados acima
DCGM_FI_DEV_THERMAL_VIOLATION	Contador	int64	Os mesmos citados acima	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_thermal	CUMULATIVE	INT64	Os mesmos citados acima
DCGM_FI_DEV_SYNC_BOOST_VIOLATION	Contador	int64	Os mesmos citados acima	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_sync_boost	CUMULATIVE	INT64	Os mesmos citados acima
DCGM_FI_DEV_BOARD_LIMIT_VIOLATION	Contador	int64	Os mesmos citados acima	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_board_limit	CUMULATIVE	INT64	Os mesmos citados acima
DCGM_FI_DEV_LOW_UTIL_VIOLATION	Contador	int64	Os mesmos citados acima	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_low_util	CUMULATIVE	INT64	Os mesmos citados acima
DCGM_FI_DEV_RELIABILITY_VIOLATION	Contador	int64	Os mesmos citados acima	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_reliability	CUMULATIVE	INT64	Os mesmos citados acima