ログと指標

プレビュー

この機能は、サービス固有規約の「一般サービス規約」セクションの「一般提供前のサービス規約」の対象となります。pre-GA の機能は「現状のまま」で提供されるものであり、サポートが制限されることがあります。 詳細については、 リリース ステージの説明をご覧ください。

警告: プレビュー期間中は、評価 およびテストの目的でのみ Gemini on GDC connected API を使用できます。Gemini on GDC connected API のプレビュー リリースを商用または本番環境で使用したり、生成された出力を第三者に開示したりすることはできません。

このドキュメントでは、Gemini on Google Distributed Cloud コネクテッド API が収集してエクスポートするログと指標について説明します。

ロギングとモニタリングの構成

ログと指標の収集を開始する前に、次の操作を行う必要があります。

1. 次のコマンドを使用して、ロギング API を有効にします。

   gcloud services enable opsconfigmonitoring.googleapis.com --project PROJECT_ID
   gcloud services enable logging.googleapis.com --project PROJECT_ID
   gcloud services enable monitoring.googleapis.com --project PROJECT_ID
   

   PROJECT_ID は、ターゲット Google Cloud プロジェクトの ID に置き換えます。

2. ログと指標の書き込みに必要なロールを付与します。

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --role roles/opsconfigmonitoring.resourceMetadata.writer \
       --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/metadata-agent]"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
       --role roles/logging.logWriter \
        --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/stackdriver-log-forwarder]"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
       --role roles/monitoring.metricWriter \
       --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/gke-metrics-agent]"
   

   PROJECT_ID は、ターゲット Google Cloud プロジェクトの ID に置き換えます。

ログ

このセクションでは、Gemini on GDC connected API でサポートされている Cloud Logging のリソースタイプを示します。Gemini on GDC connected API のログを表示するには、 コンソールのログ エクスプローラを使用します。 Google Cloud Gemini on GDC connected API} のロギングは常に有効です。

Gemini on GDC connected API 接続のログ記録されたリソースタイプは aiplatform.googleapis.com/Endpoint です。

Cloud Logging API を使用して、Gemini on GDC connected API 接続のログをキャプチャして取得することもできます。この ロギング メカニズムを構成する方法については、 Cloud Logging クライアント ライブラリのドキュメントをご覧ください。

指標

このセクションでは、Gemini on GDC connected API でサポートされている Cloud Monitoring の指標を示します。Gemini on GDC connected API の指標を表示するには、 Metrics Explorer を Google Cloud コンソールで使用します。

Distributed Cloud コネクテッド クラスタの指標

Gemini on GDC connected API エンドポイントは、Distributed Cloud コネクテッド クラスタにデプロイされます。 Distributed Cloud コネクテッドのログと指標については、ログと指標をご覧ください。

Inference Gateway の指標

Prometheus 指標名	指標タイプ	Datatype	ラベル	Chemist タイプ	Chemist metric_kind	Chemist value_type	Chemist ラベル
ig_ops_successful_incoming_requests	カウンタ		モデル	aiplatform.googleapis.com/prediction/internal/gdc/ig/successful_requests	CUMULATIVE	INT64	モデル
ig_ops_unique_users	カウンタ		モデル	aiplatform.googleapis.com/prediction/internal/gdc/ig/unique_users	CUMULATIVE	INT64	モデル
ig_tokens_per_minute	ヒストグラム	double	モデル	aiplatform.googleapis.com/prediction/internal/gdc/ig/tokens_per_min	CUMULATIVE	DISTRIBUTION	モデル
ig_total_response_time	ヒストグラム	double	モデル	aiplatform.googleapis.com/prediction/internal/gdc/ig/response_time	CUMULATIVE	DISTRIBUTION	モデル
ig_ops_ffmpeg_image_latency	ヒストグラム	double	モデル	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_image_latencies	CUMULATIVE	DISTRIBUTION	モデル
ig_ops_ffmpeg_video_latency	ヒストグラム	double	モデル	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_video_latencies	CUMULATIVE	DISTRIBUTION	モデル
ig_ops_ffmpeg_audio_latency	ヒストグラム	double	モデル	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_audio_latencies	CUMULATIVE	DISTRIBUTION	モデル
ig_time_to_first_token	ヒストグラム	double	モデル context_window	aiplatform.googleapis.com/prediction/internal/gdc/ig/ttft	CUMULATIVE	DISTRIBUTION	モデル context_window
ig_time_per_output_token	ヒストグラム	double	モデル context_window	aiplatform.googleapis.com/prediction/internal/gdc/ig/tpot	CUMULATIVE	DISTRIBUTION	モデル context_window
ig_cache_hit	カウンタ		モデル	aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_hit_count	CUMULATIVE	DISTRIBUTION	モデル _gdch_project
ig_cache_miss	カウンタ		モデル	aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_miss_count	CUMULATIVE	DISTRIBUTION	モデル _gdch_project

GenAI Router の指標

Prometheus 指標名	指標タイプ	Datatype	ラベル	Chemist タイプ	Chemist metric_kind	Chemist value_type	Chemist ラベル
llm_total_request_latency_milliseconds	ヒストグラム	double	context_window モデル	aiplatform.googleapis.com/prediction/internal/gdc/gair/total_request_latencies	CUMULATIVE	DISTRIBUTION	context_window モデル
llm_unary_request_latency_milliseconds	ヒストグラム	double	context_window モデル	aiplatform.googleapis.com/prediction/internal/gdc/gair/unary_request_latencies	CUMULATIVE	DISTRIBUTION	context_window モデル
llm_streaming_ttft_milliseconds	ヒストグラム	double	context_window モデル	aiplatform.googleapis.com/prediction/internal/gdc/gair/ttft_ms	CUMULATIVE	DISTRIBUTION	context_window モデル
llm_streaming_tpot_milliseconds	ヒストグラム	double	context_window モデル	aiplatform.googleapis.com/prediction/internal/gdc/gair/tpot_ms	CUMULATIVE	DISTRIBUTION	context_window モデル
llm_input_token_count	ヒストグラム	double	モデル	aiplatform.googleapis.com/prediction/internal/gdc/gair/input_token_count	CUMULATIVE	DISTRIBUTION	モデル
llm_output_token_count	ヒストグラム	double	モデル	aiplatform.googleapis.com/prediction/internal/gdc/gair/output_token_count	CUMULATIVE	DISTRIBUTION	モデル
llm_success_response_count	カウンタ	double	モデル	aiplatform.googleapis.com/prediction/internal/gdc/gair/success_response_count	CUMULATIVE	INT64	モデル
llm_failure_response_count	カウンタ	double	モデル	aiplatform.googleapis.com/prediction/internal/gdc/gair/failure_response_count	CUMULATIVE	INT64	モデル
llm_text_tokenization_latency_milliseconds	ヒストグラム	double	モデル	aiplatform.googleapis.com/prediction/internal/gdc/gair/text_tokenization_latencies	CUMULATIVE	DISTRIBUTION	モデル
llm_image_tokenization_latency_milliseconds	ヒストグラム	double		aiplatform.googleapis.com/prediction/internal/gdc/gair/image_tokenization_latencies	CUMULATIVE	DISTRIBUTION
llm_audio_tokenization_latency_milliseconds	ヒストグラム	double		aiplatform.googleapis.com/prediction/internal/gdc/gair/audio_tokenization_latencies	CUMULATIVE	DISTRIBUTION

GPU 指標

Prometheus 指標名	指標タイプ	Datatype	ラベル	Chemist タイプ	Chemist metric_kind	Chemist value_type	Chemist ラベル
DCGM_FI_DEV_MEM_COPY_UTIL	ゲージ	int64	gpu UUID pci_bus_id device modelName Hostname DCGM_FI_DRIVER_VERSION	aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_util	GAUGE	INT64	uuid gpu_model
DCGM_FI_DEV_MEMORY_TEMP	ゲージ	int64	上記と同じ	aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_temp	GAUGE	INT64	上記と同じ
DCGM_FI_DEV_POWER_USAGE	ゲージ	double	上記と同じ	aiplatform.googleapis.com/prediction/internal/gdc/gpu/power_usage	GAUGE	DOUBLE	上記と同じ
DCGM_FI_DEV_GPU_TEMP	ゲージ	double	上記と同じ	aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_temp	GAUGE	INT64	上記と同じ
DCGM_FI_DEV_GPU_UTIL	ゲージ	double	上記と同じ	aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_util	GAUGE	INT64	上記と同じ
DCGM_FI_DEV_ENC_UTIL	ゲージ	int64	上記と同じ	aiplatform.googleapis.com/prediction/internal/gdc/gpu/encode_util	GAUGE	INT64	上記と同じ
DCGM_FI_DEV_XID_ERRORS	カウンタ	int64	上記と同じ	aiplatform.googleapis.com/prediction/internal/gdc/gpu/xid_errors	CUMULATIVE	INT64	上記と同じ
DCGM_FI_DEV_POWER_VIOLATION	カウンタ	int64	上記と同じ	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_power	CUMULATIVE	INT64	上記と同じ
DCGM_FI_DEV_THERMAL_VIOLATION	カウンタ	int64	上記と同じ	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_thermal	CUMULATIVE	INT64	上記と同じ
DCGM_FI_DEV_SYNC_BOOST_VIOLATION	カウンタ	int64	上記と同じ	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_sync_boost	CUMULATIVE	INT64	上記と同じ
DCGM_FI_DEV_BOARD_LIMIT_VIOLATION	カウンタ	int64	上記と同じ	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_board_limit	CUMULATIVE	INT64	上記と同じ
DCGM_FI_DEV_LOW_UTIL_VIOLATION	カウンタ	int64	上記と同じ	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_low_util	CUMULATIVE	INT64	上記と同じ
DCGM_FI_DEV_RELIABILITY_VIOLATION	カウンタ	int64	上記と同じ	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_reliability	CUMULATIVE	INT64	上記と同じ