יומנים ומדדים

במאמר הזה מתוארים היומנים והמדדים שממשק Gemini on Google Distributed Cloud במודל מחובר API אוסף ומייצא.

הגדרת רישום ביומן ומעקב

לפני שמתחילים לאסוף יומנים ומדדים, צריך לבצע את הפעולות הבאות:

  1. מפעילים את ממשקי ה-API של רישום ביומן באמצעות הפקודות הבאות:

    gcloud services enable opsconfigmonitoring.googleapis.com --project PROJECT_ID
gcloud services enable logging.googleapis.com --project PROJECT_ID
gcloud services enable monitoring.googleapis.com --project PROJECT_ID

    מחליפים את PROJECT_ID במזהה של פרויקט היעד. Google Cloud

  2. מקצים את התפקידים שנדרשים לכתיבת יומנים ומדדים:

    gcloud projects add-iam-policy-binding PROJECT_ID \
    --role roles/opsconfigmonitoring.resourceMetadata.writer \
    --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/metadata-agent]"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --role roles/logging.logWriter \
     --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/stackdriver-log-forwarder]"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --role roles/monitoring.metricWriter \
    --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/gke-metrics-agent]"

    מחליפים את PROJECT_ID במזהה של פרויקט היעד. Google Cloud

יומנים

בקטע הזה מפורטים סוגי המשאבים של Cloud Logging שנתמכים על ידי Gemini on GDC במודל מחובר API. כדי לראות את יומני ה-API המחוברים של Gemini ב-GDC, משתמשים ב-Logs Explorer במסוף Google Cloud . הרישום ביומן של Gemini ב-GDC connected API} תמיד מופעל.

סוג המשאב שנרשם ביומן של Gemini ב-GDC במודל מחובר API הוא aiplatform.googleapis.com/Endpoint.

אפשר גם ללכוד ולאחזר יומנים של Gemini ב-GDC שמקושרים ל-API באמצעות Cloud Logging API. מידע על הגדרת מנגנון הרישום ביומן הזה זמין במאמרי העזרה של ספריות הלקוח של Cloud Logging.

מדדים

בקטע הזה מפורטים המדדים של Cloud Monitoring שנתמכים על ידי Gemini ב-API של GDC במודל מחובר. כדי לראות את מדדי ה-API המקושרים של Gemini ב-GDC, משתמשים בMetrics Explorer ב-Google Cloud Console.

מדדים של אשכול מחובר ב-Distributed Cloud

נקודות הקצה של Gemini on GDC במודל מחובר נפרסות באשכולות של Distributed Cloud במודל מחובר. מידע על יומנים ומדדים של Google Distributed Cloud במודל מחובר זמין במאמר יומנים ומדדים.

מדדים של Inference Gateway

שם המדד ב-Prometheus סוג המדדים סוג נתונים תוויות סוג הכימאי Chemist metric_kind ערך Chemist value_type תוויות של כימאים
ig_ops_successful_incoming_requests הצעה נגדית מודל aiplatform.googleapis.com/prediction/internal/gdc/ig/successful_requests מצטבר INT64 מודל
ig_ops_unique_users הצעה נגדית מודל aiplatform.googleapis.com/prediction/internal/gdc/ig/unique_users מצטבר INT64 מודל
ig_tokens_per_minute היסטוגרמה double מודל aiplatform.googleapis.com/prediction/internal/gdc/ig/tokens_per_min מצטבר הפצה מודל
ig_total_response_time היסטוגרמה double מודל aiplatform.googleapis.com/prediction/internal/gdc/ig/response_time מצטבר הפצה מודל
ig_ops_ffmpeg_image_latency היסטוגרמה double מודל aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_image_latencies מצטבר הפצה מודל
ig_ops_ffmpeg_video_latency היסטוגרמה double מודל aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_video_latencies מצטבר הפצה מודל
ig_ops_ffmpeg_audio_latency היסטוגרמה double מודל aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_audio_latencies מצטבר הפצה מודל
ig_time_to_first_token היסטוגרמה double model context_window aiplatform.googleapis.com/prediction/internal/gdc/ig/ttft מצטבר הפצה model context_window
ig_time_per_output_token היסטוגרמה double model context_window aiplatform.googleapis.com/prediction/internal/gdc/ig/tpot מצטבר הפצה model context_window
ig_cache_hit הצעה נגדית מודל aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_hit_count מצטבר הפצה model _gdch_project
ig_cache_miss הצעה נגדית מודל aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_miss_count מצטבר הפצה model _gdch_project

מדדים של נתב AI גנרטיבי

שם המדד ב-Prometheus סוג המדדים סוג נתונים תוויות סוג הכימאי Chemist metric_kind ערך Chemist value_type תוויות של כימאים
llm_total_request_latency_milliseconds היסטוגרמה double מודל context_window aiplatform.googleapis.com/prediction/internal/gdc/gair/total_request_latencies מצטבר הפצה מודל context_window
llm_unary_request_latency_milliseconds היסטוגרמה double מודל context_window aiplatform.googleapis.com/prediction/internal/gdc/gair/unary_request_latencies מצטבר הפצה מודל context_window
llm_streaming_ttft_milliseconds היסטוגרמה double מודל context_window aiplatform.googleapis.com/prediction/internal/gdc/gair/ttft_ms מצטבר הפצה מודל context_window
llm_streaming_tpot_milliseconds היסטוגרמה double מודל context_window aiplatform.googleapis.com/prediction/internal/gdc/gair/tpot_ms מצטבר הפצה מודל context_window
llm_input_token_count היסטוגרמה double מודל aiplatform.googleapis.com/prediction/internal/gdc/gair/input_token_count מצטבר הפצה מודל
llm_output_token_count היסטוגרמה double מודל aiplatform.googleapis.com/prediction/internal/gdc/gair/output_token_count מצטבר הפצה מודל
llm_success_response_count הצעה נגדית double מודל aiplatform.googleapis.com/prediction/internal/gdc/gair/success_response_count מצטבר INT64 מודל
llm_failure_response_count הצעה נגדית double מודל aiplatform.googleapis.com/prediction/internal/gdc/gair/failure_response_count מצטבר INT64 מודל
llm_text_tokenization_latency_milliseconds היסטוגרמה double מודל aiplatform.googleapis.com/prediction/internal/gdc/gair/text_tokenization_latencies מצטבר הפצה מודל
llm_image_tokenization_latency_milliseconds היסטוגרמה double aiplatform.googleapis.com/prediction/internal/gdc/gair/image_tokenization_latencies מצטבר הפצה
llm_audio_tokenization_latency_milliseconds היסטוגרמה double aiplatform.googleapis.com/prediction/internal/gdc/gair/audio_tokenization_latencies מצטבר הפצה

מדדי GPU

שם המדד ב-Prometheus סוג המדדים סוג נתונים תוויות סוג הכימאי Chemist metric_kind ערך Chemist value_type תוויות של כימאים
DCGM_FI_DEV_MEM_COPY_UTIL תחנה הידרומטרית int64 gpu UUID pci_bus_id device modelName Hostname DCGM_FI_DRIVER_VERSION aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_util GAUGE INT64 uuid gpu_model
DCGM_FI_DEV_MEMORY_TEMP תחנה הידרומטרית int64 כנ"ל aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_temp GAUGE INT64 כנ"ל
DCGM_FI_DEV_POWER_USAGE תחנה הידרומטרית double כנ"ל aiplatform.googleapis.com/prediction/internal/gdc/gpu/power_usage GAUGE DOUBLE כנ"ל
DCGM_FI_DEV_GPU_TEMP תחנה הידרומטרית double כנ"ל aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_temp GAUGE INT64 כנ"ל
DCGM_FI_DEV_GPU_UTIL תחנה הידרומטרית double כנ"ל aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_util GAUGE INT64 כנ"ל
DCGM_FI_DEV_ENC_UTIL תחנה הידרומטרית int64 כנ"ל aiplatform.googleapis.com/prediction/internal/gdc/gpu/encode_util GAUGE INT64 כנ"ל
DCGM_FI_DEV_XID_ERRORS הצעה נגדית int64 כנ"ל aiplatform.googleapis.com/prediction/internal/gdc/gpu/xid_errors מצטבר INT64 כנ"ל
DCGM_FI_DEV_POWER_VIOLATION הצעה נגדית int64 כנ"ל aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_power מצטבר INT64 כנ"ל
DCGM_FI_DEV_THERMAL_VIOLATION הצעה נגדית int64 כנ"ל aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_thermal מצטבר INT64 כנ"ל
DCGM_FI_DEV_SYNC_BOOST_VIOLATION הצעה נגדית int64 כנ"ל aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_sync_boost מצטבר INT64 כנ"ל
DCGM_FI_DEV_BOARD_LIMIT_VIOLATION הצעה נגדית int64 כנ"ל aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_board_limit מצטבר INT64 כנ"ל
DCGM_FI_DEV_LOW_UTIL_VIOLATION הצעה נגדית int64 כנ"ל aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_low_util מצטבר INT64 כנ"ל
DCGM_FI_DEV_RELIABILITY_VIOLATION הצעה נגדית int64 כנ"ל aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_reliability מצטבר INT64 כנ"ל