Vertex AI Inference AI AutoMetrics 보기

이 문서에서는 AI AutoMetrics를 사용하여 Vertex AI에서 AI 워크로드를 모니터링하는 방법을 설명합니다.

AI AutoMetrics를 사용하면 최소한의 구성으로 모델의 성능과 상태를 모니터링할 수 있습니다. 이 기능은 Vertex AI Inference에서 실행되는 커스텀 컨테이너 및 모델에 대한 즉각적인 통계를 제공하도록 설계되었습니다.

시작하기 전에

  1. 지원되는 프레임워크에서 컨테이너를 사용하는 배포된 모델이 포함된 Vertex AI 엔드포인트가 있는지 확인합니다.
  2. 프로젝트에서 Cloud Monitoring이 사용 설정되어 있는지 확인합니다. 자세한 내용은 Monitoring API 사용 설정을 참조하세요.

AI AutoMetrics 사용

측정항목 탐색기에서 AI AutoMetrics를 보려면 다음을 수행하세요.

  1. Google Cloud 콘솔에서 측정항목 탐색기 페이지로 이동합니다.

    측정항목 탐색기로 이동

  2. 측정항목 선택에서 Prometheus 대상을 선택합니다.

  3. 활성 측정항목 카테고리에서 Vertex를 선택합니다.

  4. 활성 측정항목에서 원하는 측정항목을 선택합니다.

  5. 적용을 클릭합니다.

Grafana 또는 Prometheus API 또는 UI를 사용하여 측정항목을 쿼리할 수도 있습니다.

지원되는 프레임워크

AI AutoMetrics는 다음 프레임워크를 지원합니다.

프레임워크 정규화된 엔드포인트 정규화된 측정항목
vLLM Prometheus 호환 /metrics 엔드포인트 vllm: 프리픽스가 있는 측정항목

작동 방식

Vertex AI는 사전 정의된 간격으로 컨테이너의 /metrics 엔드포인트를 자동으로 스크랩합니다. 그러면 모든 정규화된 측정항목이Google Cloud Google Cloud Managed Service for Prometheus로 내보내지며, 여기에서 측정항목을 분석하고 시각화할 수 있습니다.

측정항목 이름 지정 및 라벨

AI AutoMetrics에서 수집한 측정항목은 vertex_* 이름 지정 규칙에 따라 Cloud Monitoring에 수집됩니다.

보다 용이한 필터링 및 그룹화를 위해 AI AutoMetrics는 각 측정항목에 다음과 같은 추가 Vertex AI 라벨을 자동으로 연결합니다.

  • deployed_model_id: 추론 요청을 처리하는 배포된 모델의 ID
  • model_display_name: 배포된 모델의 표시 이름
  • replica_id: 배포된 모델 복제본(포드 이름)에 해당하는 고유 ID
  • endpoint_id: 모델 엔드포인트의 ID
  • endpoint_display_name: 모델 엔드포인트의 표시 이름
  • product: Vertex AI의 기능 이름. 이는 항상 온라인 추론입니다.

다음 단계