Agent Platform의 생성형 AI 할당량 및 시스템 한도

이 문서에서는 Agent Platform의 생성형 AI 모델에 적용되는 할당량과 시스템 한도를 설명합니다.

  • 할당량에는 기본값이 있지만 일반적으로 조정을 요청할 수 있습니다.
  • 시스템 한도는 변경할 수 없는 고정 값입니다.

Google Cloud 는 공정성을 보장하고 리소스 사용 및 가용성의 급증을 줄이기 위해 할당량을 사용합니다. 할당량은 Google Cloud 프로젝트에서 사용할 수 있는Google Cloud 리소스 양을 제한합니다. 할당량은 하드웨어, 소프트웨어, 네트워크 구성요소를 포함하여 다양한 리소스 유형에 적용됩니다. 예를 들어 할당량에 따라 서비스에 대한 API 호출 수, 프로젝트에서 동시에 사용하는 부하 분산기 수, 만들 수 있는 프로젝트 수가 제한될 수 있습니다. 할당량은 서비스 과부하를 방지하여Google Cloud 사용자 커뮤니티를 보호합니다. 또한 할당량은 자체 Google Cloud 리소스를 관리하는 데 도움이 됩니다.

Cloud Quotas 시스템은 다음을 수행합니다.

대부분의 경우 할당량이 허용하는 것보다 더 많은 리소스를 소비하려고 하면 시스템에서 리소스에 대한 액세스를 차단하고 수행하려는 작업이 실패합니다.

할당량은 일반적으로 Google Cloud 프로젝트 수준에서 적용됩니다. 한 프로젝트의 리소스를 사용해도 다른 프로젝트에서 사용 가능한 할당량에는 영향을 미치지 않습니다. Google Cloud 프로젝트 내에서 할당량은 모든 애플리케이션과 IP 주소에 공유됩니다.

자세한 내용은 Cloud Quotas 개요를 참고하세요.

Agent Platform 리소스에도 시스템 한도가 있습니다. 한도는 변경할 수 없습니다.

Gemini Enterprise Agent Platform 리소스에도 한도가 있습니다. 시스템 한도는 변경할 수 없습니다.

조정된 모델 할당량

조정된 모델 추론은 기본 모델과 동일한 할당량을 공유합니다. 조정된 모델 추론에 대한 별도의 할당량은 없습니다.

삽입 한도

gemini-embedding-001 및 gemini-embedding-2 요청에는 전역 할당량이 적용됩니다.
기본 모델 할당량 측정항목
base_model: gemini-embedding 100,000,000 aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding 100,000 aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model
base_model: gemini-embedding-2 200,000,000 aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding-2 60,000 aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model

predict API를 사용하여 gemini-embedding-001를 요청하는 경우에도 다음 할당량이 적용됩니다.

기본 모델 할당량 측정항목
base_model: 해당 사항 없음 30,000 aiplatform.googleapis.com/online_prediction_requests

Agent Runtime 할당량

다음 할당량은 각 리전의 특정 프로젝트에 대한 Agent Runtime에 적용됩니다.
설명 Quota 측정항목
Agent Runtime 리소스 만들기, 삭제 또는 업데이트(분당) 10 aiplatform.googleapis.com/reasoning_engine_service_write_requests
분당 Agent Runtime 세션 만들기, 삭제 또는 업데이트 100 aiplatform.googleapis.com/session_write_requests
Agent Runtime 세션 가져오기, 나열, 검색(분당) 10000 aiplatform.googleapis.com/session_read_requests
Query 또는 StreamQuery Agent Runtime(분당) 90 aiplatform.googleapis.com/reasoning_engine_service_query_requests
Agent Runtime 세션에 이벤트 추가(분당) 300 aiplatform.googleapis.com/session_event_append_requests
최대 Agent Runtime 리소스 수 100 aiplatform.googleapis.com/reasoning_engine_service_entities
분당 Agent Runtime 메모리 리소스 만들기, 삭제 또는 업데이트 100 aiplatform.googleapis.com/memory_bank_write_requests
Agent Runtime 메모리 뱅크에서 가져오기, 나열, 검색(분당) 300 aiplatform.googleapis.com/memory_bank_read_requests
샌드박스 환경(Code Execution) 실행 요청 수(분당) 1000 aiplatform.googleapis.com/sandbox_environment_execute_requests
샌드박스 환경(Code Execution) 항목 수(리전) 1000 aiplatform.googleapis.com/sandbox_environment_entities
샌드박스 환경(Code Execution) 쓰기 요청 수(분당) 500 aiplatform.googleapis.com/sandbox_environment_write_requests
A2A 에이전트 POST 요청(예: sendMessage 및 cancelTask)(분당) 60 aiplatform.googleapis.com/a2a_agent_post_requests
A2A 에이전트 GET 요청(예: getTask 및 getCard)(분당) 600 aiplatform.googleapis.com/a2a_agent_get_requests
BidiStreamQuery API를 사용하는 동시 라이브 양방향 연결(분당) 10 aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests

멀티모달 입력 할당량

다음 할당량은 각 리전의 특정 프로젝트에 대한 generateContent 및 streamGenerateContent 요청의 멀티모달 입력에 적용됩니다. 각 할당량은 기본 모델 및 해상도별로 적용됩니다. 해당 ..._global 측정항목을 사용하여 전역 엔드포인트에서 처리하는 요청에도 동일한 한도가 적용됩니다.
설명 Quota 측정항목
기본 모델 및 해상도별 분당 이미지 입력이 포함된 콘텐츠 생성 요청 34,000,000 aiplatform.googleapis.com/generate_content_image_input_per_base_model_id_and_resolution
기본 모델 및 해상도별 분당 동영상 입력이 포함된 콘텐츠 생성 요청 192,000,000 aiplatform.googleapis.com/generate_content_video_input_per_base_model_id_and_resolution
기본 모델 및 해상도별 분당 오디오 입력이 포함된 콘텐츠 생성 요청 11,000,000 aiplatform.googleapis.com/generate_content_audio_input_per_base_model_id_and_resolution
기본 모델 및 해상도별 분당 문서 입력이 포함된 콘텐츠 생성 요청 수 1,200,000 aiplatform.googleapis.com/generate_content_document_input_per_base_model_id_and_resolution

이러한 할당량의 한도 상향을 요청하려면 Google Cloud 계정팀에 문의하세요. Google Cloud 콘솔에서는 한도를 늘릴 수 없습니다.

생성형 미디어 할당량

Google Cloud 콘솔에서 생성형 미디어 할당량을 확인하고 수정하려면 다음 단계를 따르세요.

  1. 프로젝트에 Agent Platform API를 사용 설정했는지 확인합니다. API가 사용 설정되지 않으면 Agent Platform 할당량이 표시되지 않습니다.

  2. 할당량 및 시스템 한도 페이지로 이동합니다.

    할당량 및 시스템 한도로 이동

  3. 필터 텍스트 상자에 다음 쿼리를 입력합니다.

    Metric: METRIC_NAME
    Dimensions (e.g. location): MODEL_NAME

    다음을 바꿉니다.

    • METRIC_NAME: 검색할 측정항목 이름입니다. 다음 중 하나입니다.
      • Gemini Omni: global_generate_content_requests_per_minute_per_project_per_base_model
      • Veo: long_running_online_prediction_requests_per_base_model
      • Lyria: global_generate_content_requests_per_minute_per_project_per_base_model
    • MODEL_NAME: 사용 중인 모델의 이름입니다.
  4. 할당량을 조정하려면 더보기를 클릭한 다음 할당량 수정을 선택합니다.
  5. 창에 새 할당량 값을 입력하고 요청 제출을 클릭합니다.

일괄 추론

일괄 추론 작업에 대한 할당량과 한도는 모든 리전에서 동일합니다.

Gemini 모델의 동시 일괄 추론 작업 한도

Gemini 모델의 일괄 추론에는 사전 정의된 할당량 한도가 없습니다. 대신 일괄 서비스는 해당 모델의 실시간 가용성과 전체 고객 수요에 따라 동적으로 할당되는 대규모 공유 리소스 풀에 대한 액세스를 제공합니다. 활성 고객 수가 많아지고 모델의 용량이 포화 상태에 이르면 사용자의 일괄 요청은 용량이 확보될 때까지 대기열에 들어갈 수 있습니다.

Gemini 이외 모델의 동시 일괄 추론 작업 할당량

다음 표에서는 Gemini 모델에는 적용되지 않는, Gemini 이외 모델에 대한 동시 일괄 추론 작업 개수 할당량을 보여줍니다.
할당량 값
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs 4
제출된 작업 수가 배정된 할당량을 초과하면 작업이 큐에 추가되고 할당량 용량을 사용할 수 있게 되면 처리됩니다.

Google Cloud 콘솔에서 할당량 보기 및 수정

Google Cloud 콘솔에서 할당량을 확인하고 수정하려면 다음 단계를 따르세요.
  1. 할당량 및 시스템 한도 페이지로 이동합니다.

    2. 할당량 및 시스템 한도로 이동

  2. 할당량을 조정하려면 필터에 속성 aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs을 복사하여 붙여넣습니다. Enter를 누릅니다.
  3. 행 끝에 있는 점 3개를 클릭하고 할당량 편집을 선택합니다.
  4. 창에 새 할당량 값을 입력하고 요청 제출을 클릭합니다.

시맨틱 거버넌스 정책 할당량

다음 할당량은 각 리전의 특정 프로젝트에 대한 시맨틱 거버넌스 정책에 적용됩니다.
설명 Quota 측정항목
분당 시맨틱 거버넌스 정책 리소스 가져오기 또는 나열 600 aiplatform.googleapis.com/semantic_governance/policy_read_requests
시맨틱 거버넌스 정책 리소스 만들기, 업데이트 또는 삭제(분당) 60 aiplatform.googleapis.com/semantic_governance/policy_write_requests
분당 시맨틱 거버넌스 정책 엔진 리소스 가져오기 600 aiplatform.googleapis.com/semantic_governance/engine_read_requests
분당 시맨틱 거버넌스 정책 엔진 리소스 업데이트 또는 프로비저닝 해제 60 aiplatform.googleapis.com/semantic_governance/engine_write_requests
위치별 프로젝트당 시맨틱 거버넌스 정책 리소스 수입니다. 1,000 aiplatform.googleapis.com/semantic_governance/policy_count

Google Cloud 콘솔에서 할당량 보기 및 수정

Google Cloud 콘솔에서 할당량을 확인하고 수정하려면 다음 단계를 따르세요.
  1. 할당량 및 시스템 한도 페이지로 이동합니다.

    2. 할당량 및 시스템 한도로 이동

  2. 할당량을 조정하려면 필터에 속성 aiplatform.googleapis.com/semantic_governance/policy_write_requests을 복사하여 붙여넣습니다. Enter를 누릅니다.
  3. 행 끝에 있는 점 3개를 클릭하고 할당량 편집을 선택합니다.
  4. 창에 새 할당량 값을 입력하고 요청 제출을 클릭합니다.

Gemini Enterprise Agent Platform의 RAG 엔진

RAG Engine을 사용하여 검색 증강 생성(RAG)을 수행하는 각 서비스에는 다음 할당량이 적용되며, 할당량은 분당 요청 수(RPM)로 측정됩니다.
서비스 할당량 측정항목
RAG Engine 데이터 관리 API 60 RPM VertexRagDataService requests per minute per region
RetrievalContexts API 600 RPM VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko 1,500 RPM Online prediction requests per base model per minute per region per base_model

지정할 수 있는 추가 필터는 base_model: textembedding-gecko입니다.
적용되는 요청 한도는 다음과 같습니다.
서비스 한도 측정항목
동시 ImportRagFiles 요청 3 RPM VertexRagService concurrent import requests per region
ImportRagFiles 요청당 최대 파일 수 10,000 VertexRagService import rag files requests per region

Gen AI Evaluation Service

Gen AI Evaluation Service는 모델 기반 측정항목에 Gemini 2.5 Flash를 기본 평가 모델로 사용합니다. 모델 기반 측정항목에 대한 단일 평가 요청으로 인해 Gen AI Evaluation Service에 대한 여러 개의 기본 요청이 발생할 수 있습니다. 각 모델의 소비량은 조직 수준에서 계산됩니다. 즉, 모델 추론 및 모델 기반 평가를 위해 심사 모델로 전달되는 모든 요청이 모델의 소비량에 반영됩니다. Gen AI Evaluation Service 및 기본 평가 모델의 할당량은 다음 표에 나와 있습니다.
요청 할당량 기본 할당량
분당 Gen AI Evaluation Service 요청 수 리전별 프로젝트당 1,000개 요청
Gemini 처리량 모델 및 소비 옵션에 따라 다름
동시 평가 실행 리전별 프로젝트당 동시 평가 20개 실행

Gen AI Evaluation Service를 사용하는 동안 할당량과 관련된 오류가 발생하면 할당량 증가 요청을 제출해야 할 수 있습니다. 자세한 사항은 할당량 보기 및 관리를 참조하세요.

한도 값
Gen AI Evaluation Service 요청 제한 시간 60초

새 프로젝트에서 Gen AI Evaluation Service를 처음 사용하는 경우 최대 2분까지 초기 설정이 지연될 수 있습니다. 첫 번째 요청이 실패하면 몇 분 정도 기다린 후 다시 시도하세요. 후속 평가 요청은 일반적으로 60초 이내에 완료됩니다.

모델 기반 측정항목의 최대 입력 및 출력 토큰은 평가 모델로 사용되는 모델에 따라 다릅니다. 모델 목록은 Google 모델을 참고하세요.

Gemini Enterprise Agent Platform 파이프라인 할당량

각 조정 작업에는 Gemini Enterprise Agent Platform Pipelines가 사용됩니다. 자세한 내용은 Agent Platform Pipelines 할당량 및 한도를 참고하세요.

다음 단계

개요

선불 재정적 약정 없이 사용한 리소스에 대해서만 비용을 지불할 수 있는 Agent Platform 소비 옵션인 표준 PayGo에 대해 알아봅니다.

리소스

제품별 할당량 및 시스템 한도를 제외한 Agent Platform 관련 할당량 및 시스템 한도입니다.

개요

Google Cloud에서 Google Cloud 프로젝트가 사용할 수 있는 리소스의 양을 제한하는 방법과 할당량이 하드웨어, 소프트웨어, 네트워크 구성요소를 비롯한 다양한 리소스 유형에 적용되는 방식을 알아봅니다.