Gemini Omni 모델의 프로비저닝된 처리량

이 섹션에서는 할당량 적용 동작 및 최소 생성형 AI 확장 단위(GSU) 구매 증분을 비롯하여 Gemini Omni 모델에서 프로비저닝된 처리량이 작동하는 방식을 설명합니다.

Gemini Omni 모델의 경우 할당량 시행 기간은 모델에 대해 구매한 GSU 수에 따라 다르며 변경될 수 있습니다. 다음 섹션에서는 다양한 GSU 크기의 할당량 시행 기간을 보여줍니다.

Gemini Omni 모델: 할당량 시행 기간

다음은 Gemini Omni 모델의 다양한 GSU 크기에 대한 할당량 시행 기간입니다.

  • GSU 1~9개: 2,000초
  • GSU 10~19개: 200초
  • GSU 20~39개: 100초
  • GSU 40~66개: 50초
  • GSU 67개 이상: 30초

나열된 값은 요청 지연 시간과 무관합니다. 요청 처리 시간은 할당량 적용 기간과 다릅니다.

시행 기간은 GSU 양이 적을수록 더 길어지므로 기간 내에 더 작은 요청이 성공적으로 처리됩니다. 모델의 GSU 수가 증가함에 따라 요청을 처리하는 데 더 긴 기간이 필요하지 않습니다. 프로비저닝된 처리량을 사용하여 Gemini Omni 모델에서 출력을 더 자주 처리해야 하는 경우 구매한 GSU 수를 늘리고 해당 시행 기간을 확인하세요.

예를 들어 10초 길이의 1080p 동영상 1개를 생성해야 하는 워크로드를 위해 Omni 1.2 Flash GSU 1개를 구매한 상황을 가정해 보겠습니다. 이 경우 일반적으로 60초 이내에 이 동영상을 생성할 수 있으며 트래픽은 프로비저닝된 처리량으로 처리됩니다. 하지만 동일한 길이의 다른 동영상을 생성하려면 할당량 시행 기간이 끝날 때까지 기다려야 합니다(GSU 1개의 경우 2,000초). 이 시정 조치 기간은 요청 시점이 아닌 Gemini Enterprise Agent Platform 시간을 기준으로 결정됩니다. 시행 기간은 백엔드 알고리즘에 따라 달라지며 변경될 수 있습니다.

요청할 때 동영상 길이 및 해상도 API 파라미터를 설정합니다. 프로비저닝된 처리량을 제공하면 더 정확한 환경을 제공할 수 있습니다. 이러한 매개변수가 제공되지 않으면 프로비저닝된 처리량 요청 크기 추정에서 기본 기간과 해상도를 가정하므로, 사용한 만큼만 지불로 조기에 전환되어 이를 방지할 수 있으며 구매한 프로비저닝된 처리량의 사용률이 감소할 수 있습니다.

GSU 요구사항 추정

프로비저닝된 처리량 페이지의 추정 도구를 사용하여 워크로드에 필요한 GSU 수를 추정합니다. 이 도구를 사용하려면 특정 빈도 기간에 대한 총 입력 토큰 및 출력 토큰 추정치를 입력해야 합니다. 추정 도구 사용에 대한 자세한 내용은 표준 프로비저닝된 처리량 주문하기를 참고하세요.

토큰 수를 추정하려면 다음 메서드를 사용합니다.

  • 입력 텍스트 토큰: SDK 토크나이저 또는 countTokens API를 사용합니다.
  • 다른 형식의 입력 토큰: 가격 책정 페이지의 가정을 기반으로 한 추정치를 사용합니다.
  • 기존 워크로드: 특정 기간 내에 생성된 응답의 토큰 사용량을 합산합니다.

예를 들어 30초마다 10초 길이의 720p 동영상 5개와 10초 길이의 1080p 동영상 5개를 생성하는 워크로드가 있다고 가정해 보겠습니다(총 10개의 요청). 각 요청에 입력 텍스트 토큰 20개, 이미지 1개(토큰 1,120개), 응답 사고 토큰 100개가 있다고 가정해 보겠습니다. GSU 추정기의 입력은 다음과 같습니다.

  • 빈도: 30초
  • 총 입력 텍스트 토큰: 20 × 10(요청) = 200
  • 총 이미지 토큰: 1,120 × 10(요청) = 11,200
  • 총 출력 추론 토큰: 100 × 10(요청) = 1,000
  • 총 출력 동영상 토큰: 10초(길이) × 5,792(토큰/초) × 동영상 5개(720p) + 10초(길이) × 8,688(토큰/초) × 동영상 5개(1080p) = 724,000
  • 예상 GSU: 283(gemini-omni-1.2-flash의 경우) 또는 434(gemini-omni-1.1-flash-preview의 경우)

고해상도 및 긴 재생 시간 시나리오

하나의 큰 요청을 두 개의 시행 기간으로 분할할 수 없습니다. 한 요청에 시행 기간이 보유한 것보다 많은 양이 필요한 경우, 요청을 얼마나 드물게 전송하는지, 후속 기간에 사용되지 않은 프로비저닝된 처리량 할당량이 얼마나 있는지에 관계없이 매번 PayGo로 제공됩니다.

Gemini Omni

gemini-omni-1.2-flash의 경우 10초 이상의 4K 동영상에만 영향을 미칩니다. 360p, 720p, 1080p에서는 지원되는 모든 길이(최대 15초)가 모든 구매 크기의 단일 창에 들어맞으며, 9초 이하의 4K 동영상도 마찬가지입니다(일반적인 입력 및 추론 토큰이 118,000개 미만이라고 가정).

길이가 10초 이상인 4K 동영상을 생성하는 경우 추정 도구의 결과를 다음 표와 비교하고 더 큰 숫자를 주문하세요.

가장 긴 4K 동영상 GSU 1~9개 GSU 10~19개 GSU 20~39개 GSU 40~66개 67개 이상의 GSU
10초 2 11 22 43 71
11초 2 12 24 47 78
12초 2 13 26 51 85
13초 2 14 28 55 92
14초 2 15 30 59 98
15초 2 16 32 63 105

예상 GSU 수와 일치하는 열을 읽습니다. 예를 들어 2,000초마다 15초 길이의 4K 동영상 6개를 생성한다고 가정해 보겠습니다. 추정기는 평균 처리량에 충분한 10개의 GSU를 반환합니다. 하지만 GSU 10개의 경우 시행 기간은 200초이며 15초 동영상은 단일 기간에 맞지 않습니다. 6개의 요청을 더 멀리 떨어뜨려도 이 문제는 해결되지 않습니다. PayGo 스필오버 없이 요청을 성공적으로 처리하려면 GSU 16개를 주문합니다.

이 수치는 텍스트 또는 이미지 프롬프트와 같은 일반적인 프롬프트 및 추론 토큰 또는 최대 10초 길이의 편집할 동영상을 가정합니다(15초 길이의 입력 동영상을 40개 이상의 GSU로 편집하는 경우 40~66개 GSU 및 67개 이상의 GSU 열에 1개의 GSU를 추가).

Gemini Omni

gemini-omni-1.1-flash-preview의 경우 7초 이상의 4K 동영상에만 영향을 미칩니다. 360p, 720p, 1080p에서는 지원되는 모든 길이가 구매 크기에 관계없이 하나의 창에 맞으며, 6초 이하의 4K 동영상도 마찬가지입니다(일반적인 입력 및 추론 토큰이 88, 000개 미만이라고 가정).

길이가 7초 이상인 4K 동영상을 생성하는 경우 추정 도구의 결과를 다음 표와 비교하고 더 큰 숫자를 주문하세요.

가장 긴 4K 동영상 GSU 1~9개 GSU 10~19개 GSU 20~39개 GSU 40~66개 67개 이상의 GSU
7초 2 12 23 46 76
8초 2 13 26 52 87
9초 2 15 29 58 97
10초 2 17 33 65 107

예상 GSU 수와 일치하는 열을 읽습니다. 예를 들어 2,000초마다 10초 길이의 4K 동영상 6개를 생성한다고 가정해 보겠습니다. 추정기는 평균 처리량에 충분한 10개의 GSU를 반환합니다. 하지만 GSU 10개의 경우 시행 기간은 200초이며 10초 동영상 중 어느 것도 단일 기간에 맞지 않습니다. 6개의 요청을 더 멀리 떨어뜨려도 이 문제는 해결되지 않습니다. PayGo 스필오버 없이 요청을 성공적으로 처리하려면 GSU 17개를 주문합니다.

이 수치는 텍스트 또는 이미지 프롬프트, 편집할 최대 10초 길이의 동영상과 같은 일반적인 프롬프트 및 추론 토큰을 가정합니다.

다음 단계