이 섹션에서는 토큰 집계 및 할당량 적용을 위해 프로비저닝된 처리량이 Gemini Live API와 어떻게 연동되는지 설명합니다.
Gemini Live API는 세션 메모리를 사용하여 차례 간에 컨텍스트를 유지하는 지연 시간이 짧은 멀티모달 상호작용을 지원합니다. 추가 기능 및 세션 한도는 Gemini Live API 참조를 확인하세요.
각 세션은 프로비저닝된 처리량 또는 PayGo에 전적으로 전용되어야 합니다. 세션 중간에 전환하는 것은 지원되지 않습니다. 활성 세션 중에 프로비저닝된 처리량 할당량을 초과하면 시스템에서 오류를 방지하기 위해 일시적인 버스팅을 허용하여 전체 할당량에 초과분을 등록합니다. 예상치 못한 사용량 급증을 방지하려면 최대 수요를 지원할 수 있는 충분한 GSU를 구매하세요.
세션 간에 오버플로가 지원됩니다. 세션을 시작할 때 시스템은 요청 헤더를 평가하고 프로비저닝된 처리량 할당량 가용성을 확인합니다. 할당량이 부족하면 새 세션은 기본적으로 PayGo로 설정됩니다.
세션 메모리는 이전 차례의 출력을 후속 요청의 입력으로 전달하므로 프로비저닝된 처리량은 새로 수신되는 토큰과 누적된 세션 토큰을 모두 기반으로 할당량을 계산합니다. 따라서 세션이 진행됨에 따라 요청당 처리되는 총 토큰 수는 사전 정의된 세션 한도에 도달할 때까지 증가합니다. 세션 메모리를 비롯한 세션 상태는 세션이 활성 상태인 동안 사용할 수 있습니다.
필요한 프로비저닝된 처리량을 추정할 때는 세션 메모리 토큰을 고려해야 합니다. 출력 동영상 아바타 토큰은 세션 메모리에 포함되지 않습니다. 과거 PayGo 트래픽 패턴은 GSU 요구사항을 계산하는 데 유용한 기준이 될 수 있습니다.
할당량 시행 기간은 모델에 대해 구매한 GSU 수에 따라 다르며 변경될 수 있습니다.
Gemini 3.8 Live API
할당량 적용 기간
다음은 Gemini 3.8 Live API 모델의 다양한 GSU 크기에 대한 할당량 시행 기간입니다.
- GSU 1~9개: 45초
- GSU 10개 이상: 5초
나열된 값은 요청 지연 시간과 무관합니다. 요청 처리 시간은 할당량 적용 기간과 다릅니다. 이 모델의 동영상 아바타 관련 요청을 처리하려면 프로비저닝된 처리량에 대해 최소 10개의 GSU를 구매해야 합니다. 10개 미만의 GSU를 구매하면 전체 동영상 아바타 기반 세션이 PayGo로 전환됩니다.
시행 기간은 GSU 양이 적을수록 더 길어지므로 기간 내에 더 작은 요청이 성공적으로 처리됩니다. 모델의 GSU 수가 증가함에 따라 요청을 처리하는 데 더 긴 기간이 필요하지 않습니다. 프로비저닝된 처리량을 사용하여 출력을 더 자주 처리해야 하는 경우 구매한 GSU 양을 늘리고 해당 시행 기간을 확인하는 것이 좋습니다. 시행 기간은 백엔드 알고리즘에 따라 달라지며 변경될 수 있습니다.
GSU 요구사항 추정
잠재적인 워크로드의 예를 살펴보고 예측 도구가 이 모델에 대한 추천을 제공하는 방법을 이해해 보겠습니다. 이 도구는 요청이 처리되는 방식과 소진율이 적용되는 방식도 알려줍니다. 사용자가 10개의 동시 세션이 예상되고 기간이 5분(300초)인 챗봇에 Gemini Live API를 사용하려고 합니다. 세션당 예상 대화 차례는 30회이며 사용자는 최대 세션 컨텍스트 윈도우를 트리거 토큰 6,000개로 지정합니다. 요청의 형태는 다음과 같습니다.
| 필드 | 예시 값 |
|---|---|
| 예상 동시 세션 수 | 10 |
| 예상 재생 시간(초) | 300 |
| 세션당 평균 턴 수 | 30 |
| 최대 컨텍스트 길이(트리거 토큰) | 6,000 |
| 턴당 평균 입력 텍스트 토큰 | 20 |
| 턴당 평균 입력 오디오 토큰 | 200 |
| 턴당 평균 입력 이미지/동영상 토큰 | 50 |
| 턴당 평균 출력 텍스트 토큰 | 100 |
| 턴당 평균 출력 오디오 토큰 | 200 |
| 출력 동영상 아바타가 사용 설정되어 있나요? | 예 |
턴당 입력 토큰:
입력 모달리티와 각 번다운 비율의 합계를 계산합니다.
턴당 평균 입력 텍스트 토큰 * 입력 텍스트 소진율 = 20 * 1 = 20
턴당 평균 입력 오디오 토큰 * 입력 오디오 소진율 = 200 * 4 = 800
턴당 평균 입력 이미지/동영상 토큰 * 입력 이미지 소진율 = 50 * 1.4 = 70
차례당 소진 조정 입력 토큰 총합 = 20 + 800 + 70 = 890
대화당 출력 토큰:
출력 형식과 각 소진율의 합계를 계산합니다. 출력 동영상 아바타 토큰은 오디오 토큰 25개당 고정된 6,192개의 토큰을 나타냅니다.
턴당 평균 출력 텍스트 토큰 * 출력 텍스트 소진율 = 100 * 6 = 600
턴당 평균 오디오 토큰 * 출력 오디오 소진율 = 200 * 16 = 3,200
출력 동영상 아바타가 사용 설정되어 있나요? 예, 오디오 토큰 출력에 (6,192/25)를 곱하고 출력 동영상 아바타 토큰 소진율을 적용합니다. 200 * (6,192/25) * 1.4 = 69,350
턴당 소진 조정 출력 토큰 총합 = 600 + 3,200 + 69,350 = 73,150
대화당 컨텍스트 윈도우 토큰:
컨텍스트 윈도우는 최대 컨텍스트 윈도우 길이에 도달하여 증가가 중지될 때까지 각 차례에서 원시 입력 및 출력 토큰(출력 동영상 아바타 토큰 제외)을 누적합니다. 토큰은 번다운 비율을 적용하지 않고 원시 토큰으로 컨텍스트 윈도우 한도에 반영됩니다. 하지만 컨텍스트 윈도우가 다음 차례의 입력 요청에 세션 메모리로 제공되면 컨텍스트 윈도우의 토큰은 해당 형식에 따라 해당 입력 번다운 비율을 적용해야 합니다.
번다운 비율을 고려하지 않고 각 세션의 총 원시 토큰을 더합니다.
- 턴당 평균 입력 텍스트 토큰 + 턴당 평균 입력 오디오 토큰 + 턴당 평균 입력 이미지/동영상 토큰 + 턴당 평균 출력 텍스트 토큰 + 턴당 평균 출력 오디오 토큰 = 20 + 200 + 50 + 100 + 200 = 570
그런 다음 전체에 대한 각 원시 토큰 수의 비율을 계산합니다. 컨텍스트 윈도우 계산에서 동영상 아바타 출력 토큰은 무시할 수 있습니다.
- 입력 텍스트 비율 = 20/570 = 0.035
- 입력 오디오 비율 = 200/570 = 0.351
- 입력 이미지/동영상 비율 = 50/570 = 0.088
- 출력 텍스트 비율 = 100/570 = 0.175
- 출력 오디오 비율 = 200/570 = 0.351
그런 다음 비율, 최대 컨텍스트 길이, 번다운 비율의 합계를 모두 입력 모달리티인 것처럼 계산합니다.
입력 텍스트 비율 * 최대 컨텍스트 길이 * 입력 텍스트 번다운 = 0.035 * 6,000 * 1 = 210
입력 오디오 비율 * 최대 컨텍스트 길이 * 입력 오디오 번다운 = 0.351 * 6,000 * 4 = 8,424
입력 이미지/동영상 비율 * 최대 컨텍스트 길이 * 입력 이미지/동영상 번다운 = 0.088 * 6,000 * 1.4 = 739
출력 텍스트 비율 * 최대 컨텍스트 길이 * 입력 텍스트 번다운 = 0.175 * 6,000 * 1 = 1,050
출력 오디오 비율 * 최대 컨텍스트 길이 * 입력 오디오 번다운 = 0.351 * 6,000 * 4 = 8,424
최대 컨텍스트 윈도우 한도인 원시 토큰 6,000개에서 차례당 처리되는 총 번다운 조정 컨텍스트 윈도우 토큰은 210 + 8,424 + 739 + 1,050 + 8,424 = 18,847입니다.
GSU 계산:
(턴당 입력 토큰 + 턴당 출력 토큰 + 턴당 컨텍스트 윈도우 토큰) * 세션당 평균 턴 수 * 예상 동시 세션 수 * (1/예상 기간) * (1 GSU/1,350 TPS) = (890 + 73,150 + 18,847) * 30 * 10 * (1/300) * (1/1,350) = 68.8, 반올림하면 69 GSU입니다.
요청 처리
이 모델의 프로비저닝된 처리량과 관련하여 요청이 처리되는 방식의 예를 살펴보겠습니다. 요청이 3개 있다고 가정해 보겠습니다.
요청 #1 세부정보 - 입력 오디오 및 동영상, 출력 오디오
- 지속 시간: 10초
- 전송된 토큰(오디오): 10초 x 토큰 25개/초 = 토큰 250개
- 전송된 토큰(동영상): 10초 x 토큰 258개/초당 프레임 수 = 토큰 2,580개
- 요청의 성격에 따라 수신된 출력 오디오 토큰: 100개 토큰
- 업데이트된 세션 메모리 = 250 + 2,580 + 100 = 토큰 2,930개
요청 2 세부정보 - 세션 메모리가 있는 입력 오디오, 출력 오디오
- 지속 시간: 40초
- 전송된 토큰(오디오): 40초 x 토큰 25개/초 = 토큰 1,000개
- 요청 1 후 세션 메모리 = 토큰 2,930개
- 전송된 총 입력 토큰: 이 요청에서 전송된 토큰 + 요청 1의 세션 메모리 = 1,000 + 2,930 = 토큰 3,930개
- 요청의 특성에 따라 수신된 출력 오디오 토큰: 200개 토큰
- 업데이트된 세션 메모리 = 3,930 + 200 = 토큰 4,130개
요청 #3 세부정보 - 세션 메모리가 있는 입력 오디오 및 동영상, 출력 아바타 동영상 및 오디오
- 지속 시간: 10초
- 전송된 토큰(오디오): 10초 x 토큰 25개/초 = 토큰 250개
- 전송된 토큰(동영상): 10초 x 토큰 258개/초당 프레임 수 = 토큰 2,580개
- 요청 2 후 세션 메모리 = 토큰 4,130개
- 전송된 총 입력 토큰: 이 요청에서 전송된 토큰 + 요청 #2의 세션 메모리 = 250 + 2,580 + 4,130 = 6,960개 토큰
- 요청의 특성에 따라 수신된 출력 동영상 아바타 토큰: 61,920개 토큰
- 요청의 특성에 따라 수신된 출력 오디오 토큰: 250개 토큰
- 업데이트된 세션 메모리 = 6,960 + 250 = 7,210토큰
처리된 토큰 이해
요청 1에서는 진행 중인 요청의 입력 및 출력 토큰만 처리합니다. 세션 메모리에 추가 토큰이 없기 때문입니다. 이제 처리된 모든 토큰이 세션 메모리를 구성합니다.
요청 2는 진행 중인 요청의 입력 및 출력 토큰을 처리하면서 요청 1의 세션 메모리도 포함합니다. 모든 세션 메모리 토큰은 해당 입력 토큰의 소진율을 적용합니다.
요청 3은 진행 중인 요청의 입력 및 출력 토큰을 처리하는 동시에 요청 2의 세션 메모리도 포함합니다. 모든 세션 메모리 토큰은 해당 입력 토큰의 소진율을 적용합니다.
요청 #3이 전송된 후 처리하는 데 정확히 1초가 걸린 경우 이 모델의 프로비저닝된 처리량 할당량에 적용되는 번다운 조정 토큰은 다음과 같습니다.
입력 오디오 토큰 * 입력 오디오 소진율 = 250 * 4 = 1,000
입력 동영상 토큰 * 입력 동영상 소진율 = 2,580 * 1.4 = 3,612
세션 메모리 오디오 * 입력 오디오 소진율 = (250 + 100 + 1,000 + 200) * 4 = 6,200
세션 메모리 동영상 * 입력 동영상 소진율 = 2,580 * 1.4 = 3,612
출력 동영상 아바타 토큰 * 출력 동영상 아바타 소진율 = 61,920 * 1.4 = 86,688
출력 오디오 토큰 * 출력 오디오 소진율 = 250 * 16 = 4,000
합계를 더하면 105,112개의 번다운 조정 토큰이 됩니다.
Gemini 2.5 Flash Live API 네이티브 오디오
요청 처리
요청 #1 세부정보 - 입력 오디오 및 동영상, 출력 오디오
- 지속 시간: 10초
- 전송된 토큰(오디오): 10초 x 토큰 25개/초 = 토큰 250개
- 전송된 토큰(동영상): 10초 x 토큰 258개/초당 프레임 수 = 토큰 2,580개
- 요청의 성격에 따라 수신된 출력 오디오 토큰: 100개 토큰
- 업데이트된 세션 메모리 = 250 + 2,580 + 100 = 토큰 2,930개
요청 2 세부정보 - 세션 메모리가 있는 입력 오디오, 출력 오디오
지속 시간: 40초
전송된 토큰(오디오): 40초 x 토큰 25개/초 = 토큰 1,000개
요청 1 후 세션 메모리 = 토큰 2,930개
전송된 총 입력 토큰: 이 요청에서 전송된 토큰 + 요청 1의 세션 메모리 = 1,000 + 2,930 = 토큰 3,930개
요청의 특성에 따라 수신된 출력 오디오 토큰: 200개 토큰
업데이트된 세션 메모리 = 3,930 + 200 = 토큰 4,130개
처리된 토큰 이해
요청 1에서는 진행 중인 요청의 입력 및 출력 토큰만 처리합니다. 세션 메모리에 추가 토큰이 없기 때문입니다. 이제 처리된 모든 토큰이 세션 메모리를 구성합니다.
요청 2는 진행 중인 요청의 입력 및 출력 토큰을 처리하면서 요청 1의 세션 메모리도 포함합니다. 모든 세션 메모리 토큰은 해당 입력 토큰의 소진율을 적용합니다.
요청 #2가 전송된 후 처리하는 데 정확히 1초가 걸린 경우 이 모델의 프로비저닝된 처리량 할당량에 적용되는 번다운 조정 토큰은 다음과 같습니다.
- 입력 오디오 토큰 * 입력 오디오 소진율 = 1,000 * 6 = 6,000
- 세션 메모리 오디오 * 입력 오디오 소진율 = (250 + 100) * 6 = 2,100
- 세션 메모리 동영상 * 입력 동영상 소진율 = 2,580 * 6 = 15,480
- 출력 오디오 토큰 * 출력 오디오 소진율 = 200 * 24 = 4,800
합계를 더하면 28,380개의 번다운 조정 토큰이 됩니다.