언어 및 음성 구성

이 문서에서는 Gemini Live API에서 합성 음성 대답 및 음성 활동 감지를 구성하는 방법을 설명합니다. 다양한 HD 음성 및 언어로 대답을 구성하고 사용자가 모델을 중단할 수 있도록 음성 활동 감지 설정을 구성할 수도 있습니다.

언어 및 음성 설정

gemini-3.8-live와 같은 라이브 오디오 모델은 대화 중에 자연스럽게 언어를 전환할 수 있습니다. 시스템 안내에 지정하여 말하는 언어를 제한할 수도 있습니다.

모든 모델의 voice_name 필드에 음성이 구성됩니다.

다음 코드 샘플은 언어와 음성을 구성하는 방법을 보여줍니다.

from google.genai.types import LiveConnectConfig, SpeechConfig, VoiceConfig, PrebuiltVoiceConfig

config = LiveConnectConfig(
  response_modalities=["AUDIO"],
  speech_config=SpeechConfig(
    voice_config=VoiceConfig(
        prebuilt_voice_config=PrebuiltVoiceConfig(
            voice_name=voice_name,
        )
    ),
    language_code="en-US",
  ),
)

안내 음성 어조 및 억양

시스템 안내를 사용하여 음성의 어조와 억양을 안내할 수 있으며 Gemini Live API는 안내된 음성으로 대답합니다. 예를 들어 '프랑스어 억양이 있는 긍정적이고 경쾌한 목소리의 영어'입니다.

지원되는 음성

Gemini Live API는 voice_name 필드에서 다음 30가지 음성 옵션을 지원합니다.

Zephyr -- 밝음
Kore -- 단호함
Orus -- 단호함
Autonoe -- 밝음
Umbriel -- 느긋함
Erinome -- 선명함
Laomedeia -- 명랑함
Schedar -- 고름
Achird -- 친근함
Sadachbia -- 활기참
Puck -- 명랑함
Fenrir -- 흥분하기 쉬움
Aoede -- 산뜻함
Enceladus -- 숨소리가 섞임
Algieba -- 매끄러움
Algenib -- 걸걸함
Achernar -- 부드러움
Gacrux -- 성숙함
Zubenelgenubi -- 태평함
Sadaltager -- 지식이 풍부함
Charon -- 정보 전달형
Leda -- 젊음
Callirrhoe -- 편안함
Iapetus -- 명료함
Despina -- 매끄러움
Rasalgethi -- 정보 전달형
Alnilam -- 단호함
Pulcherrima -- 선도적임
Vindemiatrix -- 온화함
Sulafat -- 따뜻함

지원 언어

모든 Gemini Live API 모델은 다음 언어를 지원합니다.

언어 BCP-47 코드
아랍어(이집트) ar-EG
벵골어(방글라데시) bn-BD
네덜란드어(네덜란드) nl-NL
영어(인도) en-IN 및 hi-IN 번들
영어(미국) en-US
프랑스어(프랑스) fr-FR
독일어(독일) de-DE
힌디어(인도) hi-IN
인도네시아어(인도네시아) id-ID
이탈리아어(이탈리아) it-IT
일본어(일본) ja-JP
한국어(대한민국) ko-KR
마라티어(인도) mr-IN
폴란드어(폴란드) pl-PL
포르투갈어(브라질) pt-BR
루마니아어(루마니아) ro-RO
러시아어(러시아) ru-RU
스페인어(미국) es-US
타밀어(인도) ta-IN
텔루구어(인도) te-IN
태국어(태국) th-TH
터키어(터키) tr-TR
우크라이나어(우크라이나) uk-UA
베트남어(베트남) vi-VN

Gemini 3.8 Live에서 지원되는 추가 언어

Gemini 3.8 Live(gemini-3.8-live)는 위의 언어 외에도 다음 언어를 지원합니다.

언어 BCP-47 코드
아프리칸스어 af
알바니아어 sq
암하라어 오전
아르메니아어 hy
아제르바이잔어 az
바스크어 eu
벨라루스어 be
불가리아어 bg
버마어 my
카탈로니아어 ca
세부아노어 ceb
중국어(북경어) cmn
크로아티아어 시간
체코어 cs
덴마크어 da
에스토니아어 et
필리핀어 fil
핀란드어 fi
갈리시아어 gl
조지아어 ka
그리스어 el
구자라트어 gu
아이티 크리올어 ht
히브리어 he
헝가리어 hu
아이슬란드어 is
자바어 jv
칸나다어 kn
콘칸어 kok
라오어 lo
라틴어 la
라트비아어 lv
리투아니아어 lt
룩셈부르크어 lb
마케도니아어 mk
마이틸리어 mai
마다가스카르어 mg
말레이어 ms
말라얄람어 ml
몽골어 mn
네팔어 ne
노르웨이어(보크몰) nb
노르웨이어, 뉘노르스크 nn
오리야어 또는
파슈토어 ps
페르시아어 fa
펀자브어 pa
세르비아어 sr
신드어 sd
신할라어 si
슬로바키아어 sk
슬로베니아어 sl
스와힐리어 sw
스웨덴어 sv
우르두어 ur

커스텀 음성 사용

사전 빌드된 음성 대신 Gemini Live API가 합성 음성 대답에서 복제하는 음성의 짧은 녹음 파일을 제공할 수 있습니다. 커스텀 음성은 voice_config의 replicated_voice_config 필드에서 세션별로 구성됩니다. 사전에 업로드하거나 학습시킬 필요가 없습니다.

음성 샘플 요구사항

음성 샘플은 다음 사양을 충족해야 합니다.

  • 오디오 형식: 가변 샘플링 레이트가 있는 PCM 오디오 s16le(예: audio/pcm;rate=24000)

  • 길이: 10~20초

커스텀 음성 녹음

음성 샘플을 녹음할 때 최상의 음성 품질을 위해 다음 팁을 따르는 것이 좋습니다.

  1. 자연스럽게 말하기: 아바타가 방송인처럼 말하기를 원하지 않는 한 '라디오 음성'을 사용하거나 과도하게 발음하지 마세요. 친구에게 말하듯이 스크립트를 읽습니다.

  2. 배경 소음 제한: 배경 소음을 최대한 제한합니다. 선풍기를 끄고, 에어컨을 끄고, 열려 있는 창문을 닫습니다.

  3. 살짝 미소 짓기: 녹음하는 동안 미소를 지으면 녹음에 따뜻함이 더해지고, 이 따뜻함이 복제된 음성에 더해집니다.

다음 스크립트 중 하나를 사용하여 커스텀 음성을 녹음하는 것이 좋습니다.

  • 전반적인 품질에 가장 적합한 음성 표준: 'When the sunlight strikes raindrops in the air, they act like a prism and form a rainbow. 무지개는 백색광이 여러 가지 아름다운 색상으로 나뉜 것입니다. 이것은 길고 둥근 아치 모양입니다."

  • 스토리텔러, 감정과 다이내믹 레인지를 포착하는 데 가장 적합: "먼지 쌓인 오래된 책을 펼쳤을 때 내 눈을 믿을 수 없었어. 작은 금색 열쇠가 나무 바닥에 떨어졌습니다. '이게 어디서 온 거지?' 갑자기 흥분되는 스릴을 느끼며 혼잣말로 속삭였습니다. 모든 것이 바뀌기 직전이었죠."

커스텀 음성 설정

WebSocket 연결을 통해 전송하는 초기 setup 페이로드에서 커스텀 음성을 구성합니다.

import base64
import json
import websockets

# Load custom voice audio (PCM s16le, e.g., 24kHz)
with open("/path/to/your/audio_sample.wav", "rb") as f:
    wav_b64 = base64.b64encode(f.read()).decode("utf-8")

# Setup generation config with custom voice
GENERATION_CONFIG = {
    "response_modalities": ["AUDIO"],
    "speech_config": {
        "voice_config": {
            "replicated_voice_config": {
                "voice_sample_audio": "VOICE_SAMPLE",
                "mime_type": "VOICE_MIME_TYPEaudio/pcm;rate=24000",
            }
        }
    },
}

# Session setup message
SETUP_MESSAGE = {
    "setup": {
        "model": "gemini-3.8-live",
        "generation_config": GENERATION_CONFIG,
        "system_instruction": {
            "parts": [{"text": "Your system instruction here"}]
        },
        "input_audio_transcription": {},
        "output_audio_transcription": {},
    }
}

다음을 바꿉니다.

  • VOICE_SAMPLE: base64로 인코딩된 PCM 오디오 문자열(10~20초 샘플)입니다.

  • VOICE_MIME_TYPE: PCM 오디오의 MIME 유형입니다(예: "audio/pcm;rate=24000").

맞춤 음성을 사전 빌드된 아바타 또는 맞춤 아바타와 페어링할 수 있습니다. 자세한 내용은 라이브 아바타 구성을 참조하세요.

음성 활동 감지 구성

음성 활동 감지(VAD)를 사용하면 모델이 사람이 말하는 시점을 인식할 수 있습니다. 사용자가 언제든지 모델의 말을 끊고 끼어들 수 있어 자연스러운 대화를 위해 필수적입니다.

VAD가 중단을 감지하면 진행 중인 생성이 취소되고 삭제됩니다. 이미 클라이언트로 전송된 정보만 세션 기록에 보관됩니다. 그런 다음 서버는 BidiGenerateContentServerContent 메시지를 전송하여 중단을 보고합니다. 그런 다음 서버는 대기 중인 함수 호출을 삭제하고 취소된 호출의 ID가 포함된 BidiGenerateContentServerContent 메시지를 전송합니다.

Python

config = {
    "response_modalities": ["audio"],
    "realtime_input_config": {
        "automatic_activity_detection": {
            "disabled": False, # default
            "start_of_speech_sensitivity": "low",
            "end_of_speech_sensitivity": "low",
            "prefix_padding_ms": 20,
            "silence_duration_ms": 100,
        }
    }
}
      

다음 단계