Panduan perintah Gemini TTS

Halaman ini menjelaskan praktik terbaik untuk menulis perintah saat menggunakan Gemini 3.8 Flash TTS dan Gemini 3.8 Flash-Lite TTS.

Untuk mengetahui sintaksis permintaan dan contoh kode, lihat Ringkasan TTS Gemini.

Model Gemini 3.8 TTS memperlakukan kolom text sebagai transkrip verbatim. Petunjuk arah yang berkelanjutan dan di tingkat giliran akan dimasukkan ke dalam speech_metadata, dan peristiwa vokal pada waktu tertentu akan dimasukkan secara inline dalam transkrip. Permintaan berikut menggabungkan style tingkat giliran dengan tag vokal dan jeda inline:

{
  "contents": [{
    "role": "user",
    "parts": [{
      "text": "Wait... <short pause> did you hear that? <gasp> Someone's at the door.",
      "speechMetadata": {"style": "whispered, nervous"}
    }]
  }],
  "generationConfig": {
    "responseModalities": ["AUDIO"],
    "speechConfig": {"voiceConfig": {"voice": "Kore"}}
  }
}

Kolom gaya versus tag inline

Pisahkan petunjuk performa Anda berdasarkan cakupan:

  • Penyampaian tingkat giliran (speech_metadata.style): Masukkan atribut penyampaian berkelanjutan, seperti emosi, prosodi, kecepatan keseluruhan, atau gaya penyampaian (seperti "whispering", "out of breath", "muttering", atau "sarcastic"), ke dalam kolom style dari speech_metadata. Untuk membuat karakter dan performa yang stabil di seluruh giliran, desain persona di awal dalam Desain suara dan gunakan style hanya untuk penyesuaian opsional di tingkat giliran.
  • Peristiwa pada waktu tertentu (tag inline): Tempatkan letupan vokal non-ucapan, napas, atau jeda sesaat secara inline di dalam transkrip menggunakan tanda kurung sudut (<cough>, <breath>, <sigh>, <short pause>). Gunakan tanda kurung sudut (<...>) untuk kualitas audio tertinggi, dan gunakan vokalisasi manusia, bukan efek suara non-vokal.
Cakupan Tempat penempatan Contoh
Tingkat giliran (dipertahankan di seluruh giliran) speech_metadata.style "angry tone", "speaking rapidly", "out of breath", "whispers", "sarcastic"
Point-in-time (terjadi pada kata tertentu) Inline di text (<...>) "<cough> Thank you all for coming tonight! <throat-clearing> As I was saying..."

Kecepatan dan jeda

Anda dapat mengontrol ritme dan keheningan pada tiga level:

  • Tanda baca dan elipsis: Gunakan koma, tanda hubung (--), dan elipsis (...) untuk keraguan yang natural.
  • Tag jeda inline: Sisipkan <short pause> atau <long pause> di tempat pembicara harus menjeda. Contoh: "Hold on, let me think... <short pause> Alright, I've got it."
  • Kecepatan tingkat giliran: Tetapkan "style": "speaking rapidly" atau "style": "speaking slowly" di speech_metadata untuk mengontrol kecepatan bicara untuk seluruh giliran.

Prosodi dan nada

Gunakan speech_metadata.style untuk mengontrol prosodi, nada, dan infleksi di seluruh giliran. Contohnya, "style": "high pitch, cheerful and excited inflection" atau "style": "monotone and flat". Jika emosi berubah di tengah dialog, bagi skrip menjadi giliran terpisah, masing-masing dengan style-nya sendiri.

Penekanan

Gunakan huruf kapital untuk kata-kata dalam transkrip, bersama dengan tanda baca dan tag inline, untuk menekankannya. Misalnya: "This is a VERY important point!" atau "It was a VERY long day <sigh> ... nobody listens anymore."

Suara vokal dan suara non-ucapan

Tempatkan vokalisasi manusia non-ucapan secara inline dalam tanda kurung sudut (<...>) di titik tempat suara seharusnya muncul. Gunakan vokalisasi manusia, bukan efek suara non-vokal seperti tepuk tangan. Tag vokal yang direkomendasikan meliputi:

Tag Tag Tag Tag
<argh> <breath> <heavy breath> <exhales>
<cackle> <cheer> <chuckle>/<chuckles> <cough>
<cry> <gasp> <giggle> <groan>
<growl> <grunt> <grr> <hiss>
<laugh>/<laughter> <moan> <pant> <pff>/<phew>
<scream> <shout> <shriek> <sigh>/<sighs>
<sneeze> <snicker> <snort> <sob>
<throat-clearing> <tsk> <whimper> <whispers>/<whispering>
<yawn> <short pause> <long pause>

Backchannel dan ucapan yang tumpang-tindih

Dalam dialog dengan beberapa pembicara, sertakan reaksi pendengar dalam karakter pipa (|reaction|) di dalam giliran pembicara aktif. Hal ini menciptakan backchannel alami atau ucapan yang tumpang tindih tanpa giliran terpisah untuk setiap reaksi.

  • Backchannel singkat: Lapisi reaksi singkat pendengar di dalam giliran pembicara aktif:
    • Giliran 1 (Pembicara A): "So the launch is Thursday |oh hmm| Are we actually ready?"
    • Giliran 2 (Pembicara B): "Ready enough |oh really?| The last blocker cleared this morning."
    • Giliran 3 (Pembicara A): "Then let's ship it |absolutely| and watch the dashboards."
  • Ucapan yang tumpang-tindih dan berselang-seling: Gunakan beberapa segmen pipa untuk menyimulasikan ucapan simultan. Fitur ini berfungsi paling baik dengan gemini-3.8-flash-tts:
    • Hitung mundur atau chorus: "Let's surprise him on three |ok| ready?" diikuti dengan "one. two. three. |happy| happy |birthday| birthday!"
    • Tumpang-tindih penuh: "Hello |oh| there |my| it |goodness| must |gracious| be |would| almost |you| time |look| for |at that| dinner"

Konsistensi di seluruh generasi dan hal yang harus dihindari

Ikuti panduan berikut untuk menjaga identitas vokal tetap stabil di seluruh giliran:

  • Rancang persona di awal dalam Desain gaya bahasa, bukan blok gaya yang panjang: Paragraf "Audio Profile" yang panjang dan "Director's Notes" dengan banyak poin yang dibawa dari model sebelumnya adalah penyebab paling umum dari penyimpangan gaya bahasa. Gunakan intuisi kreatif yang sama di awal dalam Desain suara untuk menghasilkan persona voice_... kustom yang persisten, lalu bawa ID suara tersebut melalui panggilan TTS Anda.
  • Mengandalkan referensi suara untuk stabilitas (abaikan meta-instruksi): Model TTS Gemini 3.8 dilatih untuk mengandalkan referensi audio terlebih dahulu. Jangan sertakan petunjuk yang memberi tahu model untuk mempertahankan suara yang stabil (seperti "do not switch speaker identity" atau "maintain identical timbre"). Teks perintah tambahan akan meningkatkan penyimpangan. Hapus petunjuk gaya yang tidak perlu dan biarkan model bervariasi secara alami di sekitar titik stabil yang disediakan oleh referensi suara.
  • Jangan mencoba mengubah karakteristik pembicara yang tidak dapat diubah di style: Hindari memasukkan usia, gender, nama, atau perubahan aksen permanen di speech_metadata.style. Sebagai gantinya, pilih suara regional dari Extended Voice Library atau buat suara dengan Voice design.
  1. Buat karakter sekali: Buat karakter Anda di Voice design atau pilih suara regional dari Extended Voice Library yang sesuai dengan bahasa target dan persona Anda.
  2. Tulis transkrip lisan yang alami dengan disfluensi: Untuk kealamian maksimum, tulis text sebagai transkrip lisan yang sebenarnya, termasuk disfluensi dan keraguan percakapan yang alami (misalnya, "Oh uh yeah I think... hm, so that's interesting").
  3. Uji TTS biasa terlebih dahulu: Sintesis transkrip Anda (misalnya, di Agent Studio) dengan kolom style kosong terlebih dahulu. Sebagian besar permintaan tidak memerlukan petunjuk style sama sekali.
  4. Tambahkan perintah style singkat hanya untuk penyesuaian: Tambahkan string style yang ringkas (seperti "casual, friendly" atau "muttering, then reassuring") hanya untuk giliran yang memerlukan penyesuaian pengiriman tertentu, dan gunakan kembali string singkat yang sama di seluruh giliran jika Anda menginginkan dasar pengukuran yang konsisten.

Dialog multi-giliran dan agen suara

Saat Anda membangun agen suara percakapan atau aplikasi multi-turn lainnya:

  • Buat satu permintaan TTS untuk setiap giliran saat teks LLM tiba.
  • Biarkan voice yang dikonfigurasi membawa identitas pembicara di seluruh giliran. Jangan mengirim ulang deskripsi persona yang panjang di setiap giliran.
  • Biarkan style kosong, atau kirim satu string konstan pendek untuk seluruh percakapan.
  • Bagi respons agen yang panjang menjadi giliran yang lebih pendek, daripada memperkuat perintah style.

Langkah berikutnya