מדריך לכתיבת הנחיות ל-Gemini ל-TTS

בדף הזה מפורטות שיטות מומלצות לכתיבת הנחיות כשמשתמשים ב-Gemini 3.8 Flash TTS וב-Gemini 3.8 Flash-Lite TTS.

בסקירה הכללית של Gemini TTS מפורטים תחביר הבקשות ודוגמאות קוד.

המודלים של Gemini 3.8 TTS מתייחסים לשדה text כתמליל מילה במילה. הנחיות מתמשכות ברמת התור נכתבות בspeech_metadata, ואירועים קוליים נקודתיים נכתבים בתוך התמליל. הבקשה הבאה משלבת style ברמת התור עם תגי קול והפסקות מוטבעים:

{
  "contents": [{
    "role": "user",
    "parts": [{
      "text": "Wait... <short pause> did you hear that? <gasp> Someone's at the door.",
      "speechMetadata": {"style": "whispered, nervous"}
    }]
  }],
  "generationConfig": {
    "responseModalities": ["AUDIO"],
    "speechConfig": {"voiceConfig": {"voice": "Kore"}}
  }
}

שדה סגנון לעומת תגים בתוך השורה

מחלקים את ההוראות לביצוע לפי היקף:

  • הגשה ברמת הפנייה (speech_metadata.style): הזינו מאפייני הגשה מתמשכים, כמו רגש, פרוזודיה, קצב כללי או סגנון הגשה (כמו "whispering",‏ "out of breath",‏ "muttering" או "sarcastic"), בשדה style של speech_metadata. כדי ליצור דמות וביצועים יציבים לאורך כל התורות, כדאי לעצב את הדמות מראש בעיצוב הקול ולהשתמש ב-style רק לשינויים אופציונליים ברמת התור.
  • אירועים בנקודת זמן (תגים בתוך השורה): הציבו פרצי קול רגעיים שאינם דיבור, נשימות או הפסקות בתוך השורה בתמליל באמצעות סוגריים זוויתיים (<cough>, <breath>, <sigh>, <short pause>). השתמשו בסוגריים זוויתיים (<...>) לאיכות האודיו הגבוהה ביותר, והיצמדו לקולות אנושיים ולא לאפקטים קוליים שאינם קוליים.
היקף איפה למקם את המכשיר דוגמאות
ברמת התור (נמשך לאורך התור) speech_metadata.style "angry tone", "speaking rapidly", "out of breath", "whispers", "sarcastic"
נקודת זמן (מתרחשת במילה ספציפית) בתוך השורה ב-text (<...>) "<cough> Thank you all for coming tonight! <throat-clearing> As I was saying..."

קצב והפסקות

אתם יכולים לשלוט בקצב ובשתיקה בשלוש רמות:

  • פיסוק ושלוש נקודות: השתמשו בפסיקים, במקפים (--) ובשלוש נקודות (...) כדי ליצור היסוס טבעי.
  • תגי השהיה בתוך השורה: מוסיפים <short pause> או <long pause> במקום שבו הדובר צריך להשהות את הדיבור. לדוגמה: "Hold on, let me think... <short pause> Alright, I've got it."
  • קצב דיבור ברמת התור: מגדירים את "style": "speaking rapidly" או את "style": "speaking slowly" ב-speech_metadata כדי לשלוט בקצב הדיבור של כל התור.

פרוסודיה וגובה הצליל

אפשר להשתמש ב-speech_metadata.style כדי לשלוט בפרוסודיה, בגובה הצליל ובהטיה לאורך התור. לדוגמה, "style": "high pitch, cheerful and excited inflection" או "style": "monotone and flat". אם הרגש משתנה באמצע הדיאלוג, צריך לפצל את התסריט לחלקים נפרדים, ולכל אחד מהם להוסיף style משלו.

הדגשה

כדי להדגיש מילים בתמליל, אפשר להשתמש באותיות רישיות, בסימני פיסוק ובתגים בתוך השורה. לדוגמה: "This is a VERY important point!" או "It was a VERY long day <sigh> ... nobody listens anymore."

התפרצויות קוליות וצלילים שאינם דיבור

הציבו קולות אנושיים שאינם דיבור בתוך השורה בסוגריים זוויתיים (<...>) בנקודה שבה הצליל אמור להתרחש. השתמשו בקולות אנושיים ולא באפקטים קוליים לא ווקאליים, כמו מחיאות כפיים. תגי הקול המומלצים כוללים:

תג תג תג תג
<argh> <breath> <heavy breath> <exhales>
<cackle> <cheer> <chuckle> / <chuckles> <cough>
<cry> <gasp> <giggle> <groan>
<growl> <grunt> <grr> <hiss>
<laugh> / <laughter> <moan> <pant> <pff> / <phew>
<scream> <shout> <shriek> <sigh> / <sighs>
<sneeze> <snicker> <snort> <sob>
<throat-clearing> <tsk> <whimper> <whispers> / <whispering>
<yawn> <short pause> <long pause>

ערוצים אחוריים ודיבור חופף

בשיחה עם כמה דוברים, צריך להקיף את התגובות של המאזינים בתווי קו אנכי (|reaction|) בתוך התור של הדובר הפעיל. כך נוצרות תגובות טבעיות או דיבור חופף בלי תור נפרד לכל תגובה.

  • תגובות קצרות: תגובות קצרות של המאזין בזמן שהדובר מדבר:
    • תור 1 (דובר א'): "So the launch is Thursday |oh hmm| Are we actually ready?"
    • תור 2 (דובר ב'): "Ready enough |oh really?| The last blocker cleared this morning."
    • תור 3 (דובר א'): "Then let's ship it |absolutely| and watch the dashboards."
  • דיבור חופף ומשולב: משתמשים בכמה קטעי צינורות כדי לדמות דיבור בו-זמני. התכונה הזו פועלת הכי טוב עם gemini-3.8-flash-tts:
    • ספירה לאחור או פזמון: "Let's surprise him on three |ok| ready?" ואחריו "one. two. three. |happy| happy |birthday| birthday!"
    • חפיפה מלאה: "Hello |oh| there |my| it |goodness| must |gracious| be |would| almost |you| time |look| for |at that| dinner"

עקביות בין התמונות שנוצרות ומה לא לעשות

כדי לשמור על זהות קולית יציבה לאורך כל השיחה, חשוב לפעול לפי ההנחיות הבאות:

  • הגדירו את הפרסונות מראש ב-Voice design במקום להשתמש בבלוקים ארוכים של סגנון: פסקאות ארוכות ב-"Audio Profile" ורשימות תבליטים מרובות ב-"Director's Notes" שנשארו ממודלים קודמים הן הסיבה הנפוצה ביותר לשינויים בקול. אתם יכולים להשתמש באותה אינטואיציה יצירתית מראש בעיצוב הקול כדי ליצור פרסונה קבועה בהתאמה אישית ב-voice_..., ואז להשתמש במזהה הקול הזה בשיחות ה-TTS.
  • הסתמכות על קובץ העזר של הקול כדי לשמור על יציבות (השמטת הוראות מטא): המודלים של Gemini 3.8 TTS מאומנים להתמקד קודם בקובץ העזר של האודיו. אל תכללו הוראות שאומרות למודל לשמור על קול יציב (כמו "do not switch speaker identity" או "maintain identical timbre"). טקסט נוסף בהנחיה מגביר את הסטייה. הסירו הוראות סגנון מיותרות ותנו למודל להשתנות באופן טבעי סביב הנקודה היציבה שמספק קובץ העזר של הקול.
  • אל תנסו לשנות מאפיינים קבועים של הדובר ב-style: אל תציינו גיל, מגדר, שמות או שינויים קבועים במבטא ב-speech_metadata.style. במקום זאת, בחרו קול אזורי מספריית הקולות המורחבת או צרו קול באמצעות עיצוב קול.
  1. יוצרים את הדמות פעם אחת: יוצרים את הדמות בעיצוב הקול או בוחרים קול אזורי מספריית הקולות המורחבת שמתאים לשפת היעד ולפרסונה.
  2. לכתוב תמלילים של דיבור טבעי עם חוסר שטף: כדי שהדיבור יהיה טבעי ככל האפשר, כותבים את text כתמליל של דיבור אמיתי, כולל חוסר שטף והיסוסים טבעיים בשיחה (לדוגמה, "Oh uh yeah I think... hm, so that's interesting").
  3. קודם בודקים את ה-TTS הרגיל: קודם כל, המירו את התמליל לדיבור (לדוגמה, ב-Agent Studio) עם שדה style ריק. ברוב הבקשות אין צורך בהוראות style בכלל.
  4. הוסיפו הנחיות קצרות של style רק לשינויים קלים: הוסיפו מחרוזת style תמציתית (כמו "casual, friendly" או "muttering, then reassuring") רק לחלקים שצריך לשנות בהם את אופן ההגשה, והשתמשו שוב באותה מחרוזת קצרה בחלקים שונים כשאתם רוצים לשמור על קו בסיס עקבי.

סוכני קול ודיאלוגים מרובי-שלבים

כשיוצרים סוכן קולי בממשק שיחה או אפליקציה אחרת עם כמה פניות:

  • שולחים בקשת TTS אחת לכל תור כשהטקסט של ה-LLM מגיע.
  • מאפשרים ל-voice שהוגדר להעביר את זהות הדובר בין התורות. אל תשלחו מחדש תיאור ארוך של הפרסונה בכל פנייה.
  • משאירים את style ריק, או שולחים מחרוזת קבועה קצרה אחת לכל השיחה.
  • פצלו תשובות ארוכות של הנציג לתורות קצרים יותר במקום לחזק את ההנחיה של style.

המאמרים הבאים