כוונון אודיו

בדף הזה מפורטות הדרישות המוקדמות והוראות מפורטות לכוונון מודלים של Gemini על נתוני אודיו באמצעות למידה בפיקוח.

תרחישים לדוגמה

כוונון של מודלים של אודיו משפר את הביצועים שלהם על ידי התאמה שלהם לצרכים ספציפיים. לדוגמה, שיפור של זיהוי הדיבור במבטאים שונים, כוונון הסיווג של ז'אנרים מוזיקליים, אופטימיזציה של זיהוי אירועי צליל, התאמה אישית של כלי ליצירת אודיו, התאמה לסביבות רועשות, שיפור איכות האודיו והתאמה אישית של חוויות האודיו. הנה כמה תרחישים נפוצים לשימוש בכוונון אודיו:

  • עוזרים קוליים משופרים:

    • הזמנת אוכל באמצעות פקודות קוליות: פיתוח מערכות שמופעלות באמצעות פקודות קוליות להזמנה ומשלוח של אוכל בצורה חלקה.

  • ניתוח תוכן האודיו:

    • תמלול אוטומטי: יצירת תמלילים ברמת דיוק גבוהה, גם בסביבות רועשות.
    • סיכום אודיו: סיכום של הנקודות העיקריות מפודקאסטים או מספרי אודיו.
    • סיווג מוזיקה: סיווג מוזיקה לפי ז'אנר, מצב רוח או מאפיינים אחרים.

  • נגישות וטכנולוגיות מסייעות:

    • כתוביות בזמן אמת: הוספת כתוביות מיידיות לאירועים או לשיחות וידאו.
    • אפליקציות בשליטה קולית: פיתוח אפליקציות שנשלטות לחלוטין באמצעות הקול.
    • לימוד שפות: ליצור כלים שמספקים משוב מותאם אישית על ההגייה.

מגבלות

מודלים של Gemini 2.5

מפרט ערך
אורך האודיו המקסימלי לכל דוגמה 60 דקות
מספר קובצי האודיו המקסימלי לכל דוגמה 1
גודל קובץ האודיו המקסימלי ‫100MB

מידע נוסף על הדרישות לגבי דגימות אודיו זמין בדף הבנת אודיו (דיבור בלבד).

פורמט של מערך נתונים

הערך של fileUri של קבוצת הנתונים יכול להיות ה-URI של קובץ בקטגוריה של Cloud Storage, או כתובת URL מסוג HTTP או HTTPS שזמינה באופן ציבורי.

במאמר דוגמה למערך נתונים ל-Gemini מופיעה דוגמה לפורמט כללי.

הדוגמה הבאה היא של קבוצת נתוני אודיו.

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "audio/mpeg",
            "fileUri": "gs://cloud-samples-data/generative-ai/audio/pixel.mp3"
            }
        },
        {
          "text": "Please summarize the conversation in one sentence."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "The podcast episode features two product managers for Pixel devices discussing the new features coming to Pixel phones and watches."
        }
      ]
    }
  ]
}

המאמרים הבאים