כוונון אודיו

בדף הזה מפורטים הדרישות המוקדמות וההוראות המפורטות לשיפור מודלים של Gemini על נתוני אודיו באמצעות למידה מפוקחת.

תרחישים לדוגמה

התאמה של מודלים של אודיו משפרת את הביצועים שלהם, כי היא מאפשרת להתאים אותם לצרכים ספציפיים. זה יכול לכלול שיפור של זיהוי הדיבור במבטאים שונים, שיפור של סיווג ז'אנרים של מוזיקה, אופטימיזציה של זיהוי אירועי צלילים, התאמה אישית של יצירת אודיו, התאמה לסביבות רועשות, שיפור של איכות האודיו והתאמה אישית של חוויות אודיו. הנה כמה תרחישי שימוש נפוצים לכוונון האודיו:

  • עוזרים קוליים משופרים:

    • הזמנת אוכל באמצעות קול: פיתוח מערכות מופעלות קולית להזמנה ומשלוח של אוכל בצורה חלקה.

  • ניתוח תוכן אודיו:

    • תמלול אוטומטי: יצירת תמלילים מדויקים מאוד, גם בסביבות רועשות.
    • סיכום אודיו: סיכום של נקודות מרכזיות מפודקאסטים או מספרי אודיו.
    • סיווג מוזיקה: סיווג מוזיקה על סמך ז'אנר, מצב רוח או מאפיינים אחרים.

  • נגישות וטכנולוגיות מסייעות:

    • כתוביות בזמן אמת: אפשר להוסיף כתוביות בזמן אמת לאירועים או לשיחות וידאו.
    • אפליקציות בשליטה קולית: פיתוח אפליקציות שנשלטות באופן מלא באמצעות קול.
    • לימוד שפות: יצירת כלים שמספקים משוב מותאם אישית על ההגייה.

מגבלות

מודלים של Gemini 2.5

מפרט ערך
אורך מקסימלי של אודיו לכל דוגמה 60 דקות
מספר קובצי האודיו המקסימלי לכל דוגמה 1
גודל קובץ האודיו המקסימלי ‫100MB

מידע נוסף על הדרישות לגבי דגימות אודיו זמין בדף הבנת אודיו (דיבור בלבד).

פורמט מערך הנתונים

הfileUri של מערך הנתונים יכול להיות ה-URI של קובץ בקטגוריה של Cloud Storage, או כתובת URL של HTTP או HTTPS שזמינה לציבור.

כדי לראות דוגמה לפורמט כללי, אפשר לעיין בדוגמה למערך נתונים ל-Gemini.

הדוגמה הבאה היא של מערך נתונים של אודיו.

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "audio/mpeg",
            "fileUri": "gs://cloud-samples-data/generative-ai/audio/pixel.mp3"
            }
        },
        {
          "text": "Please summarize the conversation in one sentence."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "The podcast episode features two product managers for Pixel devices discussing the new features coming to Pixel phones and watches."
        }
      ]
    }
  ]
}

המאמרים הבאים