יצירת מודל תרגום בהתאמה אישית

אימון מודל תרגום בהתאמה אישית ושימוש בו באמצעות Google Cloud המסוף. בדוגמה הבאה נעשה שימוש ב-AutoML Translation כדי לאמן מודל תרגום מאנגלית לספרדית באמצעות מערך נתונים שמכיל זוגות של פלחים שמתמקדים בטכנולוגיה מתוך לוקליזציה של תוכנה.

לפני שמתחילים

לפני שמתחילים להשתמש ב-AutoML Translation, צריך להפעיל את Cloud Translation API בפרויקט ולקבל את ההרשאות שמוענקות על ידי התפקידים הבאים:

  • התפקיד צפייה כדי להציג משאבים קיימים בפרויקט
  • הרשאה Cloud Translation API Editor ליצירה ולניהול של מערכי נתונים ומודלים
  • התפקיד Storage Admin כדי להעלות נתוני אימון לקטגוריה ב-Cloud Storage

יצירת מערך נתונים לתרגום וייבוא של זוגות פלחים

  1. מורידים את קובץ הארכיון שמכיל את נתוני הדוגמה לאימון המודל, ומחלצים את הקבצים.

    במדריך הזה נשתמש בקובץ TSV מאנגלית לספרדית.

  2. עוברים אל מסוף AutoML Translation.

    כניסה לדף התרגום

  3. בחלונית הניווט, לוחצים על מערכי נתונים כדי לעבור לדף מערכי נתונים.

  4. לוחצים על יצירת מערך נתונים.

  5. בתיבת הדו-שיח Create dataset (יצירת מערך נתונים), מציינים את הפרטים של מערך הנתונים:

    1. מזינים tutorial_dataset כשם של מערך הנתונים.
    2. בתפריט הנפתח, בוחרים באפשרות אנגלית (EN) כשפת המקור.
    3. בוחרים באפשרות ספרדית (ES) בתור שפת היעד.
    4. לוחצים על יצירה.

  6. אחרי שיוצרים את מערך הנתונים, לוחצים על השם שלו כדי לראות את הפרטים.

  7. עוברים לכרטיסייה ייבוא ומעלים את מערך הנתונים en-es.tsv ל-Cloud Storage:

    1. בוחרים באפשרות העלאת קבצים מהמחשב.
    2. לוחצים על בחירת קבצים ובוחרים את הקובץ en-es.tsv שהורדתם וחילצתם קודם.
    3. לוחצים על Browse כדי לבחור או ליצור קטגוריה חדשה של Cloud Storage שבה מאוחסן קובץ ה-TSV. האזור של קטגוריית המקור חייב להיות us-central1.

  8. לוחצים על Continue.

    ‫AutoML Translation מפצל באופן אוטומטי את הנתונים לקבוצות של אימון, אימות ובדיקה. אפשר לראות את הפילוחים האלה ואת זוגות המשפטים המיובאים בכרטיסייה משפטים של קבוצת הנתונים.

אימון מודל

  1. עוברים אל מסוף AutoML Translation.

    כניסה לדף התרגום

  2. בחלונית הניווט, עוברים לדף מערכי נתונים.

  3. לוחצים על מערך הנתונים tutorial_dataset.

  4. עוברים לכרטיסייה אימון.

  5. לוחצים על התחלת אימון כדי לפתוח את החלונית אימון מודל חדש.

  6. מזינים tutorial_model בשם המודל.

  7. לוחצים על התחלת ההדרכה.

תהליך האימון של המודל יכול להימשך כמה שעות.

הערכת המודל

כדאי לבדוק את ההשוואה בין המודל לבין מודל ברירת המחדל של Google NMT שמבוסס על זוגות של פלחים מקבוצת הנתונים לבדיקה.

  1. עוברים אל מסוף AutoML Translation.

    כניסה לדף התרגום

  2. בחלונית הניווט, עוברים לדף מודלים.

  3. לוחצים על המודל tutorial_model.

  4. לוחצים על הכרטיסייה הערכה.

בקטע Previous evaluations, ‏ Cloud Translation מציג את ציון ה-BLEU של המודל בהשוואה למודל ה-NMT של Google. הציון BLEU (Bilingual Evaluation Understudy) מציין עד כמה הטקסט המועמד דומה לטקסטים להשוואה. ערכים שקרובים יותר ל-100 מייצגים טקסטים דומים יותר.

שימוש במודל התרגום

אפשר להשתמש במודל המותאם אישית כדי לתרגם טקסט מסוים במסוף Google Cloud .

  1. עוברים אל מסוף AutoML Translation.

    כניסה לדף התרגום

  2. בחלונית הניווט, עוברים לדף מודלים.

  3. לוחצים על המודל tutorial_model.

  4. לוחצים על הכרטיסייה חיזוי.

  5. בתיבת הטקסט אנגלית, מזינים את הטקסט שרוצים לתרגם ולוחצים על תרגום.

    אפשר להשוות את התוצאות מהמודל המותאם אישית למודל Google NMT.

הסרת המשאבים

כדי להימנע מחיובים מיותרים Google Cloud , מוחקים את המודל, את מערך הנתונים ואת קובץ en-es.tsv. אפשר גם להשתמש ב-Google Cloud console כדי למחוק את הפרויקט אם הוא לא נחוץ.

המאמרים הבאים