המשך אימון של מעבד שאומן מראש

באמצעות כלי לניתוח חשבוניות, אתם יכולים להמשיך לאמן מעבד שאומן מראש כדי לשפר את הדיוק. מתחילים עם מודל מוכן מראש, מאמנים אותו עם הנתונים שלכם ומוסיפים שדות בהתאמה אישית. יש מגוון פורמטים של חשבוניות, ואם תאמנו מחדש מנתח חשבוניות כללי עם הנתונים שלכם, תוכלו לשפר את הדיוק בפורמטים ספציפיים ולאפשר למנתח לחלץ שדות שלא נתמכים על ידי המודל שאומן מראש. יש נתונים לדוגמה, אבל אפשר לבצע את אותן פעולות באמצעות נתונים משלכם.

לחצו על תראו לי איך כדי לקרוא הסבר מפורט על המשימה ישירות במסוף Google Cloud :

תראו לי איך

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  4. Verify that billing is enabled for your Google Cloud project.

  5. Enable the Document AI, Cloud Storage APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  7. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  8. Verify that billing is enabled for your Google Cloud project.

  9. Enable the Document AI, Cloud Storage APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    10.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להמשך אימון של מעבד שאומן מראש, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת מעבד

  1. בתפריט הניווט במסוף Google Cloud , בוחרים באפשרות Document AI ואז באפשרות Processor Gallery.

    מעבד Gallery

  2. בגלריית המעבדים, מחפשים את כלי הניתוח של חשבוניות ולוחצים על יצירה.

    uptrain-a-legacy-processor-1

  3. מזינים שם מעבד, למשל invoice-parser-for-uptraining.

  4. בוחרים את האזור שהכי קרוב אליכם.

  5. לוחצים על יצירה. מופיעה הכרטיסייה פרטי המעבד.

    uptrain-a-legacy-processor-2

יצירת קטגוריה של Cloud Storage למערך הנתונים

כדי לאמן את המעבד החדש הזה, צריך ליצור מערך נתונים עם נתוני אימון ובדיקה שיעזרו למעבד לזהות את הישויות שרוצים לחלץ.

מערך הנתונים הזה דורש קטגוריה חדשה ב-Cloud Storage. אל תשתמשו באותה קטגוריה שבה מאוחסנים המסמכים שלכם.

  1. עוברים לכרטיסייה Train (אימון) של המעבד.

  2. בוחרים באפשרות הגדרת מיקום מערך הנתונים. תתבקשו לבחור או ליצור קטגוריה של Cloud Storage או תיקייה ריקות.

    uptrain-a-legacy-processor-3

  3. לוחצים על עיון כדי לפתוח את בחירת תיקייה.

  4. בוחרים באפשרות Create a new bucket (יצירת קטגוריית קצה עורפי חדשה) ופועלים לפי ההנחיות ליצירת קטגוריית קצה עורפי חדשה. מידע נוסף על יצירת קטגוריה של Cloud Storage זמין במאמר קטגוריות של Cloud Storage.

    הערה: קטגוריה היא ישות אחסון ברמה העליונה, שאפשר להוסיף לה תיקיות. במקום ליצור ולבחור קטגוריה, אפשר גם ליצור ולבחור תיקייה ריקה בתוך קטגוריה קיימת, אם אתם מעדיפים. מידע נוסף זמין במאמר בנושא תיקיות מדומה.

    אחרי שיוצרים את הקטגוריה, מופיע הדף בחירת תיקייה של הקטגוריה.

  5. בדף בחירת תיקייה של הדלי, לוחצים על בחירה בתחתית תיבת הדו-שיח.

    uptrain-a-legacy-processor-4

  6. מוודאים שנתיב היעד מאוכלס בשם של קטגוריית הנתונים שבחרתם. בוחרים באפשרות יצירת מערך נתונים. יכול להיות שיחלפו כמה דקות עד שערכת הנתונים תיווצר.

    uptrain-a-legacy-processor-5

  • מעבר ישירות לאימון: אפשר לדלג אל ייבוא נתונים עם תוויות שהוגדרו מראש. במקום לייבא מסמך לדוגמה, אפשר להשתמש בכלים כדי להוסיף תוויות לשדות באופן ידני, ולהוסיף את המסמך לנתוני האימון.

  • תיוג ידני של מסמכים והוספה שלהם לקבוצת נתונים לאימון: לפני שממשיכים בהמשך אימון, צריך לעבור אל ייבוא מסמך לדוגמה לתיוג ידני ולבצע את ההוראות שמופיעות שם.

ייבוא מסמך לדוגמה לסימון ידני

לאחר מכן, מייבאים קובץ PDF לדוגמה של חשבונית אל מערך הנתונים. השדות במסמך הזה מסומנים כדי לעזור בתהליך ההכשרה הבא.

במדריך הזה, מסופק קובץ מייצג שמשמש כדוגמה למסמך.

  1. בכרטיסייה Train (אימון), בוחרים באפשרות Import documents (ייבוא מסמכים).

    uptrain-a-legacy-processor-6

  2. בדוגמה הזו, מזינים את שם הקטגוריה בשדה נתיב המקור. הקישור הזה מוביל ישירות למסמך אחד.

    cloud-samples-data/documentai/codelabs/uptraining/pdfs

  3. בקטע Data split (פיצול נתונים), בוחרים באפשרות Unassigned (לא הוקצה). המסמך בתיקייה הזו לא משויך לקבוצת הבדיקה או לקבוצת נתונים לאימון. משאירים את התיבה ייבוא עם תיוג אוטומטי לא מסומנת.

  4. לוחצים על ייבוא. ‫Document AI קורא את המסמכים מהקטגוריה אל מערך הנתונים. היא לא משנה את קטגוריית הייבוא ולא קוראת מהקטגוריה אחרי שהייבוא מסתיים.

כשמייבאים מסמכים, אפשר להקצות אותם לקבוצת האימון או לקבוצת הבדיקה במהלך הייבוא, או להקצות אותם מאוחר יותר.

כדי למחוק מסמך או מסמכים שייבאתם, בוחרים אותם בכרטיסייה אימון ולוחצים על מחיקה.

מידע נוסף על הכנת הנתונים לייבוא זמין במדריך להכנת נתונים.

הגדרת סכימת המעבד

יכול להיות שערכת הנתונים לא תכיל את כל התוויות שנתמכות על ידי הכלי לניתוח חשבוניות. אם כן, צריך לסמן את התוויות שלא בשימוש כ-Inactive לפני שמתחילים באימון. אפשר גם להוסיף תווית מותאמת אישית אחת או יותר לפני שמתחילים את תהליך ההכשרה.

  1. בכרטיסייה Train (אימון), לוחצים על Edit Schema (עריכת סכימה) בפינה הימנית התחתונה. הדף ניהול תוויות ייפתח.

  2. כדי להשבית תוויות שלא נמצאות בשימוש, מסמנים את תיבות הסימון של השדות שלא מופיעים ברשימה הבאה, ואז בוחרים באפשרות השבתה. השדות הבאים צריכים להישאר מופעלים:

    invoice_date
line_item
  amount
  description
receiver_address
receiver_name
supplier_address
supplier_name
total_amount

    הערה: אי אפשר למחוק תוויות. במקום זאת, אפשר להשבית כל תווית שלא רוצים להשתמש בה.

  3. כשמסיימים להוסיף את התוויות, לוחצים על שמירה.

    uptrain-a-legacy-processor-7

  4. לוחצים על החץ 'הקודם' כדי לחזור לדף הדרכה.

הוספת תוויות למסמך

התהליך של בחירת טקסט במסמך והחלת תוויות נקרא הערה.

  1. חוזרים לכרטיסייה Train ובוחרים באפשרות a document כדי לפתוח את מסוף Label management.

  2. לאחר מכן, בוחרים מתוך תווית הסכימה בחלונית הימנית את התווית שמתאימה לערך שרוצים להוסיף לו הערה, ומחילים את התווית.

  3. כדי לבחור את התוכן ולהחיל את התווית, משתמשים בכלי תיבת תוחמת כברירת מחדל, או בכלי בחירת טקסט עבור ערכים מרובי שורות.

    לדוגמה, בחשבונית הזו, לטקסט "McWilliam Piping International Piping Company" צריך להקצות את התווית supplier_name. אפשר להשתמש במסנן הטקסט כדי לחפש שמות של תוויות.

    הערה: הכלי בחירת טקסט לא פועל עבור כל ערכי הטקסט, לכן כדאי להשתמש בתיבת התוחמת אם זה מתאים. אפשר גם לבחור שדות שהם לא טקסט, כמו תיבות סימון, באמצעות הכלי תיבת תוחמת.

  4. בודקים את ערכי הטקסט שזוהו כדי לוודא שהם משקפים את הטקסט הנכון מהמסמך.

    • כשבוחרים טקסט שמתאים לתווית, חשוב לכלול רק את הטקסט הרלוונטי. לדוגמה, כשמזינים תווית invoice_id, לא כוללים תווים כמו # שלרוב מופיעים לפני הערך המספרי. אל תכללו סמלי מטבע כמו $ כשמציינים סכום כסף.

      • חשוב לוודא שמוסיפים הערות לכל המופעים של ישות. לדוגמה, יכול להיות שהתגים supplier_name או invoice_id יופיעו כמה פעמים במסמך, וצריך להוסיף הערה לכל מופע.

  5. חוזרים על הפעולה לכל שדה שרוצים לתייג.

דוגמה לסט מלא של תוויות עם הטקסט המתאים.

שם התווית טקסט
supplier_name McWilliam Piping International Piping Company
supplier_address ‪14368 Pipeline Ave Chino, CA 91710
invoice_id 10001
due_date 2020-01-02
line_item/description מחברי אגרוף
line_item/quantity 9
line_item/unit_price 74.43
line_item/amount ‪669.87
line_item/description צינור PVC‏ 12 אינץ'
line_item/quantity 7
line_item/unit_price 15.90
line_item/amount 111.30
line_item/description צינורות נחושת
line_item/quantity 7
line_item/unit_price 91.20
line_item/amount 638.40
net_amount 1,419.57
total_tax_amount 113.57
total_amount 1,533.14
currency $

  1. כשמסיימים להוסיף הערות למסמך, בוחרים באפשרות סימון כ'תויג'.

    בכרטיסייה Train (אימון), בחלונית הימנית מוצג שמסמך אחד סומן.

הקצאת מסמך עם הערות לקבוצת נתונים לאימון

אחרי שמתייגים את המסמך לדוגמה, אפשר להקצות אותו לקבוצת נתונים לאימון.

  1. בכרטיסייה Train (אימון), מסמנים את תיבת הסימון Select All (בחירת הכול).

  2. ברשימה הקצאה לקבוצה, בוחרים באפשרות הדרכה.

בחלונית הימנית, אפשר לראות שמסמך אחד הוקצה לקבוצת נתונים לאימון.

ייבוא נתונים עם תוויות מוגדרות מראש למערכי האימון והבדיקה

כדי לשפר את האימון של Document AI, צריך לפחות 10 מסמכים גם בקבוצת האימון וגם בקבוצת הבדיקה, וגם 10 מקרים של כל תווית בכל קבוצה.

כדי לקבל את הביצועים הכי טובים, מומלץ לכלול לפחות 50 מסמכים בכל קבוצה, עם 50 מקרים של כל תווית. בדרך כלל, ככל שיש יותר נתוני אימון, כך רמת הדיוק גבוהה יותר.

במדריך הזה, הנתונים מסומנים מראש. אם אתם עובדים על פרויקט משלכם, אתם צריכים להחליט איך לתייג את הנתונים. אפשרויות התיוג

  1. לוחצים על ייבוא מסמכים.

  2. מזינים את הנתיב הבא בנתיב המקור. המאגר הזה מכיל מסמכים עם תוויות מוגדרות מראש בפורמט Document JSON.

    cloud-samples-data/documentai/Custom/Invoices/JSON

  3. ברשימה פיצול נתונים, בוחרים באפשרות פיצול אוטומטי. הפעולה הזו מפצלת באופן אוטומטי את המסמכים כך ש-80% מהם יהיו בקבוצת נתונים לאימון ו-20% בקבוצת נתונים לבדיקה. משאירים את התיבה ייבוא עם תיוג אוטומטי לא מסומנת.

  4. לוחצים על ייבוא. תהליך הייבוא עשוי להימשך כמה דקות. אחרי כן, המסמכים יופיעו בכרטיסייה Train (אימון).

אופציונלי: הוספת תוויות אוטומטית למסמכים חדשים שיובאו

כשמייבאים מסמכים לא מתויגים למעבד עם גרסה קיימת של מעבד שהופעלה, אפשר להשתמש בתיוג אוטומטי כדי לחסוך זמן בתיוג.

  1. בדף Train (אימון), לוחצים על Import documents (ייבוא מסמכים).

  2. מעתיקים ומדביקים את הנתיב הבא ב-Cloud Storage. הספרייה הזו מכילה חמישה קובצי PDF של חשבוניות ללא תוויות. ברשימה הנפתחת פיצול נתונים, בוחרים באפשרות אימון.

    cloud-samples-data/documentai/Custom/Invoices/PDF_Unlabeled

  3. בקטע תיוג אוטומטי, מסמנים את התיבה ייבוא עם תיוג אוטומטי.

  4. בוחרים גרסה קיימת של מעבד כדי לתייג את המסמכים.

    • לדוגמה: pretrained-invoice-v1.3-2022-07-15

  5. בוחרים באפשרות ייבוא ומחכים עד שהמסמכים ייובאו. אפשר לצאת מהדף ולחזור אליו מאוחר יותר.

    • בסיום, המסמכים יופיעו בדף Train בקטע Auto-labeled.

  6. אי אפשר להשתמש במסמכים עם תוויות אוטומטיות לאימון או לבדיקה בלי לסמן אותם כבעלי תוויות. עוברים לקטע Auto-labeled כדי לראות את המסמכים עם התוויות האוטומטיות.

  7. בוחרים את המסמך הראשון כדי להיכנס למסוף התיוג.

  8. בודקים את התווית כדי לוודא שהיא נכונה. אם הוא שגוי, משנים אותו.

  9. כשמסיימים, בוחרים באפשרות סימון כ'סומן'.

  10. חוזרים על אימות התווית לכל מסמך שסומן אוטומטית, ואז חוזרים לדף אימון כדי להשתמש בנתונים לאימון.

אימון מעבד המידע

אחרי שייבאתם את נתוני האימון והבדיקה, אתם יכולים לאמן את המעבד. תהליך האימון עשוי להימשך כמה שעות, לכן חשוב לוודא שהגדרתם את המעבד עם הנתונים והתוויות המתאימים לפני שמתחילים באימון.

  1. בוחרים באפשרות אימון גרסה חדשה.

  2. בשדה Version name (שם הגרסה), מזינים שם לגרסה הזו של המעבד, למשל invoice-uptrain-1.

  3. (אופציונלי) בוחרים באפשרות הצגת נתונים סטטיסטיים של התוויות כדי לראות מידע על התוויות של המסמך. כך תוכלו לקבוע את הכיסוי שלכם. לוחצים על סגירה כדי לחזור להגדרת האימון.

  4. בוחרים באפשרות התחלת האימון. אפשר לבדוק את הסטטוס בחלונית השמאלית.

    ייפתח הדף Dataset management (ניהול קבוצת נתונים). הסטטוס של ההדרכה מוצג בצד שמאל. תהליך האימון יימשך כנראה כמה שעות, בהתאם לגודל מערך הנתונים. אפשר לצאת מהדף הזה ולחזור אליו מאוחר יותר.

פריסת גרסת המעבד

  1. אחרי שהאימון יסתיים, עוברים לכרטיסייה Manage Versions. אפשר לראות פרטים על הגרסה שאומנה.

  2. לוחצים על סמל האפשרויות הנוספות (3 נקודות אנכיות) משמאל לגרסה שרוצים לפרוס, ואז על פריסת גרסה.

  3. בחלון הקופץ, לוחצים על פריסה.

    תהליך הפריסה נמשך כמה דקות.

הערכה ובדיקה של המעבד

  1. אחרי שהפריסה מסתיימת, עוברים לכרטיסייה הערכה ובדיקה.

    בדף הזה אפשר לראות מדדי הערכה, כולל ציון F1, דיוק והחזרה של המסמך המלא ושל תוויות נפרדות. מידע נוסף על הערכה וסטטיסטיקות זמין במאמר Evaluate processor.

  2. הורידו מסמך שלא היה מעורב באימון או בבדיקה קודמים, כדי שתוכלו להשתמש בו להערכת גרסת המעבד. אם משתמשים בנתונים שלכם, צריך להשתמש במסמך שנועד למטרה הזו.

    הורדת קובץ PDF

  3. בוחרים באפשרות העלאת מסמך בדיקה ובוחרים את המסמך שהורדתם.

    ייפתח הדף Invoice Parser analysis. פלט המסך מראה עד כמה המסמך סווג בצורה טובה.

    אפשר גם להריץ מחדש את ההערכה על קבוצת נתונים לבדיקה אחרת או על גרסה אחרת של מעבד.

שימוש במעבד

יצרתם בהצלחה מעבד של כלי לניתוח חשבוניות והכשרתם אותו.

אתם יכולים לנהל את הגרסאות של מעבדים שאומנו בהתאמה אישית בדיוק כמו כל גרסה אחרת של מעבד, למשל כשמבצעים מיגרציה למעבד חדש יותר כשמעבד מסוים יוצא משימוש. מידע נוסף זמין במאמר בנושא ניהול גרסאות של מעבדים.

אפשר לשלוח בקשת עיבוד למעבד המותאם אישית, והתגובה יכולה להיות מטופלת באותו אופן כמו מעבדים אחרים של חילוץ ישויות.

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

כדי להימנע מחיובים מיותרים Google Cloud , אפשר להשתמש ב Google Cloud consoleכדי למחוק את המעבד והפרויקט אם אין בהם צורך.

אם יצרתם פרויקט חדש כדי ללמוד על Document AI ואתם כבר לא צריכים את הפרויקט, [אפשר למחוק אותו][delete-project].

אם השתמשתם בפרויקט קיים Google Cloud , מחקו את המשאבים שיצרתם כדי להימנע מחיובים בחשבון:

  1. בתפריט הניווט במסוף Google Cloud , בוחרים באפשרות Document AI ואז באפשרות My Processors.

  2. בוחרים באפשרות עוד פעולות באותה שורה של המעבד שרוצים למחוק.

  3. לוחצים על מחיקת מעבד, מזינים את שם המעבד ולוחצים שוב על מחיקה כדי לאשר.

המאמרים הבאים

הקודם
אימון והערכה
הבא
הערכת הביצועים