מנגנוני חילוץ מותאמים אישית

מנגנוני חילוץ מותאמים אישית

אתם יכולים ליצור מחלצים בהתאמה אישית שמתאימים במיוחד למסמכים שלכם, ולבצע אימון והערכה שלהם באמצעות הנתונים שלכם. מעבד התוכן הזה מזהה ישויות במסמכים שלכם ומחלץ אותן. לאחר מכן תוכלו להשתמש במעבד המאומן הזה במסמכים נוספים.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Document AI, Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Document AI, Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות ליצירת סיווג בהתאמה אישית, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

• אדמין של Document AI (roles/documentai.admin)
• אדמין באחסון (roles/storage.admin)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

הערה: אם רוצים לגשת לקובצי קלט שמאוחסנים בפרויקט אחר, צריך להקצות תפקידים נוספים לסוכן השירות של Document AI. מידע נוסף זמין במאמר בנושא הגדרת גישה לקבצים בין פרויקטים.

יצירת מעבד

1. במסוף Google Cloud , בקטע Document AI, עוברים לדף Workbench.

   Workbench

2. בקטע custom extractor (מחולץ מותאם אישית), בוחרים באפשרות Create processor (יצירת מעבד).

   

3. בתפריט Create processor, מזינים שם למעבד, למשל my-custom-document-extractor.

   

4. בוחרים את האזור שהכי קרוב אליכם.

5. אופציונלי: פותחים את האפשרויות המתקדמות.

   • אתם יכולים לאפשר ל-Google ליצור בשבילכם קטגוריה של Cloud Storage, או ליצור קטגוריה משלכם. במדריך הזה, בוחרים באפשרות Google-managed storage.

   • יש גם אפשרות להשתמש במפתחות הצפנה בניהול Google או במפתחות הצפנה בניהול הלקוח (CMEK). במדריך הזה, בוחרים באפשרות Google-managed encryption key.

6. לוחצים על יצירה כדי ליצור את המעבד.

הנחיות ברמת המסמך

הנחיה ברמת המסמך מאפשרת לתאר את המסמך באופן כללי כדי להעשיר את המודל בידע עסקי מעמיק ולשפר את איכות החילוץ. הוא יכול לכלול מידע כללי על השדות, למשל: כל שדות הכתובת ממוקמים בארה"ב.

טיפ: כדי לקבל פרטים ספציפיים יותר על החילוץ, אפשר להשתמש בתיאור השדה.

הנחיות יכולות לספק מידע למודל, אבל לא צריך להשתמש בהן כדי לבדוק אם מתקיימים כללים או תנאים. דוגמה: סכום כל המחירים צריך להיות שווה למחיר הכולל. ההנחיה ברמת המסמך מתווספת להנחיה הכוללת, וצריך להתייחס אליה כאל רמזים ברמת המסמך ולא כאל הנחיה מלאה.

הזנת הנחיה ברמת המסמך

1. במסוף Google Cloud , עוברים לכרטיסייה Get started.

2. כדי להזין את ההנחיה למסמך, לוחצים על עריכה ליד שדה להזנת קלט של ההנחיה למסמך.

   

3. בחלונית הצדדית, כותבים הנחיה שמתארת את המסמך כולו.

   

הערה: ההנחיה מוגבלת ל-500 תווים, לכן חשוב לנסח אותה בצורה ברורה ותמציתית.

הגדרת שדות לעיבוד

עכשיו אתם בדף סקירה כללית של מעבד של המעבד שיצרתם.

אתם יכולים לציין את השדות שאתם רוצים שהמעבד יחלץ ויתחיל לתייג מסמכים.

1. בוחרים בכרטיסייה תחילת העבודה. מופיע תפריט השדות.

2. בוחרים באפשרות יצירת שדה חדש.

3. מזינים את השם של השדה. בוחרים את סוג הנתונים ואת המופע. נותנים לתווית תיאור ברור ומובחן. תיאור הנכס מאפשר לכם לספק הקשר נוסף, תובנות וידע קודם לכל ישות כדי לשפר את הדיוק והביצועים של החילוץ.

הערה: דוגמאות טובות לתיאורי מאפיינים כוללות מידע על מיקום ודפוסי טקסט של ערכי המאפיינים, שעוזרים להבחין בין מקורות פוטנציאליים לבלבול במסמך. כך אפשר להנחות את המודל באמצעות כללים שמבטיחים חילוצים מהימנים ועקביים יותר, ללא קשר למבנה המסמך הספציפי או לשינויים בתוכן.

1. לוחצים על יצירה. הוראות מפורטות ליצירה ולעריכה של סכימה זמינות במאמר בנושא הגדרת סכימת מעבד.

הערה: מודלים של AI גנרטיבי (בסיסיים ומכווננים) משתמשים בשם ובתיאור של השדה כדי ליצור את ההנחיה הבסיסית, ולכן השמות של השדות הם קריטיים מבחינה סמנטית. מידע נוסף על חילוץ שדות באמצעות AI גנרטיבי

1. צריך ליצור כל אחת מהתוויות הבאות לסכימת המעבד.

   שם	סוג הנתונים	אירוע
   control_number	מספר	כמות אופציונלית
   employees_social_security_number	מספר	כפולה נדרשת
   employer_identification_number	מספר	כפולה נדרשת
   employers_name_address_and_zip_code	כתובת	כפולה נדרשת
   federal_income_tax_withheld	כסף	כפולה נדרשת
   social_security_tax_withheld	כסף	כפולה נדרשת
   social_security_wages	כסף	כפולה נדרשת
   wages_tips_other_compensation	כסף	כפולה נדרשת

   אפשר גם ליצור ולהשתמש בסוגים אחרים של תוויות בסכימת המעבד, כמו תיבות סימון וישויות טבלאיות. לדוגמה, בטופסי W-2 יש תיבות סימון של עובד סטטוטורי, תוכנית פנסיה ותשלום מחלה מצד שלישי, שאפשר להוסיף גם לסכימה.

   

העלאת מסמך לדוגמה

בודקים באמצעות מסמך לדוגמה.

1. בוחרים באפשרות העלאת מסמך לדוגמה.

2. בסרגל הצד, בוחרים באפשרות ייבוא מסמכים מ-Cloud Storage.

3. בדוגמה הזו, מזינים את שם הקטגוריה בשדה נתיב המקור. הקישור הזה מוביל ישירות למסמך אחד.

   cloud-samples-data/documentai/Custom/W2/PDF/W2_XL_input_clean_2950.pdf
   

4. לוחצים על ייבוא.

תועברו למסוף התיוג.

הוספת תוויות למסמך

התהליך של בחירת טקסט במסמך והוספת תוויות נקרא הערה או הוספת תוויות.

1. כשנמצאים במסוף התיוג, אפשר לראות שרבים מהתוויות כבר מאוכלסות. הסיבה לכך היא שסוג ברירת המחדל של מודל חילוץ בהתאמה אישית הוא מודל בסיסי, שיכול לבצע חיזוי zero-shot, כלומר ללא אימון.

   הערה: יכול להיות שהתוצאות שלכם ייראו קצת שונה מהתמונה לדוגמה.

   

2. כדי להשתמש בתוויות המוצעות, מעבירים את מצביע העכבר מעל כל תווית בחלונית הצד, ולוחצים על סימן הווי כדי לאשר שהתווית נכונה. אל תערכו את הטקסט, גם אם ה-OCR קורא את הטקסט בצורה שגויה.

3. בדוגמה הזו, הערכים בתחתית המסמך לא זוהו באופן אוטומטי, ולכן צריך להוסיף להם תוויות באופן ידני.

4. משתמשים בסמלים שבסרגל הכלים שמעל המסמך כדי להוסיף תוויות. כדי לבחור את התוכן ולהחיל את התווית, משתמשים בכלי תיבת התוחמת כברירת מחדל, או בכלי בחירת טקסט כדי לבחור ערכים בכמה שורות.

   הערה: הכלי select text לא פועל עבור כל ערכי הטקסט, לכן כדאי להשתמש בbounding box אם זה מתאים. אפשר גם לבחור שדות שהם לא שדות טקסט, כמו תיבות סימון, באמצעות הכלי תיבת תוחמת.

5. אחרי שבוחרים טקסט, מופיע תפריט נפתח עם כל השדות (הישויות) המוגדרים, וצריך לבחור אחד מהם. בדוגמה הזו, הערך של wages_tips_other_compensation נבחר באמצעות הכלי לתיבת תוחמת, והתווית הזו מוחלת.

   

6. בודקים את ערכי הטקסט שזוהו כדי לוודא שהם משקפים את המיקום הנכון של הטקסט בכל שדה. כשמסיימים, מסמך ה-W2 עם התוויות אמור להיראות כך:

   

   הערה: אם אנחנו מתייגים לצורך בדיקה של הפקה, צריך לערוך OCR שגוי.

7. במקרה הצורך, אפשר ללחוץ על יצירת שדה חדש כדי להוסיף שדה חדש לסכימה מהדף הזה.

8. כשמסיימים להוסיף הערות למסמך, בוחרים באפשרות סימון כ'תויג'. תועברו לכרטיסייה תחילת העבודה.

גרסת מעבד שנוצרה באמצעות מודל בסיס

אחרי שתתייגו מסמך אחד, תוכלו ליצור גרסת מעבד באמצעות מודל בסיס שאומן מראש כדי לחלץ ישויות.

1. בוחרים בכרטיסייה Build (פיתוח).

   

2. בקטע קריאה למודל בסיסי, בוחרים באפשרות יצירת גרסה חדשה.

3. מזינים שם לגרסת המעבד, למשל w2-foundation-model.

4. לוחצים על יצירת גרסה. היצירה נמשכת כמה דקות.

   הערה: אחרי שיוצרים גרסה של מעבד, אי אפשר לשנות או למחוק שדות שיצרתם. אם כבר אין לכם צורך בהם, אתם יכולים להשבית אותם בדף השדות.

5. אופציונלי: בוחרים בכרטיסייה Deploy & use. בדף הזה אפשר לראות את הגרסאות הזמינות של המעבד ואת סטטוס הפריסה של הגרסה החדשה.

שימוש ב-AI גנרטיבי כדי להוסיף תוויות למסמכים באופן אוטומטי

מודל הבסיס יכול לחלץ שדות בצורה מדויקת ממגוון סוגי מסמכים, אבל אפשר גם לספק נתוני אימון נוספים כדי לשפר את הדיוק של המודל עבור מבנים ספציפיים של מסמכים.

הכלי לחילוץ מותאם אישית משתמש בשמות התוויות שאתם מגדירים ובביאורים קודמים כדי להפוך את התיוג של מסמכים בהיקף גדול למהיר וקל יותר באמצעות תיוג אוטומטי.

1. עוברים לדף Build.

2. לוחצים על ייבוא מסמכים.

3. בסרגל הצד, בוחרים באפשרות ייבוא מסמכים מ-Google Cloud Storage.

4. מזינים את שם הקטגוריה שמכילה את המסמכים.

5. ברשימה פיצול נתונים, בוחרים באפשרות פיצול אוטומטי. המסמכים יפוצלו אוטומטית כך ש-80% מהם יהיו בקבוצת נתונים לאימון ו-20% בקבוצת נתונים לבדיקה.

6. בקטע תיוג אוטומטי, מסמנים את התיבה ייבוא עם תיוג אוטומטי.

7. בוחרים את גרסת המעבד של המודל הבסיסי לתיוג המסמכים.

8. בוחרים באפשרות ייבוא ומחכים עד שהמסמכים ייווצרו. אפשר לצאת מהדף ולחזור אליו מאוחר יותר.

9. כדי להשתמש במסמכים עם תוויות אוטומטיות לצורך אימון או בדיקה, צריך לאמת אותם. לוחצים על התחלת התיוג כדי לראות את המסמכים שתויגו אוטומטית.

10. כדי להשתמש בתוויות המוצעות, מעבירים את הסמן מעל כל הערה ובוחרים בסימן הווי כדי לאשר שהתווית נכונה. למטרות אימון, אל תשנו את הערכים אם הם לא תואמים לטקסט במסמך. משנים את תיבת התוחמת רק אם נבחר טקסט שגוי.

11. כשמסיימים להוסיף הערות למסמך, בוחרים באפשרות סימון כ'תויג'.

12. חוזרים על הפעולה לכל מסמך עם תווית אוטומטית.

ייבוא מסמכי אימון עם תוויות שהוגדרו מראש

1. עוברים לדף Build.

2. לוחצים על ייבוא מסמכים.

3. בסרגל הצד, בוחרים באפשרות ייבוא מסמכים מ-Cloud Storage.

4. מזינים את הנתיב בנתיב המקור שמכיל את המסמכים. הבאקט הזה צריך להכיל מסמכים עם תוויות מראש בפורמט Document JSON.

5. ברשימה פיצול נתונים, בוחרים באפשרות פיצול אוטומטי. המסמכים יפוצלו אוטומטית כך ש-80% מהם יהיו בקבוצת נתונים לאימון ו-20% בקבוצת נתונים לבדיקה. משאירים את התיבה ייבוא עם תיוג אוטומטי לא מסומנת.

6. לוחצים על ייבוא. הייבוא נמשך כמה דקות.

אופציונלי: הצגה וניהול של מערך נתונים

1. בדף Build, אפשר לגשת למסוף Manage dataset כדי לראות ולערוך את כל המסמכים והתוויות במערך הנתונים.

אימון מעבד מבוסס-מודל בהתאמה אישית

תהליך האימון עשוי להימשך כמה שעות. לפני שמתחילים באימון, חשוב לוודא שהגדרתם את המעבד עם הנתונים והתוויות המתאימים.

1. למידע על הדרישות של מערך הנתונים, בקטע Train a custom model (אימון מודל בהתאמה אישית), בוחרים באפשרות Create new version (יצירת גרסה חדשה) או באפשרות View full requirements (הצגת הדרישות המלאות). זה לא מודל של AI גנרטיבי. כדי להשתמש במעבד מבוסס-מודל בהתאמה אישית, צריך לפחות 10 מקרים לאימון ו-10 מקרים לבדיקה של כל שדה.

2. בשדה Version name (שם הגרסה), מזינים שם לגרסה הזו של המעבד, למשל w2-custom-model.

3. אופציונלי: בוחרים באפשרות הצגת נתונים סטטיסטיים של התוויות כדי לראות מידע על תוויות המסמך. כך תוכלו לקבוע את הכיסוי שלכם. לוחצים על סגירה כדי לחזור להגדרת ההדרכה.

4. בקטע שיטת אימון המודל, בוחרים באפשרות מבוסס מודל.

5. לוחצים על התחלת האימון. תהליך האימון נמשך כמה שעות. אפשר לסגור את הדף הזה ולחזור אליו מאוחר יותר.

6. אופציונלי: בוחרים בכרטיסייה Deploy & use. בדף הזה אפשר לראות את הגרסאות הזמינות של המעבד ואת סטטוס האימון של הגרסה החדשה.

פריסת גרסת המעבד

1. אחרי שהאימון מסתיים, לוחצים על הכרטיסייה פריסה ושימוש.

2. מסמנים את תיבת הסימון שמימין לגרסה שרוצים לפרוס ולוחצים על פריסה.

3. בתיבת הדו-שיח, בוחרים באפשרות פריסה. הפריסה נמשכת כמה דקות.

4. אחרי פריסת הגרסה, אפשר להגדיר אותה כגרסת ברירת המחדל, או לספק את מזהה הגרסה כשמעבדים מסמכים באמצעות ה-API.

הערכה ובדיקה של המעבד

1. לוחצים על הכרטיסייה הערכה כדי לבדוק את גרסת המעבד. בדף הזה אפשר לראות מדדי הערכה, כולל ציון F1, דיוק והחזרה של המסמך המלא ושל תוויות נפרדות. מידע נוסף על הערכה ועל נתונים סטטיסטיים זמין במאמר בנושא evaluate processor.

2. בוחרים את האפשרות Version (גרסה) ובוחרים את הגרסה שמשתמשת במודל הבסיס.

3. הורידו מסמך שלא היה מעורב בהדרכה או בבדיקה קודמות, כדי שתוכלו להשתמש בו להערכת גרסת המעבד. אם משתמשים בנתונים משלכם, צריך להשתמש במסמך שנועד למטרה הזו.

   הורדת קובץ PDF

4. בוחרים באפשרות העלאת מסמך בדיקה ובוחרים את המסמך שהורדתם. ייפתח הדף Custom Document Extractor analysis. הפלט במסך מראה עד כמה המסמך חולץ בצורה טובה.

5. בודקים שוב את המסמך באמצעות הגרסה עם מודל שעבר אימון בהתאמה אישית.

שימוש במעבד

יצרתם והכשרתם בהצלחה מעבד לחילוץ מותאם אישית.

אפשר לנהל את הגרסאות של מעבד שעבר אימון בהתאמה אישית בדיוק כמו כל גרסה אחרת של מעבד. מידע נוסף זמין במאמר בנושא ניהול גרסאות של מעבדים.

כדי להשתמש ב-Document AI API:

• כדי להשתמש בעיבוד אונליין או בעיבוד באצווה, פועלים לפי דוגמאות הקוד במאמר בנושא שליחת בקשת עיבוד.
  • במאמר מכסות ומגבלות מפורט מספר הדפים שנתמכים בעיבוד אונליין ובעיבוד ברצף (batch processing).
• כדי לקבל את הישויות שחולצו מהמעבד, פועלים לפי דוגמת הקוד של כלי החילוץ המותאם אישית שבקטע טיפול בתגובת העיבוד.

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

כדי להימנע מחיובים מיותרים Google Cloud , אפשר להשתמש ב-Google Cloud console כדי למחוק את המעבד והפרויקט אם אין בהם צורך.

אם יצרתם פרויקט חדש כדי ללמוד על Document AI ואתם כבר לא צריכים אותו, אפשר למחוק אותו.

אם השתמשתם בפרויקט קיים Google Cloud , מחקו את המשאבים שיצרתם כדי להימנע מחיובים בחשבון:

1. בתפריט הניווט במסוף Google Cloud , בוחרים באפשרות Document AI ואז באפשרות My Processors.

2. בוחרים באפשרות עוד פעולות באותה שורה של המעבד שרוצים למחוק.

3. בוחרים באפשרות מחיקת מעבד, מזינים את שם המעבד ובוחרים שוב באפשרות מחיקה כדי לאשר.

המאמרים הבאים

פרטים נוספים מופיעים במאמר בנושא מדריכים. מידע נוסף על חילוץ אוטומטי של סכימות למידע על שדרוגים אוטומטיים של גרסאות, אפשר לעיין במאמר