סקירה כללית על Document AI Warehouse

אזהרה: הוצאנו משימוש את Document AI Warehouse, והוא לא יהיה זמין יותר ב- Google Cloudאחרי 16 בינואר 2025. כדי להגן על הנתונים שלכם, אתם צריכים להעביר את כל המסמכים ששמורים כרגע ב-Document AI Warehouse לאחסון חלופי כמו Cloud Storage. כדי למנוע אובדן נתונים, חשוב לוודא שהעברת הנתונים הושלמה לפני תאריך הפסקת השירות. פרטים נוספים זמינים במאמר הוצאה משימוש.

סקירה כללית של המושגים

‫Document AI Warehouse היא פלטפורמה משולבת מבוססת-ענן לאחסון, חיפוש, ארגון, ניהול וניתוח של מסמכים והמטא-נתונים המובְנים שלהם (שנקראים מאפיינים). המסמכים כוללים מסמכים מובְנים (למשל טפסים, חשבוניות) ומסמכים לא מובְנים (למשל חוזים, מאמרי מחקר), והמאפיינים שלהם (מטא-נתונים) כוללים נתונים שחולצו ממסמכים באמצעות AI ותגים שהוקצו באופן ידני או באמצעות AI (למשל מספר חשבון, מזהה הלוואה, סוג מסמך).

יתרונות ותכונות עיקריים

ל-Document AI Warehouse יש כמה יתרונות על פני מאגרים מדור קודם. הנה כמה מהתכונות והיתרונות:

• פיתוח שמתמקד בממשקי API: ממשק API משולב אחד לניהול מסמכים והמאפיינים שלהם (מטא-נתונים שחולצו או תויגו), שמשתלב בתהליכי העבודה ובאפליקציות שלכם.
• ניהול מטא-נתונים: כדי לנהל את המטא-נתונים שחולצו ותויגו.
• פיקוח: משולב עם IAM וספריות ארגוניות
  • אפשר להקצות למשתמשים ולקבוצות בקרת גישה מפורטת (הרשאות) ברמת המסמך והתיקייה כדי להציג, לערוך ולנהל (לשתף, למחוק) מסמכים.
  • ‫Document AI Warehouse משולב עם IAM ‏ (Cloud Identity), כך שאפשר להקצות משתמשים וקבוצות ב-Cloud Identity.
  • אפשר גם לאחד או לסנכרן משתמשים וקבוצות ב-Cloud Identity מספק זהויות או LDAP ארגוני, כמו Azure AD,‏ Active Directory ו-Keycloak.
• חיפוש: המוצר תומך בחיפוש סמנטי עשיר, כולל התכונות הבאות:
  • חיפוש טקסט מלא
  • סינון תוצאות החיפוש לפי מאפיינים (תאריך, מספר, enum, טקסט). אפשר לשלב מסננים עם האופרטורים AND ו-OR
  • חיפוש סמנטי – תמיכה במילים נרדפות נפוצות, בשגיאות כתיב ובשורשים. אפשר להשתמש במירכאות (" ") בשאילתה כדי לציין מילות מפתח בהתאמה מדויקת
  • מילים נרדפות בהתאמה אישית – למשל, מונחים ספציפיים לתחום או לחברה.
  • חיפוש בהיררכיה של תיקיית שורש
  • אופרטורים למילות מפתח לרשת החיפוש: "" התאמה מדויקת, | או, + וגם, - לא כולל
• ארגון: ניהול תיקיות גמיש
  • אפשר לקטלג מסמכים בתיקייה אחת או יותר, בהתאם לאפליקציה (לדוגמה, תעודה מזהה ממוקמת בתיקיית KYC, בתיקיית הלוואה ובתיקיית חשבון בנק), בלי לשכפל את המסמך.
  • לתיקיות האלה יש מאפיינים ובקרת גישה משלהן, שלא תלויים במאפיינים ובבקרת הגישה של המסמכים.
  • התיקיות יכולות להיות מקוננות בהיררכיה אחת או יותר [לדוגמה, AllLoans->State->Branch->Loans או LoanTypes->Loans].
  • המשתמשים יכולים לחפש מסמכים בהיררכיית תיקיות, למשל לחפש בתוך AllLoans->State
• ממשק משתמש^* – המוצר כולל ממשק משתמש עם גישה לאינטרנט, שכולל את התכונות הבאות:
  • Doc Explorer: חיפוש מסמכים, סינון תוצאות חיפוש, בחירת מסמכים כדי לעדכן מאפיינים בכמות גדולה או למחוק אותם
  • צפייה במסמכים: צפייה במסמכים, צפייה במאפיינים שלהם ועדכון שלהם,הקצאת רשימות ACL, הוספה לתיקיות
  • העלאה: מעלים מסמכים ומריצים אותם באמצעות מחלץ של DocAI^** (OCR או מנתח מיוחד נתמך כמו Invoice DocAI).
  • סייר התיקיות: הוספת מסמכים לתיקייה אחת או יותר, עיון בהיררכיית התיקיות.
  • ממשק משתמש שניתן להטמעה: אפשר לשלב את הרכיבים של Doc Explorer ו-Doc Viewer (לקובצי PDF) באפליקציות של הלקוחות
• מחברים^*** למאגרים נפוצים מקומיים ובענן: אנחנו מספקים מחבר של Cloud Storage ל-Document AI Warehouse (כתבנית נפרדת שמבוססת על Google Workflows) שאפשר להתאים אישית או להרחיב למאגרים אחרים. אנחנו גם עובדים עם שותפים כדי לספק מחברים מוכנים מראש למאגרים כמו Sharepoint, ‏ Amazon S3,‏ IBM FileNet ואחרים, כדי להטמיע מסמכים ולהוסיף אותם לאינדקס.
• גמישות בהעברה לעומת איחוד: המוצר תומך בארכיטקטורה גמישה, כך שאפשר להעביר את תוכן המסמכים ל-Document AI Warehouse או להשאיר אותו במקום אם יש אילוצים בהעברת התוכן (אנחנו פשוט מוסיפים את התוכן והמטא-נתונים לאינדקס)
• שילוב עם תהליכי עבודה של מסמכים – שילוב עם תהליכי עבודה של Google ותהליכי עבודה אחרים של עיבוד מסמכים, באמצעות תמיכה ב:
  • מאפיינים – שמייצגים את מצב המסמך בתהליך העבודה, וממשקי API שתהליכי העבודה יכולים להשתמש בהם כדי לעדכן את מצב המסמכים
  • ממשק Doc Explorer – למעקב אחרי התקדמות המסמכים בתהליך העבודה, כדי לאפשר לבודקים אנושיים לבדוק ולנהל כשלים ומסמכים שנתקעו בתהליך העבודה.
  • התראות מותנות – מסמכים שעומדים בתנאים מסוימים יכולים להפעיל תהליך עבודה או לשלוח התראה לגביו באמצעות נושא Pub/Sub או קריאה ל-API של Web. לדוגמה, טריגר: OnUpdate; תנאי: (DocType=Invoice ו-TotalAmount>$1000) -> שליחת התראת Pub/Sub
• ניהול מדיניות ואכיפת תאימות: אפשר להשתמש בהתראות מותנות ובהתראות מתוזמנות כדי להפעיל תהליכי עבודה שאוכפים כללי מדיניות (לדוגמה, ניהול רשומות, שמירה וסילוק, החזקות משפטיות) במסמכים ספציפיים ב-Document AI Warehouse.
• קבצים נתמכים – קובצי PDF עם טקסט, תמונות (קובצי PDF סרוקים, קובצי TIFF, קובצי JPEG), קובצי Office (‏DOCX, ‏ PPTX, ‏ XLSX) – עוברים דרך OCR ומתווספים לאינדקס.
  • הערה: המוצר מתמקד במסמכים, אבל משמש גם לניהול תמונות משויכות (למשל, בענפים כמו ביטוח, הנדסה, בנייה, מחקר וכו').

• משולב עם DocAI: ‏Document AI Warehouse משולב עם מעבדי Document AI בכמה רמות:

  • עיבוד באמצעות AI של מסמכים בממשק המשתמש: בממשק המשתמש של Document AI Warehouse, המשתמשים יכולים להעלות קובצי PDF או TIFF סרוקים או סוגי מסמכים מיוחדים. המערכת מחלצת את הנתונים באופן אוטומטי באמצעות Document AI OCR או מעבדי מידע ייעודיים, בהתאמה, לפני שהמסמך נוסף לאינדקס ב-Document AI Warehouse.
  • ניהול צינורות עיבוד נתונים באצווה ב-Document AI^***: ‏Document AI Warehouse משתלב עם Workflows כדי לספק תבניות שמעבדות צינורות עיבוד נתונים באצווה של מסמכים באמצעות חילוץ וסיווג של Document AI. זה לא פשוט, כי צריך לנהל פעולות ממושכות (LRO) וקריאות אסינכרוניות ל-API, למקרה שיהיו כשלים וניסיונות חוזרים. התבנית של Workflows מתזמרת צינורות עיבוד נתונים כאלה. אפשר להשתמש בממשק המשתמש של Document AI Warehouse כדי לחפש ולעקוב אחרי זרימת המסמכים בצינורות עיבוד נתונים כאלה, להציג את הפלט של Document AI לכשלים בכל שלב בצינור עיבוד הנתונים ולבצע פעולות במסמכים שנתקעו או נכשלו.

^*ממשק המשתמש נמצא בגרסת טרום-השקה (Preview) וצפוי להיות זמין לכלל המשתמשים בקרוב.

^**‫OCR ומחלצי מסמכים אחרים זמינים במוצרי Document AI, אבל לא כלולים ב-Document AI Warehouse.

^***התכונות האלה לא נכללות ב-Document AI Warehouse. התכונות האלה מופעלות על ידי רכיבים וסקריפטים חיצוניים בקוד פתוח, שלקוחות יכולים לפרוס או להתאים אישית, והן לא מוטמעות ב-Document AI Warehouse.

כתבי ויתור ומגבלות ידועות

מידע נוסף על כתבי ויתור ומגבלות ידועות

הסברים על המונחים

אלה המונחים שמשתמשים בהם ב-Document AI Warehouse.

תנאים, מושגים	הגדרה, דוגמאות
מסמך	רשומה ב-Document AI Warehouse שמשתמשים יכולים לחפש, לנהל ולאכוף בה בקרת גישה. הוא כולל את המסמך הגולמי וכמה מטא-נתונים משויכים. [תמונות שמאוחסנות ב-Document AI Warehouse נקראות גם "מסמכים"]
מסמך גולמי [תוכן]	קובץ התוכן הגולמי (PDF, תמונה, קובץ בינארי, blob) של המסמך.
סכימה [סוג המסמך]	לכל מסמך יש סוג מסוים, והוא מוגדר באמצעות סכימה. לדוגמה, חשבונית מכילה את הסכימה הבאה: שם הספק, שם המוכר, סכום החשבונית וכו'.
נכס [מטא-נתונים]	שדות בסכימת המסמך שאפשר לחלץ מהמסמך או להעשיר (לתייג) על ידי המשתמשים. נכון לעכשיו, המטא-נתונים כוללים את הסוגים הבאים: ערכי טקסט חופשי, Enum, מספרי, תאריך, מפה (היררכיית JSON של צמדי מפתח/ערך). אנחנו מתכננים לתמוך בעתיד בסוגים בוליאניים, כספיים ואחרים.
מחלצי מסמכים (DocAI ואחרים)	אפשר לחלץ מסמכים באמצעות צינור עיבוד נתונים של AI, כדי להטמיע את החילוצים ולנהל אותם ב-Document AI Warehouse (כמטא-נתונים) יחד עם המסמך הגולמי. כדי לחלץ את הנתונים, אפשר מנתחי מידע ייעודיים של Document AI (לטפסים של רכש, הלוואות וכו') ‫OCR, ‏AutoML, מנתח טפסים (לתמונות כמו TIFF/PNG וכו') מודלים אחרים בהתאמה אישית כלים לחילוץ טקסט מפורמטים מיוחדים של מסמכים, כמו קובצי PDF, מסמכי Office ועוד. שימו לב ש-Document AI Warehouse יכול לעבוד עם כל צינור עיבוד נתונים לחילוץ שקורא לממשקי ה-API של Document AI Warehouse כדי להטמיע או לעדכן מסמכים.
תיקיות	תיקייה היא אוסף וירטואלי של מסמכים (וירטואלי כי אותו מסמך יכול להיות כלול בתיקייה אחת או יותר). יש לו "סוג מסמך/סכימה" והוא מכיל מטא-נתונים ורשימות בקרת גישה, בדיוק כמו מסמכים. כדי להוסיף מסמך לתיקייה, המשתמש צריך הרשאת עריכה בתיקייה והרשאת צפייה במסמך.
קישורים	קישורים משמשים כדי להוסיף מסמכים לתיקיות או כדי לקשר בין מסמכים קשורים. לקישורים אין "סוג קישור"
מסמכים קשורים	מסמכים יכולים להיות קשורים באמצעות קישורים בכיוון אחד ממסמך אחד למסמך אחר.
הרשאות קישור	כדי להוסיף מסמך לתיקייה, המשתמש צריך הרשאת עריכה לאובייקט שממנו מקשרים (למשל, תיקייה) והרשאת צפייה לאובייקט שאליו מקשרים (למשל, מסמך).
מדיניות	מדיניות שנבדקת כשמסמך או תיקייה נוצרים או מתעדכנים, ומשמשת לאימות או לעדכון של המטא-נתונים של המסמך, רשימות ACL או הוספה, העברה או הסרה של מסמכים מתיקיות. המדיניות כוללת: טריגר, למשל, בעת DocUpdate/DocCreate תנאי, לדוגמה, Invoice.Amount <$1000 פעולה, לדוגמה, עדכון מטא-נתונים של מסמך, החזרת הערכת תנאי, הוספת מסמך לתיקייה וכו'. מדיניות בדרך כלל משויכת לסוג מסמך. הוא מבוטא ב-Common Expression Language עם תכנות מינימלי (פורמט JSON, מפורט בהמשך)
מדיניות ההתראות	זהו סוג מיוחד של מדיניות שבה הפעולה היא פרסום הודעה בנושא Pub/Sub כשתנאי מסוים מתקיים. אפליקציות או תהליכי עבודה יכולים להשתמש בהודעה כדי להפעיל פעולות במסמכים או בחלקים אחרים של תהליך עבודה עסקי.
‫Policy Engine, ממשקי API של מדיניות	מנוע: השרת שמעריך את כללי המדיניות ומבצע פעולות ‫API: ‏Admin API משמש ליצירה, לעדכון, לקריאה ולמחיקה של כללי מדיניות.
חיפוש לפי מאפיינים	Facet הוא מסנן מטא-נתונים שמשמש בשאילתת חיפוש. לדוגמה, חיפוש של דפי חשבון בנק לפי המסננים "חודש = מרץ 2021" ו "מדינה של הסניף = קליפורניה" מסנן את תוצאות החיפוש לפי שני ההיבטים האלה. המאפיין הוא בדרך כלל שדה ממוספר. בגרסאות עתידיות נוסיף תמיכה בהיבטים מספריים ובהיבטים של תאריכים. האדמינים מציינים את המאפיינים של סוג מסמך בסכימת המסמך (באמצעות Admin API)
חיפוש סמנטי	חיפוש סמנטי תומך במילים נרדפות או במונחים ש "קשורים מבחינה סמנטית" לשאילתת החיפוש. למשל, אם מזינים "רישיון נהיגה", המערכת מחזירה "היתר נהיגה".
היסטוגרמת חיפוש	היסטוגרמה היא תכונה של Search API שמחזירה את ההתפלגות (מספרים) של תוצאות החיפוש לפי מאפיין. לדוגמה, בתוצאות החיפוש של רישיון נהיגה מוחזר ההיסטוגרמה "CA 500, NV 150, …"‎
גישה אוניברסלית לעומת בקרת גישה ברמת המסמך	ב-Document AI Warehouse יש תמיכה בשני מצבי גישה לכל פרויקט גישה אוניברסלית – כל משתמש יכול לגשת לכל מסמך בפרויקט. ה-API נשלט על ידי בקרת גישה לחשבונות משתמשים או לחשבונות שירות, אבל אין הרשאות ברמת המסמך רשימת ACL ברמת המסמך – המשתמשים מקבלים הרשאות ברמת המסמך. לכל מסמך יש הרשאות קריאה/עדכון/מחיקה שמוקצות למשתמשים או לקבוצות.