פתרון בעיות בגילוי נתונים ב-Knowledge Catalog

חיפוש נתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog), שנקרא גם חיפוש עצמאי, מאפשר לסרוק באופן אוטומטי קטגוריות של Cloud Storage כדי לחלץ מטא-נתונים ולפרסם טבלאות ב-BigQuery. אתם יכולים לפתור שגיאות נפוצות בסריקות, כמו כשלים בפרסום טבלאות ב-BigQuery וב-BigLake, חוסר התאמה בסכימות של תיקיות וטבלאות שלא מתעדכנות אחרי שינויים בסכימה. מידע נוסף זמין במאמר איתור נתונים ב-Cloud Storage והוספה שלהם לקטלוג.

אם אתם צריכים עזרה בפתרון בעיה שלא מופיעה במסמך הזה, פנו אל Cloud Customer Care.

פרסום הטבלה ב-BigQuery נכשל (FAILED_BIGQUERY_TABLE_PUBLISH)

כשמריצים סריקה לזיהוי, יכול להיות שהטבלאות לא יפורסמו ב-BigQuery. במקרה כזה, הסריקה מתעדת פעולת FAILED_BIGQUERY_TABLE_PUBLISH ב-Cloud Logging.

הבעיה הזו מתרחשת בגלל התנאים הבאים:

  • הרשאות IAM לא מספיקות: לחשבון השירות של Knowledge Catalog או לחשבון השירות של החיבור ל-BigQuery אין את התפקידים הנדרשים כדי להקצות חיבורים, לגשת ל-Cloud Storage או לכתוב בקבוצת הנתונים של היעד.
  • חוסר התאמה בין החיבור ל-BigQuery לבין מערך הנתונים: מזהה החיבור שצוין לא תקין, או שהחיבור ומערך הנתונים של היעד נמצאים באזורים שונים.
  • שגיאות בהגדרת הטבלה: הגדרות שגויות או לא נתמכות חלות על יצירה או שינוי של טבלה.

כדי לפתור את הבעיה, מבצעים את הבדיקות הבאות:

  • אימות התפקידים של חשבון השירות: מוודאים שלחשבון השירות של Knowledge Catalog‏ service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com יש את התפקיד Dataplex Discovery BigLake Publishing Service Agent‏ (roles/dataplex.discoveryBigLakePublishingServiceAgent).
  • אימות הרשאות החיבור: אם אתם יוצרים טבלאות BigLake, ודאו שלחשבון השירות של החיבור ל-BigQuery יש גישת קריאה לקטגוריה של Cloud Storage באמצעות התפקיד צפייה באובייקטים של אחסון (roles/storage.objectViewer) או סוכן שירות של Dataplex Discovery (roles/dataplex.discoveryServiceAgent).
  • בדיקת החיבור והמיקום של מערך הנתונים: ודאו שהחיבור ל-BigQuery ומערך הנתונים ב-BigQuery נמצאים באותו אזור, ושהם תואמים למיקום של הקטגוריה של Cloud Storage.
  • Inspect logs for details: עיון ביומני המשימות של DataScan ב-Cloud Logging. אם השגיאה מכילה את הערך BigQuery: Permission denied, צריך לבדוק את ההרשאות של חשבון השירות. אם הוא מכיל את הערך TABLE_CONFIG, צריך לוודא שקובצי הנתונים עומדים בדרישות של BigQuery.

יצירת טבלת BigLake נכשלת בקטגוריות גדולות של Cloud Storage

כשסריקת גילוי מעבדת קטגוריות של Cloud Storage עם נפח גדול של נתונים או קבצים גדולים (לדוגמה, קובצי Avro שגדולים מ-30MB), הסריקה יכולה ליצור את מערך הנתונים ב-BigQuery אבל לא לפרסם את הטבלאות של BigLake.

במקרים כאלה, יכול להיות שתראו את השגיאות הבאות ב-Cloud Logging:

  • FAILED_BIGQUERY_TABLE_PUBLISH
  • com.google.cloud.bigquery.BigQueryException: Read timed out

הבעיה הזו היא מגבלה ידועה של יכולת ההתאמה לעומס. אם אתם צריכים להקצות טבלה באופן מיידי, הגדירו את סריקת הגילוי כך שתכלול קבוצת משנה קטנה ומסוננת של הנתונים בקטגוריה.

חוסר התאמה בסכימה של תיקיית Cloud Storage

סריקה לזיהוי נתונים לא מצליחה לרשום טבלאות חיצוניות, או שהיא לא מזהה קבצים בתיקיות מסוימות.

הבעיה הזו מתרחשת אם התיקיות ב-Cloud Storage מכילות קבצים עם סכימות לא תואמות או פורמטים שונים. סריקת הגילוי מקבצת קבצים לטבלה אחת רק אם הם נמצאים באותה תיקייה ויש להם סכימה תואמת.

כשסריקה לאיתור נתונים מנתחת נתיב ב-Cloud Storage, היא מצפה שהקבצים בתיקייה ומבנה המחיצות בתיקיות יהיו עקביים. הסריקה מסמנת פעולה אם היא מזהה אחד מהדברים הבאים:

  • פורמט נתונים לא תקין (INVALID_DATA_FORMAT): פורמטים לא עקביים של נתונים באותה תיקייה או במחיצות שונות (לדוגמה, שילוב של קובצי .csv ו-.parquet באותה ספרייה).
  • הגדרה לא תקינה של מחיצה (INVALID_PARTITION_DEFINITION): מפתחות המחיצה לא עקביים או חסרים. לדוגמה, שימוש ב-Year=2023/Mon=Jan בנתיב אחד וב-Year=2023/Dept=Sales בנתיב אחר.
  • סכימת נתונים לא תואמת (INCOMPATIBLE_DATA_SCHEMA): זוהו סכימות לא עקביות או לא תואמות בקבצים באותה תיקייה או טבלה.

בפורמטים עם טיפוסים חזקים כמו Avro ו-Parquet, חוסר התאמה בסכימה יכול לקרות בגלל:

  • סוגי נתונים לא תואמים: לעמודה יש סוג string בקובץ אחד וסוג int או boolean בקובץ אחר.
  • ערכי ברירת מחדל חסרים: שדות חדשים נוספים או נמחקים בקבצים חדשים יותר בלי לציין ערכי ברירת מחדל בהגדרת הסכימה, מה שמונע התפתחות נכונה של הסכימה.
  • פורמט קובץ פגום: קובץ אחד או יותר פגום או לא תקין, ולכן הסריקה לא מצליחה לקרוא ולחלץ את הסכימה.

כדי לפתור את הבעיה, צריך לבדוק את מבנה הקובץ ואת הגדרות הסכימה:

  • ארגון קבצים לפי סכימה ופורמט: ודאו שלכל הקבצים בתיקייה אחת יש את אותו פורמט ומבנה סכימה. העבירו קבצים עם עמודות, סוגים פרימיטיביים או פורמטים שונים לתיקיות או לתחיליות נפרדות, כדי שתוכלו לרשום אותם כטבלאות נפרדות.
  • שימוש בהגדרות עקביות של מחיצות: חשוב לוודא שהמפתחות והמבנים של המחיצות עקביים בכל תיקיות המחיצות (לדוגמה, שימוש עקבי ב-Year=YYYY/Month=MM/).
  • לפעול לפי כללי פיתוח הסכימה: כשמעדכנים סכימות (למשל, הוספה או הסרה של שדות מקובצי Avro), תמיד צריך להגדיר ערכי ברירת מחדל כדי ששירות הגילוי יוכל למזג את וריאציות הסכימה בהצלחה.
  • זיהוי קבצים פגומים: בודקים את הפלט או את היומנים של הסריקה כדי לראות אם יש קובץ מסוים שלא מצליח לעבור פענוח. מעבירים קבצים באופן זמני כדי לבדוק אם קובץ ספציפי גורם לכישלון הסריקה.

טבלאות שזוהו לא מתעדכנות כשמבצעים שינויים בסכימה

אחרי שמשנים קבצים ב-Cloud Storage או מריצים סריקה חדשה, הסכימה המעודכנת לא משתקפת בטבלאות ב-BigQuery שפורסמו.

הבעיה הזו מתרחשת אם בטבלה שפורסמה, התווית metadata-managed-mode מוגדרת כ-user_managed. כברירת מחדל, שירות הגילוי מפרסם טבלאות בתור discovery_managed. אם אתם או משתמש אחר עורכים באופן ידני את מאפייני הסכימה של הטבלה, אתם צריכים לשנות את התווית ל-user_managed כדי לחסום עדכונים אוטומטיים.

כדי לפתור את הבעיה, צריך לבדוק את תוויות הטבלה ב-BigQuery:

  1. נכנסים לדף BigQuery במסוף Google Cloud .
  2. בחלונית Explorer, מרחיבים את הפרויקט, בוחרים את מערך הנתונים ולוחצים על הטבלה הרלוונטית.
  3. לוחצים על הכרטיסייה פרטים.
  4. בקטע Labels, בודקים את הערך של המפתח metadata-managed-mode.
  5. אם רוצים שסריקת הגילוי תמשיך לנהל ולעדכן את הסכימה, לוחצים על Edit > Edit details, משנים את הערך ל-discovery_managed ולוחצים על Save.