פתרון בעיות שקשורות למקורות נתונים

במסמך הזה מוסבר איך לפתור את הבעיות הנפוצות ביותר שגורמות לכך שלא מוצגים גרפים של שושלת הנתונים ב-Dataplex Universal Catalog.

סוגי פרויקטים

נכסי נתונים יכולים להיות בפרויקטים שונים. לפניכם סיכום של פרויקטים אפשריים ושמות הנכסים שלהם.

פרויקט אחסון ב-BigQuery

בפרויקט הזה מאוחסנים נכסי הנתונים שלכם ב-BigQuery. אפשר למצוא אותו בפרטי הנכס כחלק מ-Table ID, לפני הנקודה הראשונה.

בממשק המשתמש של BigQuery, שם פרויקט האחסון מוצג בשדה Table ID (מזהה הטבלה), לפני הנקודה הראשונה בשם הטבלה המוגדר במלואו. — **איור 1.** השם של פרויקט אחסון ב-BigQuery.

פרויקט Compute

בפרויקט הזה נשמרים מטא-נתונים של שושלת הנתונים. ב-BigQuery, זה המקום שבו מריצים משימה. אם מריצים עבודה באמצעות מסוף Google Cloud , אפשר למצוא את שם פרויקט המחשוב בבורר הפרויקטים:

בממשק המשתמש של BigQuery מוצג פרויקט חישוב שנקרא docs-compute בדף שבו מריצים שאילתות SQL. — **איור 2.** השם של פרויקט מחשוב שמריץ עבודות ב-BigQuery.

כששולחים בקשות ל-BigQuery API, צריך לציין את פרויקט החישוב בכתובת ה-URL, לדוגמה:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

פרויקט פעיל

זה הפרויקט שממנו אתם צופים בשושלת הנתונים. במסוף Google Cloud , הפרויקט הפעיל מוצג ברשימת הפרויקטים. אם משתמשים ב-API, הפרויקט הפעיל הוא הפרויקט שממנו מתבצעות קריאות ל-API.

בממשק המשתמש של BigQuery מוצג מוצא הנתונים של מערך נתונים בשם source-001, שנמצא בפרויקט בשם docs-source. — **איור 3.** הפרויקט הפעיל במסוף Google Cloud .

השורה של נתוני BigQuery לא מוצגת

הבעיה הבאה מתרחשת אחרי שמריצים משימה ב-BigQuery. במקרה כזה, יכולות להיות שלוש סיבות לבעיה:

‫Data Lineage API מושבת בפרויקט הפעיל או בפרויקט החישוב.
אין לכם את התפקיד 'צפייה בנתוני שושלת' (roles/datalineage.viewer) בפרויקט הפעיל או בפרויקט החישוב.
הנתונים על מקורות הנתונים עדיין לא הגיעו. בהתאם לנפח ולמורכבות של הנתונים שעוברים עיבוד, יכולות לחלוף 30 דקות עד 24 שעות עד שיוצג מקור הנתונים.

אם מופיעה ההודעה "Fetching lineage failed due to missing permissions" (אחזור שושלת נכשל בגלל הרשאות חסרות) בחלק התחתון של הדף, סימן שחסרות לכם הרשאות בפרויקט הפעיל. אחרת, חסרות לכם הרשאות בפרויקט המחשוב.

תרשים ריק של קשרי תלות. — **איור 4.** דוגמה למוצא שלא מוצג בממשק המשתמש של BigQuery.

כדי לפתור את הבעיה הזו, צריך לבדוק אם Data Lineage API מופעל בפרויקט החישוב. אחרי הפעלת ה-API, צריך להריץ עבודה כדי לראות את מקור הנתונים. בהתאם לנפח ולמורכבות של הנתונים שעוברים עיבוד, יכולות לחלוף 30 דקות עד 24 שעות עד שיוצג מקור הנתונים.

בשלב הבא, בודקים אם Data Lineage API מופעל בפרויקט הפעיל.

כשמפעילים את Data Lineage API, צריך להעניק את התפקיד Data Lineage Viewer ‏ (roles/datalineage.viewer) בפרויקטים הפעילים ובפרויקטים של Compute.

מטא-נתונים של תהליך BigQuery לא מוצגים

הבעיה הבאה מתרחשת כשפותחים את חלונית פרטי הטבלה, שלא מציגה את כל הפרטים כמו הצהרת ה-SQL או המאפיין Process type. המצב הזה קורה גם אם שרשרת מקורות הנתונים מוצגת בצורה תקינה.

יכול להיות שהסיבה לכך היא שאין לכם הרשאות לראות את המטא-נתונים בפרויקט של Compute.

דוגמה:

טבלת המקור ב-BigQuery‏: docs-source.dataset.source-001
טבלת היעד ב-BigQuery‏: docs-target.dataset.target-001
שושלת נתונים בין docs-source.dataset.source-001 לבין docs-target.dataset.target-001 בפרויקט מחשוב docs-compute
יש לכם את התפקיד 'צפייה במקורות נתונים' בפרויקטים פעילים ובפרויקטים של מחשוב docs-compute.

כשלוחצים על פרטי התהליך של BigQuery, מוצגת ההודעה הבאה Google Cloud במסוף:

You don't have permission to view BigQuery process metadata in project X.

בממשק המשתמש של BigQuery, בחלונית הפרטים בכרטיסייה 'מקורות נתונים' מוצגת הודעת שגיאה. — **איור 5.** דוגמה לפרטי תהליך של BigQuery שלא מוצגים בממשק המשתמש של BigQuery.

כדי לפתור את הבעיה הזו, צריך להעניק למשתמש את ההרשאה bigquery.jobs.get (לדוגמה, ההרשאה כלולה בתפקיד BigQuery Resource Viewer) בפרויקט Compute.

פרטי הטבלה ב-BigQuery לא מוצגים

הבעיה הבאה מתרחשת כשפותחים את חלונית פרטי הטבלה, שמוצג בה רק המאפיין Fully qualified name. המצב הזה קורה גם אם שושלת הנתונים מוצגת בצורה תקינה. זה יכול לקרות אם אין לכם את כל ההרשאות הנדרשות בפרויקטים של אחסון בטבלה.