ניהול של תהליכי הכנת נתונים

במאמר הזה מוסבר איך לנהל את ההכנות של נתונים ב-BigQuery, כולל ניהול גישה, ניהול גרסאות, ביצועים ומטא-נתונים. בנוסף, מוסבר בו איך לבצע משימות בסיסיות, כמו צפייה בהכנות של הנתונים והורדה שלהם.

הכנת הנתונים היא משאבי BigQuery שמבוססים על Dataform. מידע נוסף זמין במאמר סקירה כללית על הכנת נתונים ב-BigQuery.

לפני שמתחילים

1. מוודאים שהפעלתם את Gemini for Google Cloud API.
2. כדי לנהל מטא-נתונים של הכנת נתונים ב-Knowledge Catalog, צריך לוודא ש-Dataplex API מופעל בפרויקט Google Cloud .

התפקידים הנדרשים

משתמשים שמכינים את הנתונים וחשבונות השירות של Dataform שמריצים את העבודות צריכים את ההרשאות שמוענקות על ידי התפקידים הבאים של ניהול הזהויות והרשאות הגישה (IAM).

קבלת גישת משתמש להכנת נתונים

כדי לקבל את ההרשאות שדרושות להכנת נתונים ב-BigQuery, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• BigQuery Studio User (roles/bigquery.studioUser) בפרויקט
• ‫Gemini ל-Google Cloud User (roles/cloudaicompanion.user) בפרויקט
• גישה לטבלאות המקור: ‫BigQuery Data Viewer (roles/bigquery.dataViewer) בטבלה, במערך הנתונים או בפרויקט
• שיתוף תהליכים להכנת נתונים: בעלים של קוד Dataform (roles/dataform.codeOwner) בטבלה, במערך הנתונים או בפרויקט

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

במאמר מתן גישה למערך נתונים יש מידע נוסף על IAM למערכי נתונים ב-BigQuery.

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

קבלת גישה לניהול מטא-נתונים

כדי לקבל את ההרשאות שדרושות לניהול המטא-נתונים של הכנת הנתונים ב-Knowledge Catalog, צריך לוודא שיש לכם את התפקידים הנדרשים ב-Knowledge Catalog ואת ההרשאה dataform.repositories.get.

מתן גישה לחשבון השירות של Dataform

כדי לוודא שלחשבון השירות של Dataform יש את ההרשאות שנדרשות להפעלת הכנת נתונים ב-BigQuery, צריך לבקש מהאדמין להקצות לחשבון השירות של Dataform את תפקידי ה-IAM הבאים:

• גישה לטבלאות המקור: ‫BigQuery Data Viewer (roles/bigquery.dataViewer) בטבלה, במערך הנתונים או בפרויקט
• גישה לטבלאות היעד: BigQuery Data Editor (roles/bigquery.dataEditor) בטבלה, במערך הנתונים או בפרויקט

יכול להיות שחשבון השירות של Dataform יזדקק להרשאות נוספות, בהתאם לצינור להכנת הנתונים. מידע נוסף זמין במאמר בנושא מתן גישה נדרשת ל-Dataform.

שיקולי אבטחה בהכנת נתונים

נכסי קוד ב-BigQuery מבוססים על Dataform, ולכן חשוב לשים לב להשלכות האבטחה הבאות עבור משתמשים שיש להם גישה לנכסים האלה:

• הגישה לנכסי קוד מנוהלת על ידי הרשאות Dataform ברמת הפרויקט. משתמשים עם ההרשאה dataform.repositories.list – שכלולה בתפקידים רגילים ב-BigQuery כמו BigQuery Job User,‏ BigQuery Studio User ו-BigQuery User – יכולים לראות את כל נכסי הקוד בחלונית Explorer של הפרויקט Google Cloud , בלי קשר לשאלה אם הם יצרו את הנכסים האלה או שהנכסים האלה שותפו איתם. כדי להגביל את הנראות, אפשר ליצור תפקידים בהתאמה אישית שלא כוללים את ההרשאה dataform.repositories.list.
• יכול להיות שמשתמשים שיש להם הרשאת עריכה בנכסים האלה יוכלו לגשת לסודות ששותפו עם סוכן השירות של Dataform. כדי לאבטח את פרטי הכניסה, צריך להגביל את הגישה ליצירה ולעריכה למשתמשים מהימנים, ולהגביל את הסודות שסוכן השירות של Dataform יכול לגשת אליהם. מידע נוסף זמין במאמר גישה לסודות במהלך התקנת חבילות.

מידע נוסף זמין במאמר בנושא שיקולי אבטחה לגבי הרשאות ב-Dataform.

צפייה בתהליכים קיימים להכנת נתונים

כדי לראות רשימה של הכנות נתונים קיימות, פועלים לפי השלבים הבאים:

1. עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

   אם לא רואים את החלונית הימנית, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer מרחיבים את הפרויקט.

4. לוחצים על הכנת נתונים.

אופטימיזציה של הכנת הנתונים באמצעות עיבוד הנתונים באופן מצטבר

כדי להגדיר את האופן שבו הנתונים המוכנים נכתבים בטבלת היעד, פועלים לפי השלבים הבאים.

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, לוחצים על Data preparations ואז בוחרים את ההכנה של הנתונים.

4. בסרגל הכלים של הכנת הנתונים, בוחרים באפשרות עוד > מצב כתיבה.

5. בוחרים אחת מהאפשרויות. מידע נוסף זמין במאמר בנושא מצב כתיבה.

6. לוחצים על Save.

גרסאות של תהליך הכנת נתונים

אפשר ליצור הכנה של נתונים בתוך מאגר או מחוצה לו. הטיפול בניהול גרסאות של הכנת נתונים שונה בהתאם למיקום של הכנת הנתונים.

ניהול גרסאות של הכנת נתונים במאגרים

מאגרים הם מאגרי Git שנמצאים ב-BigQuery או אצל ספק צד שלישי. אתם יכולים להשתמש בסביבות עבודה במאגרי מידע כדי לבצע ניהול גרסאות על הכנות נתונים. מידע נוסף זמין במאמר בנושא שימוש בניהול גרסאות בקובץ.

ניהול גרסאות של תהליכי הכנת נתונים מחוץ למאגרים

אי אפשר להציג, להשוות או לשחזר גרסאות של הכנת נתונים ב-BigQuery שלא נמצאות במאגרים.

כדי לראות רשימה של גרסאות הכנת הנתונים בסדר כרונולוגי:

1. עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, לוחצים על Data preparations ואז בוחרים את ההכנה של הנתונים.

4. לוחצים על Version history (היסטוריית גרסאות).

הורדה של תהליך להכנת הנתונים

כדי להוריד הכנה של נתונים בקובץ SQLX, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Data preparations (הכנת נתונים).

4. לוחצים על השם של הכנת הנתונים שרוצים להוריד.

5. לוחצים על הורדה. הכנת הנתונים נשמרת בפורמט קובץ SQLX – לדוגמה, NAME data preparation.dp.sqlx.

הערה: קבצים להכנת נתונים שנוצרו לפני יולי 2025 יועברו אוטומטית לפורמט SQLX, שישנה את אופן האחסון וההפעלה שלהם. ההעברה החד-פעמית הזו מופעלת בתרחישים הבאים:

• הכנת נתונים קיימת מועברת כשפותחים אותה.
• הכנת נתונים בפייפליין מועברת כששומרים או מעדכנים את הכנת הנתונים.

העלאת תהליך להכנת הנתונים

כדי להעלות הכנה של נתונים מקובץ SQLX:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer מרחיבים את הפרויקט.

4. לוחצים על הכנת נתונים ואז על more_vert הצגת פעולות > העלאה להכנת נתונים.

5. בתיבת הדו-שיח העלאת נתונים להכנה, בוחרים קובץ להעלאה או מזינים את כתובת ה-URL של הנתונים להכנה.

6. מזינים שם להכנת הנתונים.

7. בוחרים מיקום להכנת הנתונים שבו המשאבים מנוהלים ומאוחסנים.

8. לוחצים על Upload.

ניהול מטא-נתונים ב-Knowledge Catalog

ב-Knowledge Catalog אפשר לאחסן ולנהל מטא-נתונים של הכנות נתונים. הכנת הנתונים זמינה כברירת מחדל ב-Knowledge Catalog, ללא צורך בהגדרה נוספת.

אתם יכולים להשתמש ב-Knowledge Catalog כדי לנהל את ההכנות של הנתונים בכל המיקומים של BigQuery. השימוש ב-Knowledge Catalog לצורך ניהול של הכנת נתונים כפוף למכסות ולמגבלות של Knowledge Catalog ולתמחור של Knowledge Catalog.

‫Knowledge Catalog מאחזר באופן אוטומטי את המטא-נתונים הבאים מהכנת הנתונים:

• שם נכס הנתונים
• הנכס הראשי של נכס הנתונים
• המיקום של נכס הנתונים
• סוג נכס הנתונים
• פרויקט Google Cloud מתאים

ב-Knowledge Catalog, הכנות הנתונים נרשמות כרשומות עם ערכי הרשומות הבאים:

קבוצה של רשומות במערכת

קבוצת רשומות המערכת להכנת נתונים היא @dataform. כדי לראות את הפרטים של רשומות הכנת הנתונים ב-Knowledge Catalog, צריך להציג את קבוצת רשומות המערכת dataform. הוראות לצפייה ברשימה של כל הרשומות בקבוצת רשומות מופיעות במאמר צפייה בפרטים של קבוצת רשומות במסמכי התיעוד של Knowledge Catalog.

סוג הרשומה במערכת

סוג הרשומה במערכת להכנת נתונים הוא dataform-code-asset. כדי לראות את הפרטים של הכנת הנתונים, צריך להציג את dataform-code-asset סוג הרשומה במערכת, לסנן את התוצאות באמצעות מסנן מבוסס-היבטים ולהגדיר את השדה type בתוך ההיבט dataform-code-asset לערך DATA_PREPARATION. לאחר מכן, בוחרים רשומה של הכנת הנתונים שנבחרה. הוראות לצפייה בפרטים של סוג רשומה נבחר מופיעות במאמר צפייה בפרטים של סוג רשומה במסמכי התיעוד של Knowledge Catalog. הוראות להצגת פרטים של רשומה נבחרת מופיעות במאמר הצגת פרטים של רשומה במסמכי Knowledge Catalog.

סוג ההיבט של המערכת

סוג ההיבט של המערכת להכנת נתונים הוא dataform-code-asset. כדי לספק הקשר נוסף להכנת נתונים ב-Knowledge Catalog על ידי הוספת הערות לרשומות של הכנת נתונים עם aspects, צריך להציג את סוג ה-aspect dataform-code-asset, לסנן את התוצאות באמצעות מסנן מבוסס-aspects ולהגדיר את השדה type בתוך ה-aspect dataform-code-asset לערך DATA_PREPARATION. הוראות להוספת הערות עם היבטים לרשומות מפורטות במאמר ניהול היבטים והעשרת מטא-נתונים במסמכי התיעוד של Knowledge Catalog.

סוג

הסוג של לוחות ציור של נתונים הוא DATA_PREPARATION. הסוג הזה מאפשר לכם לסנן את ההכנות של הנתונים בdataform-code-asset סוג הרשומה במערכת ובdataform-code-assetסוג ההיבט באמצעות השאילתה בaspect:dataplex-types.global.dataform-code-asset.type=DATA_PREPARATION מסנן מבוסס-היבטים.

הוראות לחיפוש נכסים מפורטות במאמר חיפוש נכסי נתונים ב-Knowledge Catalog במסמכי התיעוד של Knowledge Catalog.

המאמרים הבאים

• מידע נוסף על הכנת נתונים ב-BigQuery
• איך מכינים נתונים באופן ידני או לפי לוח זמנים
• איך יוצרים הכנות נתונים