מבוא לצינורות עיבוד נתונים ב-BigQuery

אתם יכולים להשתמש בצינורות של BigQuery כדי לבצע אוטומציה ולייעל את תהליכי הנתונים של BigQuery. בעזרת צינורות עיבוד נתונים, אתם יכולים לתזמן ולהפעיל נכסי קוד ברצף כדי לשפר את היעילות ולצמצם את המאמץ הידני.

סקירה כללית

צינורות העיבוד מבוססים על Dataform. בנוסף להרצת נכסי קוד, Dataform מעדכן באופן אוטומטי את המטא-נתונים ב-Knowledge Catalog לגבי טבלאות שנוצרו בצינור עיבוד נתונים.

צינור מכיל נכסי קוד אחד או יותר מהסוגים הבאים:

• מחברות
• שאילתות SQL
• הכנת הנתונים
• משימות SQLX, כולל טבלאות, תצוגות, מקורות ובדיקות איכות נתונים

אתם יכולים להשתמש בצינורות עיבוד נתונים כדי לתזמן את ההפעלה של נכסי קוד. לדוגמה, אפשר לתזמן שאילתת SQL שתפעל מדי יום ותעדכן טבלה עם נתוני המקור העדכניים ביותר, שיוכלו לשמש ליצירת לוח בקרה.

בצינור עם כמה נכסי קוד, מגדירים את רצף ההפעלה. לדוגמה, כדי לאמן מודל של למידת מכונה, אפשר ליצור תהליך עבודה שבו שאילתת SQL מכינה את הנתונים, ואז מחברת מחברת עוקבת מאמנת את המודל באמצעות הנתונים האלה.

כשמפעילים הרצה של צינור, BigQuery מבצע את הפעולות לפי הסדר שמוגדר בתלות שלהן. לכל פעולה, BigQuery מבצע את השלבים הבאים:

1. מריץ את ה-SQL שעבר קומפילציה ב-BigQuery.
2. עדכון סטטוס הפעולה ביומן הביצוע.
3. אחרי השלמה מוצלחת של פעולה, Dataform מתחיל אוטומטית סנכרון של מטא-נתונים עם Knowledge Catalog (תצוגה מקדימה). תהליך ההעשרה הזה מעדכן את Knowledge Catalog עם המטא-נתונים הסמנטיים שמוגדרים בהגדרות ה-SQLX. הסנכרון מתבצע באופן אסינכרוני ומשתמש במנגנון ניסיון חוזר, כדי להבטיח שעדכוני מטא-נתונים לא ישפיעו על זמן האחזור של צינור הנתונים או יובילו לכשלים בתהליך העבודה אם Dataplex API לא זמין באופן זמני.

יכולות

אלה הפעולות שאפשר לבצע בצינור:

• יצירה של שאילתות SQL חדשות או ייבוא של שאילתות SQL קיימות, מחברות, הכנות נתונים או משימות SQLX לצינור עיבוד נתונים.
• מתזמנים צינור לעיבוד נתונים כך שיפעל אוטומטית בזמן ובתדירות שצוינו.
• שיתוף צינור עם משתמשים או קבוצות שאתם מציינים.
• שיתוף קישור לצינור.

מגבלות

הגבלות על צינורות מכירה:

• צינורות זמינים רק במסוף Google Cloud .
• אחרי שיוצרים צינור, אי אפשר לשנות את האזור שבו הוא מאוחסן.
• אתם יכולים להעניק למשתמשים או לקבוצות גישה לצינור נתונים נבחר, אבל לא תוכלו להעניק להם גישה למשימות ספציפיות בצינור הנתונים.
• אם הפעלה מתוזמנת של צינור לא מסתיימת לפני תחילת ההפעלה המתוזמנת הבאה, ההפעלה המתוזמנת הבאה תדלג ותסומן בשגיאה.

הגדרת אזור ברירת המחדל לנכסי קוד

כל נכסי הקוד החדשים בפרויקט Google Cloud משתמשים באזור ברירת מחדל. אחרי שיוצרים את הנכס, אי אפשר לשנות את האזור שלו.

חשוב: אם משנים את האזור במהלך יצירת נכס קוד, האזור הזה הופך לברירת המחדל לכל נכסי הקוד הבאים. נכסי קוד קיימים לא יושפעו.

כדי להגדיר את אזור ברירת המחדל לנכסי קוד חדשים:

1. עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על קבצים כדי לפתוח את דפדפן הקבצים:

   

3. לצד שם הפרויקט, לוחצים על View files panel actions (הצגת פעולות בחלונית הקבצים) > Switch code region (החלפת אזור הקוד).

4. בוחרים את אזור הקוד שרוצים להגדיר כברירת מחדל.

5. לוחצים על Save.

רשימת האזורים הנתמכים מופיעה במאמר בנושא מיקומים ב-BigQuery Studio.

כל נכסי הקוד מאוחסנים באזור ברירת המחדל לנכסי קוד. עדכון אזור ברירת המחדל משנה את האזור של כל נכסי הקוד שנוצרו אחרי העדכון.

מכסות ומגבלות

צינורות נתונים ב-BigQuery כפופים למכסות ולמגבלות של Dataform.

תמחור

הפעלת משימות של צינורות עיבוד נתונים ב-BigQuery כרוכה בחיובים על מחשוב ואחסון ב-BigQuery. מידע נוסף על התמחור של BigQuery

אם צינורות מכילים קובצי notebook, יחויבו על סביבת זמן הריצה ב-Colab Enterprise בהתאם לסוג המכונה שמוגדר כברירת מחדל. פרטים על התמחור מופיעים במאמר תמחור של Colab Enterprise.

כל הפעלה של צינור נתונים ב-BigQuery מתועדת באמצעות Cloud Logging. רישום ביומן מופעל באופן אוטומטי להפעלות של צינורות נתונים ב-BigQuery, ויכול להיות שתצברו חיובים על Cloud Logging. מידע נוסף זמין במאמר בנושא תמחור של Cloud Logging.

המאמרים הבאים

• איך יוצרים צינורות
• איך מנהלים צינורות
• איך מתזמנים צינורות