מבוא לצינורות עיבוד נתונים ב-BigQuery
אתם יכולים להשתמש בצינורות של BigQuery כדי לבצע אוטומציה ולייעל את תהליכי הנתונים של BigQuery. בעזרת צינורות עיבוד נתונים, אתם יכולים לתזמן ולהפעיל נכסי קוד ברצף כדי לשפר את היעילות ולצמצם את המאמץ הידני.
סקירה כללית
צינורות העיבוד מבוססים על Dataform.
צינור מכיל נכסי קוד אחד או יותר מהסוגים הבאים:
אתם יכולים להשתמש בצינורות עיבוד נתונים כדי לתזמן את ההפעלה של נכסי קוד. לדוגמה, אפשר לתזמן שאילתת SQL שתפעל מדי יום ותעדכן טבלה עם נתוני המקור העדכניים ביותר, שיוכלו לשמש ליצירת לוח בקרה.
בצינור עם כמה נכסי קוד, מגדירים את רצף ההפעלה. לדוגמה, כדי לאמן מודל של למידת מכונה, אפשר ליצור תהליך עבודה שבו שאילתת SQL מכינה את הנתונים, ואז מחברת מחברת עוקבת מאמנת את המודל באמצעות הנתונים האלה.
יכולות
אלה הפעולות שאפשר לבצע בצינור:
- יצירה של שאילתות SQL חדשות או מחברות חדשות או ייבוא של שאילתות SQL או מחברות קיימות לצינור עיבוד נתונים.
- מתזמנים צינור לעיבוד נתונים כך שיפעל אוטומטית בזמן ובתדירות שצוינו.
- שיתוף צינור עם משתמשים או קבוצות שאתם מציינים.
- שיתוף קישור לצינור.
מגבלות
הגבלות על צינורות מכירה:
- צינורות זמינים רק במסוף Google Cloud .
- אחרי שיוצרים צינור, אי אפשר לשנות את האזור שבו הוא מאוחסן.
- אתם יכולים להעניק למשתמשים או לקבוצות גישה לצינור נתונים נבחר, אבל לא תוכלו להעניק להם גישה למשימות ספציפיות בצינור הנתונים.
- אם הפעלה מתוזמנת של צינור לא מסתיימת לפני תחילת ההפעלה המתוזמנת הבאה, ההפעלה המתוזמנת הבאה מדלגת ומסומנת בשגיאה.
הגדרת אזור ברירת המחדל לנכסי קוד
כל נכסי הקוד החדשים בפרויקט Google Cloud משתמשים באזור ברירת מחדל. אחרי שיוצרים את הנכס, אי אפשר לשנות את האזור שלו.
כדי להגדיר את אזור ברירת המחדל לנכסי קוד חדשים:
עוברים לדף BigQuery.
בחלונית הימנית, לוחצים על קבצים כדי לפתוח את דפדפן הקבצים:
לצד שם הפרויקט, לוחצים על View files panel actions (הצגת פעולות בחלונית הקבצים) > Switch code region (החלפת אזור הקוד).
בוחרים את אזור הקוד שרוצים להגדיר כברירת מחדל.
לוחצים על Save.
רשימת האזורים הנתמכים מופיעה במאמר בנושא מיקומים ב-BigQuery Studio.
כל נכסי הקוד מאוחסנים באזור ברירת המחדל לנכסי קוד. עדכון אזור ברירת המחדל משנה את האזור של כל נכסי הקוד שנוצרו אחרי העדכון.
מכסות ומגבלות
צינורות נתונים של BigQuery כפופים למכסות ומגבלות של Dataform.
תמחור
הפעלת משימות של צינורות עיבוד נתונים ב-BigQuery כרוכה בחיובים על מחשוב ואחסון ב-BigQuery. מידע נוסף על התמחור של BigQuery
הפעלת צינורות שמכילים קובצי notebook כרוכה בחיובים על זמן הריצה ב-Colab Enterprise, בהתאם לסוג ברירת המחדל של המכונה. פרטים על התמחור מופיעים במאמר תמחור של Colab Enterprise.
כל הפעלה של צינור נתונים ב-BigQuery מתועדת באמצעות Cloud Logging. רישום ביומן מופעל באופן אוטומטי להפעלות של צינורות נתונים ב-BigQuery, ויכול להיות שתצברו חיובים על Cloud Logging. מידע נוסף זמין במאמר בנושא תמחור של Cloud Logging.