מבוא לניהול עומסי עבודה
ניהול עומסי עבודה ב-BigQuery מאפשר להקצות ולנהל משאבי מחשוב שזמינים לניתוח ולעיבוד נתונים, וגם להגדיר איך יחויבו על המשאבים האלה.
מודלים לניהול עומסי עבודה
ב-BigQuery יש שני מודלים לניהול עומסי עבודה. בחיוב על פי דרישה, אתם משלמים על מספר הבייטים שעובדו כשאתם שולחים שאילתה או מעבדים את הנתונים. בחיוב לפי קיבולת, אתם מקצים קיבולת עיבוד לעומסי עבודה, עם אפשרות להגדלה אוטומטית של הקיבולת לפי הצורך.
אפשר לעבור בין מודלים של חיוב על פי דרישה לבין מודלים של חיוב על פי קיבולת בכל שלב. אפשר גם להשתמש בשילוב של שני המודלים.
בחירת מודל
כשבוחרים מודל לניהול עומסי עבודה, כדאי להתייחס לנקודות הבאות:
| על פי דרישה | קיבולת | |
|---|---|---|
| מודל שימוש | נתונים שנסרקו או עברו עיבוד על ידי השאילתות | משבצות ייעודיות או משבצות התאמה אוטומטית לעומס |
| יחידת מדידה | TiB | slot-hours |
| קיבולת מינימלית | עד 2,000 משבצות לכל פרויקט | 50 משבצות לכל הזמנה |
| קיבולת מקסימלית | עד 2,000 משבצות לכל פרויקט | אפשר להגדיר לכל הזמנה עד למכסה האזורית |
| בקרת עלויות | אפשר להגדיר מכסות ברמת הפרויקט או ברמת המשתמש (מכסה מקסימלית) | הגדרת תקציב שמוגדר לפי משבצות לכל הזמנה |
| Configuration | לא נדרשת הגדרה | יצירת שריון משבצות והקצאה לפרויקטים |
| תמיכה במהדורות | מערך תכונות קבוע | זמין ב-3 מהדורות |
| הנחות על קיבולת | תשלום לפי שימוש בלבד | התחייבויות אופציונליות למשבצות לשימוש בעומסי עבודה במצב יציב |
| יכולת חיזוי | שימוש וחיוב משתנים | חיוב צפוי באמצעות קביעת קו בסיס והתחייבויות |
| רכישה מרכזית | חיוב לפי פרויקט | הקצאה וחיוב של משבצות באופן מרכזי ולא לכל פרויקט |
| גמישות | קיבולת על פי דרישה (מינימום 10 MiB לכל שאילתה) | משבצות זמן בסיסיות או משבצות זמן שמתרחבות אוטומטית (מינימום דקה אחת) |
תעסוקה
בכל פעם שטוענים, מייצאים, מריצים שאילתה או מעתיקים נתונים, BigQuery יוצר, מתזמן ומריץ באופן אוטומטי משימה שעוקבת אחרי התקדמות הפעולה.
יכול להיות שיעבור הרבה זמן עד שהמשימות יסתיימו, לכן הן מורצות באופן אסינכרוני ואפשר לבדוק את הסטטוס שלהן. פעולות קצרות יותר, כמו הצגת רשימת משאבים או קבלת מטא-נתונים, לא מנוהלות כמשימות.
מידע נוסף על משימות זמין במאמר ניהול משימות.
מכונות מזל
יחידת קיבולת של BigQuery היא יחידת מחשוב וירטואלית שמשמשת את BigQuery להרצת שאילתות SQL או סוגים אחרים של עבודות. במהלך ההפעלה של שאילתה, BigQuery קובע באופן אוטומטי כמה משבצות זמן משמשות את השאילתה. מספר הסלוטים שנעשה בהם שימוש תלוי בכמות הנתונים שעוברים עיבוד, במורכבות של השאילתה ובמספר הסלוטים שזמינים.
למידע נוסף על משבצות ועל אופן השימוש בהן, אפשר לעיין במאמר הסבר על משבצות.
הזמנות
במודל התמחור לפי קיבולת, משבצות מוקצות במאגרים שנקראים הזמנות. הזמנות מאפשרות להקצות משבצות זמן באופן שמתאים לארגון שלכם. לדוגמה, אפשר ליצור הזמנה בשם prodלעומסי עבודה בסביבת ייצור, והזמנה נפרדת בשם test לבדיקות, כדי שעבודות בדיקה לא יתחרו על הקיבולת עם עומסי עבודה בסביבת ייצור. או ליצור הזמנות למחלקות שונות בארגון.
מידע נוסף על הזמנות זמין במאמר ניהול עומסי עבודה באמצעות הזמנות.
BI Engine
BI Engine הוא שירות ניתוח מהיר בזיכרון שמאפשר להריץ שאילתות SQL רבות ב-BigQuery במהירות גבוהה יותר, באמצעות שמירת נתונים במטמון בצורה חכמה. BI Engine יכול להאיץ שאילתות SQL מכל מקור, כולל שאילתות שנכתבו על ידי כלי ויזואליזציה של נתונים, ויכול לנהל טבלאות שנשמרו במטמון לצורך אופטימיזציה שוטפת.
הזמנות של BI Engine מוקצות ב-GiB של זיכרון ומנוהלות בנפרד מהזמנות של משבצות.
מידע נוסף על BI Engine זמין במאמר מבוא ל-BI Engine.
המאמרים הבאים
- הסבר על משבצות
- הסבר על הזמנות
- מידע נוסף על תמחור לפי דרישה
- מידע על תמחור לפי קיבולת
- הערכת העלויות ושליטה בהן
- יצירת אמצעי בקרה מותאמים אישית על עלויות