תחילת העבודה עם הזמנות
איך יוצרים ומקצים הזמנה ב-BigQuery
הזמנות ב-BigQuery מאפשרות לכם לרכוש קיבולת עיבוד ייעודית, שנמדדת במשבצות, במקום לשלם לפי תמחור על פי דרישה לכל בייט של נתונים שעובר עיבוד. בעזרת הזמנות, העלויות צפויות יותר והביצועים של עומס העבודה לרוב עקביים יותר. הזמנות משויכות למהדורות שמספקות תמחור מותאם ועומדות בדרישות של ארגונים שונים.
כשעובדים עם הזמנות, אפשר ליצור הקצאות שמקשרותGoogle Cloud פרויקטים, תיקיות או את כל הארגון להזמנה מסוימת. כך אפשר לבודד עומסי עבודה, להבטיח משאבים למשימות קריטיות ולנהל את ההוצאות ב-BigQuery בצורה יעילה יותר.
במדריך הזה, אתם יוצרים הזמנה של מהדורת Standard עם 100 משבצות להרחבת קיבולת אוטומטית, ומקצים פרויקט להזמנה. אחר כך אפשר למחוק את השמירה כדי להימנע מעלויות.
לחצו על תראו לי איך כדי לקרוא הסבר מפורט על המשימה ישירות במסוף Google Cloud :
לפני שמתחילים
-
בדף לבחירת הפרויקט במסוף Google Cloud , בוחרים פרויקט ב- Google Cloud או יוצרים אותו.
אפשר ליצור פרויקט נפרד של Google Cloud כדי לנהל את ההזמנה, ולתת לו שם תיאורי כמותפקידים שנדרשים כדי לבחור או ליצור פרויקט
- Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
-
יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (
roles/resourcemanager.projectCreator), שכולל את ההרשאהresourcemanager.projects.create. איך מקצים תפקידים
bq-COMPANY_NAME-admin. -
מפעילים את BigQuery Reservation API.
תפקידים שנדרשים להפעלת ממשקי API
כדי להפעיל ממשקי API, נדרשת ההרשאה
serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםמידע נוסף זמין במאמר בנושא הפעלת BigQuery Reservation API.
במסוף Google Cloud , רואים את מכסות הסלוטים:
כדי לרכוש משבצות, צריך לוודא שיש לכם מספיק מכסת משבצות לאזור שבו אתם רוצים לרכוש משבצות.
אם מכסת המקומות שלכם באזור קטנה ממספר המקומות שאתם רוצים לרכוש, כדאי לעיין במאמר איך מבקשים להגדיל את המכסה.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות ליצירת הזמנה, להקצאת פרויקט להזמנה ולמחיקת ההזמנה, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM BigQuery Resource Editor (roles/bigquery.resourceEditor) בפרויקט.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
יצירת הזמנה של קבוצת מחשבים שניתנת להגדלה אוטומטית
יוצרים הזמנה בשם test באזור US ומקצים לה עד 100 משבצות של שינוי גודל אוטומטי. המשבצות עם התאמה אוטומטית לעומס (auto-scaling) מתרחבות או מצטמצמות בהתאם לדרישות עומס העבודה.
במסוף Google Cloud , עוברים לדף BigQuery.
בתפריט הניווט, לוחצים על Workload management.
לוחצים על יצירת בקשה לשמירת מקום.
בשדה Reservation name, מזינים
test.ברשימה הנפתחת מיקום, בוחרים באפשרות ארה"ב (מספר אזורים בארצות הברית).
ברשימה מהדורה, בוחרים באפשרות רגילה. מידע נוסף זמין במאמר הסבר על מהדורות BigQuery.
בשדה Max reservation size selector, בוחרים באפשרות Small (100 Slots).
משאירים את שאר הגדרות ברירת המחדל כמו שהן ולוחצים על שמירה.
במאמר יצירת הזמנה עם משבצות זמן ייעודיות מוסבר איך ליצור הזמנה באמצעות SQL או הכלי bq.
הקצאת פרויקט להזמנה
הקצאת פרויקט להזמנה test. כל עבודות השאילתות שיופעלו מהפרויקט הזה ישתמשו במאגר המשבצות מהזמנת test. (במדריך הזה לא מריצים עבודה).
אפשר להקצות כל פרויקט שנמצא באותו ארגון ואזור כמו פרויקט הניהול שבו יצרתם את ההזמנה.
במסוף Google Cloud , עוברים לדף BigQuery.
בתפריט הניווט, לוחצים על Workload management.
לוחצים על הכרטיסייה הזמנת משבצות זמן.
בעמודה פעולות של ההזמנה שנקראת
test, לוחצים על פעולות.
לוחצים על יצירת מטלה.
בקטע Select an organization, folder or project, לוחצים על Browse.
מחפשים את הפרויקט או מדפדפים כדי למצוא אותו, ואז בוחרים אותו.
לוחצים על יצירה.
כשיוצרים הקצאה של הזמנה, צריך להמתין לפחות 5 דקות לפני שמריצים שאילתה. אחרת, יכול להיות שתחויבו על השאילתה לפי תמחור על פי דרישה.
כדי ללמוד איך להקצות פרויקט להזמנה באמצעות SQL או הכלי bq, אפשר לעיין במאמר הקצאת פרויקט או תיקייה להזמנה.
הסרת המשאבים
כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:
מחיקת הפרויקט
הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך הזה.
כדי למחוק את הפרויקט:
- במסוף Google Cloud , נכנסים לדף Manage resources.
- ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
- כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.
מחיקת ההזמנה
כשמוחקים הזמנה, כל המשימות שמופעלות כרגע עם משבצות מההזמנה הזו ייכשלו. כדי למנוע שגיאות, צריך לאפשר לעבודות שמתבצעות להסתיים לפני שמוחקים את ההזמנה.
במסוף Google Cloud , עוברים לדף BigQuery.
בתפריט הניווט, לוחצים על Workload management.
לוחצים על הכרטיסייה הזמנת משבצות זמן.
לוחצים על החלפת צומת בהזמנה שנקראת
test.לכל הקצאה בהזמנה הזו, לוחצים על פעולות ואז על מחיקה.
בעמודה פעולות של ההזמנה שנקראת
test, לוחצים על פעולות.לוחצים על Delete.
כדי ללמוד איך למחוק הזמנה באמצעות SQL או הכלי bq, אפשר לעיין במאמר בנושא מחיקת הזמנה.
המאמרים הבאים
במאמר הסבר על הזמנות מוסבר איך משתמשים בהזמנות של BigQuery כדי לנהל את עומסי העבודה.
מידע נוסף על משבצות זמין במאמר הסבר על משבצות.
במאמר ניהול הקצאות של עומסי עבודה מוסבר איך משתמשים בהקצאות של BigQuery כדי לארגן את עומסי העבודה.
כאן אפשר לקרוא איך רוכשים התחייבות לשימוש במשבצות.