מבוא ל-Notebooks
במאמר הזה מוסבר על מחברות Colab Enterprise ב-BigQuery. אתם יכולים להשתמש במחברות כדי להשלים תהליכי עבודה של ניתוח ולמידת מכונה (ML) באמצעות SQL, Python וחבילות ו-API נפוצים אחרים. תיקיות Notebook מציעות שיתוף פעולה וניהול משופרים עם האפשרויות הבאות:
- משתפים מחברות עם משתמשים וקבוצות ספציפיים באמצעות ניהול זהויות והרשאות גישה (IAM).
- בודקים את היסטוריית הגרסאות של ה-Notebook.
- חזרה לגרסאות קודמות של המחברת או יצירת ענף מהן.
מחברות הן נכסי קוד של BigQuery Studio שמופעלים על ידי Dataform. שאילתות שמורות הן גם נכסי קוד. כל נכסי הקוד מאוחסנים באזור שמוגדר כברירת מחדל. עדכון אזור ברירת המחדל משנה את האזור של כל נכסי הקוד שנוצרו אחרי העדכון.
היכולות של מחברת זמינות רק במסוף Google Cloud .
יתרונות
המחברות ב-BigQuery מציעות את היתרונות הבאים:
- BigQuery DataFrames משולב במחברות, ולא נדרשת הגדרה. BigQuery DataFrames הוא API בשפת Python שמאפשר לכם לנתח נתונים ב-BigQuery בהיקף גדול באמצעות ממשקי ה-API של pandas DataFrame ושל scikit-learn.
- פיתוח קוד בעזרת AI גנרטיבי של Gemini.
- השלמה אוטומטית של הצהרות SQL, כמו בעורך של BigQuery.
- היכולת לשמור, לשתף ולנהל גרסאות של מחברות.
- היכולת להשתמש ב-matplotlib, seaborn ובספריות פופולריות אחרות כדי להמחיש נתונים בכל שלב בתהליך העבודה.
- היכולת לכתוב ולהריץ SQL בתא שיכול להפנות למשתני Python מתוך ה-notebook.
- תצוגה חזותית אינטראקטיבית של DataFrame עם תמיכה בצבירה ובהתאמה אישית.
גלריית מחברות
גלריית המחברות היא מרכז שבו אפשר למצוא ולהשתמש בתבניות מוכנות מראש של מחברות. התבניות האלה מאפשרות לכם לבצע משימות נפוצות כמו הכנת נתונים, ניתוח נתונים והמחשת נתונים. תבניות של מחברות גם עוזרות לכם להכיר את התכונות של BigQuery Studio, לנהל תהליכי עבודה וליישם שיטות מומלצות.
אתם יכולים להשתמש בתבניות של גלריית מחברות כדי לייעל את כל תהליך העבודה שלכם, מהכוונה להפקת תובנות בכל שלב במחזור החיים של הנתונים – החל מהטמעה וניתוח ועד לניתוח מתקדם ול-BigQuery ML.
גלריית המחברות מספקת תבניות לכל רמות המיומנות. הגלריה כוללת תבניות בסיסיות ל-SQL, Python, Apache Spark ו-DataFrames. אפשר גם לעיין בנושאים כמו AI גנרטיבי וניתוח נתונים מרובי-אופנים ב-BigQuery.
כדי להתחיל לעבוד עם גלריית המחברות, פועלים לפי השלבים הבאים:
עוברים לדף BigQuery.
בדף הבית של BigQuery Studio, לוחצים על View notebook gallery (הצגת גלריית מחברות).
מידע נוסף על שימוש בתבניות מגלריית המחברות זמין במאמר יצירת מחברת באמצעות גלריית המחברות.
ניהול זמן ריצה
BigQuery משתמש בזמני ריצה של Colab Enterprise כדי להריץ מחברות.
זמן ריצה של מחברת הוא מכונה וירטואלית ב-Compute Engine שמוקצית למשתמש מסוים כדי לאפשר הרצת קוד במחברת. כמה מחברות יכולות לחלוק את אותו זמן ריצה. עם זאת, כל זמן ריצה שייך רק למשתמש אחד ואי אפשר להשתמש בו על ידי אחרים. סביבות זמן ריצה של מחברות נוצרות על סמך תבנית, שבדרך כלל מוגדרת על ידי משתמשים עם הרשאות אדמין. אפשר לעבור לזמן ריצה שמשתמש בסוג אחר של תבנית בכל שלב.
אבטחת ה-Notebook
אתם יכולים לשלוט בגישה למחברות באמצעות תפקידים בניהול זהויות והרשאות גישה (IAM). מידע נוסף זמין במאמר בנושא מתן גישה למחברות.
כדי לזהות נקודות חולשה בחבילות Python שבהן אתם משתמשים ב-notebooks, אתם יכולים להתקין ולהשתמש ב-Notebook Security Scanner (גרסת Preview).
אזורים נתמכים
ב-BigQuery Studio אפשר לשמור מחברות, לשתף אותן ולנהל את הגרסאות שלהן. בטבלה הבאה מפורטים האזורים שבהם BigQuery Studio זמין:
| תיאור האזור | שם האזור | פרטים | |
|---|---|---|---|
| אפריקה | |||
| יוהנסבורג | africa-south1 |
||
| אמריקה | |||
| קולומבוס | us-east5 |
||
| דאלאס | us-south1 |
 רמה נמוכה של CO2
|
|
| אייווה | us-central1 |
רמה נמוכה של CO2
|
|
| לאס וגאס | us-west4 |
||
| לוס אנג'לס | us-west2 |
||
| מקסיקו | northamerica-south1 |
||
| מונטריאול | northamerica-northeast1 |
רמה נמוכה של CO2
|
|
| צפון וירג'יניה | us-east4 |
||
| אוקלהומה | us-central2 |
רמה נמוכה של CO2
|
|
| אורגון | us-west1 |
רמה נמוכה של CO2 |
|
| סולט לייק סיטי | us-west3 |
||
| סנטיאגו | southamerica-west1 |
רמה נמוכה של CO2
|
|
| סאו פאולו | southamerica-east1 |
רמה נמוכה של CO2
|
|
| דרום קרוליינה | us-east1 |
||
| טורונטו | northamerica-northeast2 |
רמה נמוכה של CO2
|
|
| אסיה והאוקיינוס השקט | |||
| בנגקוק | asia-southeast3 |
||
| דלהי | asia-south2 |
||
| הונג קונג | asia-east2 |
||
| ג'קארטה | asia-southeast2 |
||
| מלבורן | australia-southeast2 |
||
| מומבאי | asia-south1 |
||
| אוסקה | asia-northeast2 |
||
| סיאול | asia-northeast3 |
||
| סינגפור | asia-southeast1 |
||
| סידני | australia-southeast1 |
||
| טייוואן | asia-east1 |
||
| טוקיו | asia-northeast1 |
||
| אירופה | |||
| בלגיה | europe-west1 |
רמה נמוכה של CO2
|
|
| ברלין | europe-west10 |
||
| פינלנד | europe-north1 |
רמה נמוכה של CO2
|
|
| פרנקפורט | europe-west3 |
||
| לונדון | europe-west2 |
רמה נמוכה של CO2
|
|
| מדריד | europe-southwest1 |
רמה נמוכה של CO2
|
|
| מילאנו | europe-west8 |
||
| הולנד | europe-west4 |
רמה נמוכה של CO2
|
|
| פריז | europe-west9 |
רמה נמוכה של CO2
|
|
| שטוקהולם | europe-north2 |
רמה נמוכה של CO2
|
|
| טורינו | europe-west12 |
||
| ורשה | europe-central2 |
||
| ציריך | europe-west6 |
רמה נמוכה של CO2
|
|
| המזרח התיכון | |||
| דמאם | me-central2 |
||
| דוחה | me-central1 |
||
| תל אביב | me-west1 |
||
תמחור
מידע על התמחור של מחברות BigQuery Studio זמין במאמר תמחור של זמן ריצה של מחברות.
מעקב אחר השימוש ביחידות קיבולת (Slot)
כדי לעקוב אחרי השימוש במשבצות ב-BigQuery Studio Notebook, אפשר לעיין בדוח החיוב ב-Cloud במסוף Google Cloud . בדוח החיוב ב-Cloud, מפעילים מסנן עם התווית goog-bq-feature-type והערך BQ_STUDIO_NOTEBOOK כדי לראות את השימוש במשבצות ואת העלויות מתוך מחברת BigQuery Studio.
פתרון בעיות
מידע נוסף זמין במאמר בנושא פתרון בעיות ב-Colab Enterprise.