יצירה והרצה של Notebook באמצעות גלריית ה-Notebooks

יצירה והרצה של Notebook באמצעות גלריית ה-Notebooks

כדי להתחיל לנתח נתונים, אתם יכולים להשתמש בגלריית ה-notebooks ב-BigQuery Studio.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

1. מפעילים את BigQuery API, אם הוא עדיין לא מופעל.

   התפקידים שנדרשים כדי להפעיל ממשקי API

   כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

   להפעלת ה-API

   בפרויקטים חדשים, BigQuery API מופעל באופן אוטומטי.

2. אופציונלי: מפעילים את החיוב בפרויקט. השלבים במסמך הזה יעבדו גם אם לא תפעילו את החיוב או תספקו כרטיס אשראי. ב-BigQuery יש ארגז חול שבו אפשר לבצע את השלבים. למידע נוסף, קראו את המאמר הפעלת ארגז החול של BigQuery.
   הערה: אם לפרויקט יש חשבון לחיוב ואתם רוצים להשתמש בארגז החול של BigQuery, אתם צריכים להשבית את החיוב בפרויקט.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות ליצירה ולהפעלה של Notebooks, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

• BigQuery Read Session User (roles/bigquery.readSessionUser)
• BigQuery Studio User (roles/bigquery.studioUser)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

אם אתם משתמשים חדשים ב-notebooks ב-BigQuery, קראו את ההרשאות הנדרשות ב דף Create notebooks.

גלריית ה-Notebooks

גלריית ה-Notebooks היא מרכז שבו אפשר למצוא תבניות מוכנות מראש של Notebooks ולהשתמש בהן. התבניות האלה מאפשרות לבצע משימות נפוצות כמו הכנת נתונים, ניתוח נתונים והמחשה חזותית. תבניות של Notebook גם עוזרות לכם להכיר את התכונות של BigQuery Studio, לנהל תהליכי עבודה וליישם שיטות מומלצות.

אתם יכולים להשתמש בתבניות של גלריית ה-Notebook כדי לייעל את כל תהליך העבודה, מהכוונה ועד לתובנות, בכל שלב במחזור החיים של הנתונים – מהטמעה וניתוח ועד לניתוח מתקדם ו-BigQuery ML.

בגלריית ה-Notebooks יש תבניות לכל רמת מיומנות. הגלריה כוללת תבניות בסיסיות ל-SQL, ל-Python, ל-Apache Spark ול-DataFrames. אתם יכולים גם לחקור נושאים כמו AI גנרטיבי וניתוח נתונים ממספר מקורות ב-BigQuery.

איך יוצרים תיקיות Notebook באמצעות גלריית התבניות

יצירת Notebook מתבנית בגלריית התבניות

בדוגמה הבאה נעשה שימוש בתבנית Introduction to notebooks in BigQuery Studio. ב-notebook הזה מוסבר איך לבצע את המשימות הבאות:

• שאילתות על נתונים: מריצים שאילתות באמצעות תאי SQL.
• המחשה חזותית של תוצאות השאילתה: אפשר ליצור המחשות חזותיות בלי קוד באמצעות תאי המחשה חזותית.
• ניקוי וטרנספורמציה של נתונים: מיון, ביטול כפילויות וסינון של הנתונים באמצעות ה-API של BigQuery DataFrames (pandas).
• הרצת חיזויים באמצעות AI: יוצרים חיזויים באמצעות הפונקציה (AI.FORECAST) ב-BigQuery DataFrames. הפונקציה AI.FORECAST משתמשת במודל הבסיס TimesFM כדי ליצור חיזויים ישירות מקבוצת נתונים, בלי צורך לאמן את המודל.
• שרטוט נתונים: שרטוט נתונים באמצעות ספריות הוויזואליזציה המובנות של Python. אתם משרטטים את הנתונים באמצעות ספריית הוויזואליזציה של BigQuery DataFrames, שמופעלת על ידי Matplotlib ו-Pandas.

כדי להשתמש ב-notebook, פותחים את התבנית, ממירים אותה ל-notebook שאפשר להריץ, מתחברים לסביבת זמן הריצה של ה-notebook ואז מריצים אותו.

פותחים את התבנית וממירים אותה ל-notebook שאפשר להריץ

כדי להשתמש ב-Notebook שנוצר מתבנית בגלריית ה-Notebooks, צריך להמיר את התבנית ל-Notebook שאפשר להריץ.

כדי לפתוח את התבנית Introduction to notebooks in BigQuery Studio בגלריית ה-notebooks ולהמיר אותה ל-notebook שאפשר להריץ:

1. עוברים לדף Studio.

   אל Studio

2. לוחצים על החץ בתפריט הנפתח ובוחרים באפשרות Notebook > All templates.

3. לחלופין, בדף הבית של BigQuery Studio, לוחצים על View notebook gallery.

   

4. לוחצים על הכרטיס Introduction to notebooks in BigQuery Studio או מחפשים אותו בגלריה.

5. אחרי שהתבנית נפתחת, לוחצים על Use this template כדי להמיר את התבנית ל-notebook שאפשר להריץ.

התחברות לסביבת זמן הריצה שמוגדרת כברירת מחדל

כדי להריץ את ה-notebook, צריך לחבר אותו לסביבת זמן ריצה של Gemini Enterprise Agent Platform. סביבת זמן ריצה היא משאב מחשוב שמריץ את הקוד ב-notebook. סביבת זמן הריצה צריכה להיות באותו אזור שבו נמצא ה-Notebook.

מידע נוסף על סביבות זמן ריצה מופיע במאמר סביבות זמן ריצה ותבניות של סביבות זמן ריצה. מידע נוסף על קביעת הגדרות אזוריות מופיע במאמר הגדרת אזור ברירת המחדל לנכסי קוד.

הערה: אם אתם משתמשים ב-VPC Service Controls, ודאו שהגדרתם את גישה פרטית ל-Google עם VPC Service Controls לפני ההתחברות לסביבת זמן ריצה. אחרת, השירות מחזיר את השגיאה Failed to connect to Runtime Network projects/projectid/global/networks/default' was not found.

במדריך הזה משתמשים בסביבת זמן הריצה שמוגדרת כברירת מחדל. סביבת זמן הריצה שמוגדרת כברירת מחדל היא סביבה מוגדרת מראש שדורשת הגדרה מינימלית. כדי להתחבר לסביבת זמן הריצה שמוגדרת כברירת מחדל:

1. כשה-Notebook פתוח, לוחצים על Connect (קישור).

   אם אין לכם סביבת זמן ריצה פעילה, יכול להיות שיעברו כמה דקות עד שהחיבור לסביבת זמן הריצה שמוגדרת כברירת מחדל יתבצע.

2. כשהסביבה מוכנה, אמור להופיע סימן וי עם תרשימים של זיכרון ה-RAM והדיסק. אם מעבירים את העכבר מעל התרשימים, רואים את סוג סביבת זמן הריצה ואת ההגדרות שלה.

   

הרצת ה-Notebook

מבוא ל-Notebooks ב-BigQuery Studio, כולל טקסט, SQL, המחשה חזותית ותאי קוד. אפשר להריץ תאים שאינם תאי טקסט בנפרד, או להריץ את כל התאים לפי הסדר, מהראשון ועד האחרון.

במדריך הזה, מריצים את התאים ב-notebook בנפרד כדי לראות את התוצאות בשלבים. כדי להריץ את ה-notebook:

1. בקטע Query your data using SQL cells, מעבירים את העכבר מעל תא ה-SQL ולוחצים על Run cell.

   

   תא ה-SQL הזה שולח שאילתה לטבלה bigquery-public-data.epa_historical_air_quality.pm25_frm_daily_summary במערך הנתונים הציבורי של נתוני איכות האוויר ההיסטוריים, ומחזיר את הממוצע היומי של PM2.5 (מדד נפוץ לאיכות האוויר) בסן פרנסיסקו בשנים האחרונות.

2. מעיינים בתוצאות. תוצאות השאילתה מוצגות ב-DataFrame.

   

   הערה: כדי למחוק או להעתיק את התוצאות, לוחצים על פעולות לגבי הפלט של תא הקוד.

3. בקטע Visualize data, מעבירים את העכבר מעל התא של התצוגה החזותית ולוחצים על Run cell.

4. צופים בהמחשה החזותית שנוצרה.

   

   התוצאה היא תרשים של סדרת זמנים שמציג את הערכים היומיים הממוצעים של PM2.5 ב-DataFrame‏ df שיצרתם קודם. בתרשים הזה מוצגת המגמה ברמות ה-PM2.5 לאורך זמן.

5. בקטע Clean the data, מעבירים את העכבר מעל תא הקוד ולוחצים על Run cell.

6. מעיינים בתוצאות. התוצאות מוצגות ב-DataFrame.

   

   הקוד מבצע את הפעולות הבאות:

   • מייבאים את הספרייה bigframes.pandas.
   • מוודאים שהשדה date_local הוא חותמת זמן.
   • ממיינים את התוצאות לפי תאריך, שנדרש לצורך חיזוי.
   • תסיר שורות כפולות.
   • הסרת שורות שבהן הערך של avg_pm25 הוא null.
   • סינון חריגים.
   • הצג את התוצאות ב-BigQuery DataFrames בשם df_cleaned.

7. בקטע Predict values using AI.FORECAST, מעבירים את העכבר מעל התא של SQL ולוחצים על Run cell.

8. מעיינים בתוצאות. תוצאות השאילתה מוצגות ב-DataFrame.

   

   תא ה-SQL הזה מריץ שאילתה שמשתמשת בפונקציה AI.FORECAST כדי לחזות את הממוצע היומי העתידי של PM2.5 באמצעות ה-DataFrame‏ df_cleaned שיצרתם קודם.

9. בקטע Visualize data using Python, מעבירים את העכבר מעל תא הקוד ולוחצים על Run cell.

10. מעיינים בתוצאות. התוצאות מוצגות בתרשים.

    

    קוד Python מבצע את הפעולות הבאות:

    • מייבאים את המודול datetime.
    • קודם משרטטים את הנתונים ההיסטוריים ומקבלים את הצירים.
    • משרטטים את הנתונים החזויים על אותם צירים.
    • משרטטים את הרווח בר-הסמך.

    התצוגה החזותית הזו דומה לתרשים רגיל ב-Python, אבל df_cleaned.plot היא פקודה של BigQuery DataFrames. הפקודה מאחזרת רק את הנתונים שנדרשים (דגימה) כדי להציג את התרשים, ולא את כל מערך הנתונים.

הסרת המשאבים

כדי לא לצבור חיובים בחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, מבצעים את הפעולות הבאות.

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המשימות במדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר בכמה ארכיטקטורות, מדריכים או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

1. במסוף Google Cloud , נכנסים לדף Manage resources.

   כניסה לדף Manage resources

2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

לחלופין, כדי לשמור את הפרויקט ולמחוק את המשאבים שבהם השתמשתם במדריך, מבצעים את הפעולות הבאות:

1. עוברים לדף Studio.

   אל Studio

2. בחלונית הימנית, מרחיבים את הפרויקט ולוחצים על Notebooks.

3. בתיקיית ה-Notebook שרוצים למחוק, לוחצים על פתיחת הפעולות > מחיקה.

4. בתיבת הדו-שיח Delete notebook, לוחצים על Delete כדי לאשר.

המאמרים הבאים

כדי להריץ תבניות אחרות של Notebook לדוגמה בגלריית ה-Notebooks, קראו את המאמרים הבאים:

• תחילת העבודה עם Notebooks למשתמשי SQL
• איך מתחילים להשתמש ב-Notebooks למשתמשי Python

מידע נוסף על DataFrames זמין במאמרים הבאים:

• מבוא ל-BigQuery DataFrames
• מאמרי העזרה של BigQuery DataFrames API

בסקירת AI תוכלו לקרוא מידע נוסף על פונקציות של AI גנרטיבי ו-ML ב-BigQuery.