יצירה והרצה של מחברת באמצעות גלריית המחברות

יצירה והרצה של מחברת באמצעות גלריית המחברות

כדי להתחיל לנתח נתונים, אפשר להשתמש בגלריית המחברות ב-BigQuery Studio.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

1. מפעילים את BigQuery API.

   תפקידים שנדרשים להפעלת ממשקי API

   כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק 'שימוש בשירות'' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

   להפעלת ה-API

   בפרויקטים חדשים, BigQuery API מופעל באופן אוטומטי.

2. אופציונלי: מפעילים את החיוב בפרויקט. גם אם אתם לא רוצים להפעיל חיוב או לספק כרטיס אשראי, השלבים שבמסמך הזה עדיין רלוונטיים. ‫BigQuery מספק לכם ארגז חול לביצוע השלבים. מידע נוסף זמין במאמר בנושא הפעלת ארגז החול של BigQuery.
   הערה: אם לפרויקט שלכם יש חשבון לחיוב ואתם רוצים להשתמש ב-Sandbox של BigQuery, אתם צריכים להשבית את החיוב בפרויקט.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות ליצירת מחברות הפעלה, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

• BigQuery Read Session User (roles/bigquery.readSessionUser)
• BigQuery Studio User (roles/bigquery.studioUser)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

אם אתם חדשים בשימוש במחברות ב-BigQuery, תוכלו לעיין בהרשאות הנדרשות בדף 'יצירת מחברות'.

גלריית מחברות

גלריית המחברות היא מרכז שבו אפשר למצוא ולהשתמש בתבניות מוכנות מראש של מחברות. התבניות האלה מאפשרות לכם לבצע משימות נפוצות כמו הכנת נתונים, ניתוח נתונים והמחשה שלהם. תבניות של מחברות גם עוזרות לכם להכיר את התכונות של BigQuery Studio, לנהל תהליכי עבודה וליישם שיטות מומלצות.

אתם יכולים להשתמש בתבניות של גלריית מחברות כדי לייעל את כל תהליך העבודה שלכם, מהכוונה להפקת תובנות בכל שלב במחזור החיים של הנתונים – החל מהטמעה וניתוח ועד לניתוח מתקדם ול-BigQuery ML.

גלריית המחברות מספקת תבניות לכל רמת מיומנות. הגלריה כוללת תבניות בסיסיות ל-SQL,‏ Python,‏ Apache Spark ו-DataFrames. אפשר גם לעיין בנושאים כמו AI גנרטיבי וניתוח נתונים מרובי-אופנים ב-BigQuery.

מידע נוסף על שימוש בתבניות מגלריית הנוטבוקים זמין במאמר יצירת נוטבוק באמצעות גלריית הנוטבוקים.

יצירת מחברת מתבנית בגלריית המחברות

בדוגמה הבאה נעשה שימוש בתבנית Introduction to notebooks in BigQuery Studio (מבוא ל-Notebooks ב-BigQuery Studio). במחברת הזו מוסבר איך לבצע את המשימות הבאות:

• שאילתת נתונים: הרצת שאילתות באמצעות תאי SQL.
• המחשה של תוצאות השאילתה: אפשר ליצור המחשות בלי קוד באמצעות תאים של המחשות.
• ניקוי נתונים ושינוי שלהם: מיון, הסרת כפילויות וסינון של הנתונים באמצעות BigQuery DataFrames API‏ (pandas).
• הפעלת חיזויים מבוססי-AI: יצירת חיזויים באמצעות (הפונקציה AI.FORECAST) ב-BigQuery DataFrames. הפונקציה AI.FORECAST משתמשת במודל בסיסי של TimesFM כדי ליצור תחזיות ישירות ממערך נתונים, בלי שנדרש אימון של המודל.
• שרטוט נתונים: שרטוט נתונים באמצעות ספריות ההדמיה המובנות של Python. משרטטים את הנתונים באמצעות ספריית הוויזואליזציה BigQuery DataFrames, שמבוססת על Matplotlib ו-Pandas.

כדי להשתמש במחברת, פותחים את התבנית, ממירים אותה למחברת שאפשר להריץ, מתחברים לסביבת זמן הריצה של המחברת ומריצים את המחברת.

פותחים את התבנית וממירים אותה לנוטבוק שאפשר להריץ

כדי להשתמש במחברת שנוצרה מתבנית של גלריית מחברות, צריך להמיר את התבנית למחברת שאפשר להריץ.

כדי לפתוח את התבנית Introduction to notebooks in BigQuery Studio בגלריית ה-Notebook ולהמיר אותה ל-Notebook שאפשר להריץ, פועלים לפי השלבים הבאים:

1. עוברים לדף Studio.

   אל Studio

2. לוחצים על החץ בתפריט הנפתח ובוחרים באפשרות Notebook > All templates (מחברת > כל התבניות).

3. לחלופין, בדף הבית של BigQuery Studio, לוחצים על View notebook gallery (הצגת גלריית מחברות).

   

4. לוחצים על הכרטיס Introduction to notebooks in BigQuery Studio (מבוא למחברות ב-BigQuery Studio) או מחפשים אותו בגלריה.

5. אחרי שהתבנית נפתחת, לוחצים על Use this template (שימוש בתבנית הזו) כדי להמיר את התבנית למחברת שאפשר להריץ.

התחברות לסביבת זמן הריצה שמוגדרת כברירת מחדל

כדי להריץ את המחברת, צריך לחבר אותה לזמן ריצה של פלטפורמת Gemini Enterprise Agent. סביבת זמן ריצה היא משאב מחשוב שמריץ את הקוד בנוטבוק. סביבת זמן הריצה צריכה להיות באותו אזור שבו נמצא המחברת.

מידע נוסף על סביבות זמן ריצה זמין במאמר סביבות זמן ריצה ותבניות של סביבות זמן ריצה. מידע נוסף על הגדרת הגדרות אזוריות זמין במאמר הגדרת אזור ברירת המחדל לנכסי קוד.

הערה: אם אתם משתמשים ב-VPC Service Controls, חשוב לוודא שהגדרתם גישה פרטית ל-Google באמצעות VPC Service Controls לפני שמתחברים לסביבת זמן ריצה. אחרת, השירות מחזיר את השגיאה Failed to connect to Runtime Network projects/projectid/global/networks/default' was not found.

.

במדריך הזה משתמשים בסביבת זמן הריצה שמוגדרת כברירת מחדל. זמן הריצה שמוגדר כברירת מחדל הוא זמן ריצה מוגדר מראש שלא דורש הגדרה מורכבת. כדי להתחבר לסביבת זמן הריצה שמוגדרת כברירת מחדל:

1. פותחים את ה-notebook ולוחצים על Connect (קישור).

   אם אין לכם סביבת ריצה פעילה, יכול להיות שיחלפו כמה דקות עד שתתבצע התחברות לסביבת הריצה שמוגדרת כברירת מחדל.

2. כשהסביבה מוכנה, אמור להופיע סימן וי עם תרשימים של זיכרון ה-RAM והדיסק. אם מעבירים את העכבר מעל הגרפים, אפשר לראות את סוג זמן הריצה ואת ההגדרה של זמן הריצה.

   

הפעלת ה-Notebook

מבוא ל-Notebooks ב-BigQuery Studio מכיל טקסט, SQL, המחשה חזותית ותאי קוד. אפשר להריץ תאים שהם לא תאי טקסט בנפרד, או להריץ את כל התאים לפי הסדר מהראשון ועד האחרון.

במדריך הזה, מריצים את התאים בנוטבוק בנפרד כדי לראות את התוצאות בשלבים. כדי להריץ את ה-Notebook:

1. בקטע Query your data using SQL cells (שאילתת הנתונים באמצעות תאי SQL), מעבירים את העכבר מעל תא ה-SQL ולוחצים על Run cell (הפעלת התא).

   

   תא ה-SQL הזה שולח שאילתה לטבלה bigquery-public-data.epa_historical_air_quality.pm25_frm_daily_summary במערך הנתונים הציבורי של נתוני איכות האוויר היסטוריים ומחזיר את הממוצע היומי של PM2.5 (מדד נפוץ לאיכות האוויר) בסן פרנסיסקו במהלך השנים האחרונות.

2. מעיינים בתוצאות. תוצאות השאילתה מוצגות ב-DataFrame.

   

   הערה: כדי לנקות או להעתיק את התוצאות, לוחצים על פעולות לגבי הפלט של תא הקוד.

3. בקטע Visualize data, מעבירים את העכבר מעל תא הוויזואליזציה ולוחצים על Run cell.

4. צופים בתצוגה החזותית שנוצרה.

   

   התוצאה היא תרשים של סדרת זמנים שבו מוצגים הערכים היומיים הממוצעים של PM2.5 ב-DataFrame‏ df שיצרתם קודם. בתרשים הזה מוצגות מגמות ברמות PM2.5 לאורך זמן.

5. בקטע Clean the data (ניקוי הנתונים), מעבירים את העכבר מעל תא הקוד ולוחצים על Run cell (הפעלת התא).

6. מעיינים בתוצאות. התוצאות מוצגות ב-DataFrame.

   

   הקוד מבצע את הפעולות הבאות:

   • מייבאים את הספרייה bigframes.pandas.
   • מוודאים שהשדה date_local הוא חותמת זמן.
   • ממיינים את התוצאות לפי תאריך, שזה נדרש לצורך תחזית.
   • הסרת שורות כפולות.
   • השמטת שורות שבהן avg_pm25 הוא null.
   • סינון חריגים.
   • התוצאות מוצגות ב-BigQuery DataFrames בשם df_cleaned.

7. בקטע Predict values using AI.FORECAST (חיזוי ערכים באמצעות AI.FORECAST), מעבירים את העכבר מעל תא ה-SQL ולוחצים על Run cell (הפעלת התא).

8. מעיינים בתוצאות. תוצאות השאילתה מוצגות ב-DataFrame.

   

   בתא ה-SQL הזה מורצת שאילתה שמשתמשת בפונקציה AI.FORECAST כדי לחזות את הממוצע היומי העתידי של PM2.5 באמצעות ה-DataFrame‏ df_cleaned שיצרתם קודם.

9. בקטע הדמיית נתונים באמצעות Python, מעבירים את העכבר מעל תא הקוד ולוחצים על הפעלת התא.

10. מעיינים בתוצאות. התוצאות מוצגות בתרשים.

    

    קוד ה-Python מבצע את הפעולות הבאות:

    • מייבאים את המודול datetime.
    • קודם מציירים את הנתונים ההיסטוריים ומקבלים את הצירים.
    • משרטטים את הנתונים החזויים באותם צירים.
    • שרטוט הרווח בר-סמך.

    הוויזואליזציה הזו דומה לשרטוט רגיל ב-Python, אבל df_cleaned.plot היא פקודה של BigQuery DataFrames. הפקודה מאחזרת רק את הנתונים שנדרשים (מדגם) לעיבוד התרשים, ולא את כל קבוצת הנתונים.

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המשימות במדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר בכמה ארכיטקטורות, מדריכים או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

1. במסוף Google Cloud , נכנסים לדף Manage resources.

   כניסה לדף Manage resources

2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

לחלופין, כדי לשמור את הפרויקט ולמחוק את המשאבים שבהם השתמשתם במדריך הזה, פועלים לפי השלבים הבאים:

1. עוברים לדף Studio.

   אל Studio

2. בחלונית הימנית, מרחיבים את הפרויקט ואז לוחצים על מחברות.

3. במחברת שרוצים למחוק, לוחצים על סמל האפשרויות הנוספות > מחיקה.

4. בתיבת הדו-שיח מחיקת מחברת, לוחצים על מחיקה כדי לאשר.

המאמרים הבאים

כדי להריץ תבניות אחרות של מחברות לדוגמה בגלריית המחברות, אפשר לעיין במאמרים הבאים:

• תחילת העבודה עם מחברות למשתמשי SQL
• תחילת העבודה עם מחברות למשתמשי Python

מידע נוסף על DataFrames

• מבוא ל-BigQuery DataFrames
• BigQuery DataFrames API reference

מידע נוסף על פונקציות של AI גנרטיבי ו-ML ב-BigQuery זמין במאמר סקירה כללית על AI גנרטיבי.