‫Notebooks וכלי ניתוח פרוגרמטיים

למרות ש-SQL היא שפת שאילתות חזקה, שפות תכנות כמו Python,‏ Java או R מספקות תחביר ופונקציות סטטיסטיות שיכולות להיות יעילות יותר למשימות של ניתוח נתונים. סביבות של Notebook הן חלופה גמישה מאוד לגיליונות אלקטרוניים, שמתאימה לניתוח נתונים מורכבים ולתהליכי עבודה של למידת מכונה (ML).

ב-BigQuery יש שילוב מובנה של Notebook, והוא תומך בכמה פתרונות אחרים לניתוח פרוגרמטי.

קובצי notebook ב-Colab Enterprise

אתם יכולים להשתמש ב-notebooks של Colab Enterprise ב-BigQuery כדי לבצע תהליכי עבודה מקצה לקצה של מדעי נתונים ו-ML בממשק משולב אחד. בניגוד לעורכי SQL רגילים, ב-Notebooks אפשר לשלב שאילתות SQL עם קוד Python, טקסט עשיר והמחשות חזותיות כדי לספר סיפור מקיף באמצעות הנתונים. ה-notebooks של Colab Enterprise מתאימים במיוחד לתרחישים הבאים:

  • תהליכי עבודה של למידת מכונה מקצה לקצה: פיתוח, הערכה ופריסה של מודלים של BigQuery ML בממשק אחד.
  • ניתוח נתונים: ניקוי וניתוח של מערכי נתונים גדולים באמצעות BigQuery DataFrames.
  • מחקר משותף: מעקב אחרי היסטוריית הגרסאות ושיתוף תיקיות Notebook עם קולגות באמצעות ניהול זהויות והרשאות גישה (IAM).

היתרונות של שימוש ב-notebooks ב-Colab Enterprise:

  • פיתוח מבוסס-AI: שימוש ב-Gemini Enterprise Agent Platform לפיתוח קוד בעזרת AI.
  • שילוב חלק עם Python: אתם יכולים להשתמש ב-BigQuery DataFrames API בלי הגדרות נוספות.
  • תכונות מוכרות של עורך: השלמה אוטומטית של SQL, בדומה לעורך SQL של BigQuery.
  • תצוגות חזותיות משולבות: אתם יכולים להשתמש בתצוגות חזותיות אינטראקטיביות של DataFrame או בספריות כמו matplotlib ו-seaborn ישירות בתהליך העבודה.
  • יכולת פעולה הדדית בין SQL ל-Python: הרצת SQL בתאים שמפנים למשתני Python.

Data Science Agent

סוכן מדע הנתונים (DSA) של Colab Enterprise מאפשר לכם להפוך את ניתוח הנתונים החקירתי לאוטומטי, לבצע משימות של למידת מכונה ולהפיק תובנות – והכול ב-notebook של Colab Enterprise. אתם יכולים להשתמש ב-DSA כדי:

  • תהליכי עבודה של למידת מכונה: הנדסת תכונות חדשות, פיצול נתונים לקבוצות נתונים לאימון, לאימות ולבדיקה, וניהול מחזור החיים המלא של אימון, אופטימיזציה, הערכה והסקת מסקנות של מודלים.
  • עיבוד נתונים בקנה מידה גדול: שימוש ב-BigQuery ML, ב-BigQuery DataFrames או ב-Managed Service for Apache Spark כדי לבצע עיבוד נתונים מבוזר במערכי נתונים גדולים.
  • יצירת תוכנית: יצירה ושינוי של תוכנית להשלמת משימה מסוימת באמצעות כלים נפוצים כמו Python,‏ SQL,‏ Managed Service for Apache Spark ו-BigQuery DataFrames.
  • חקירה, ניקוי ועיבוד של נתונים: חקירת מערך נתונים כדי להבין את המבנה שלו, לזהות בעיות פוטנציאליות כמו ערכים חסרים וחריגים, ולבחון את ההתפלגות של משתני מפתח. אפשר גם להמיר מאפיינים קטגוריים לייצוגים מספריים באמצעות טכניקות כמו קידוד One-Hot.
  • ניתוח נתונים והצגה חזותית: ניתוח הקשרים בין משתנים שונים, חישוב מתאמים ויצירת רכיבים חזותיים כמו היסטוגרמות, תרשימי קופסה, תרשימי פיזור ותרשימי עמודות.

הסבר על תאים

‫Notebook מורכב מתאים שאפשר לערוך. אפשר להשתמש בסוגי התאים הבאים ב-notebooks ב-Colab Enterprise:

  • תא טקסט: משתמשים בתא טקסט כדי להוסיף הסברים ותמונות ל-notebook ב-Markdown.

  • תא קוד: משתמשים בתא קוד כדי להוסיף Python ל-notebook. אפשר להריץ כל תא קוד בנפרד. תא קוד יכול להפנות לכל משתנה שנוצר בתא אחר שכבר הרצתם.

  • תא SQL: משתמשים בתא SQL כדי להריץ שאילתות GoogleSQL. הפלט של השאילתה נשמר באופן אוטומטי כ-DataFrame עם שם זהה לשם של התא. אפשר להריץ כמה הצהרות SQL בתא SQL אחד, אבל רק התוצאות של ההצהרה האחרונה נשמרות ב-DataFrame.

    אתם יכולים להפנות למשתני Python בביטויים או להשתמש ב-BigQuery DataFrames כטבלאות בשאילתה, על ידי הוספת שם המשתנה בסוגריים מסולסלים ({ }):

    # Refer to the Python variable my_threshold in a SQL expression.
SELECT * FROM my_dataset.my_table WHERE x > {my_threshold};

# Reference previous query results to iterate on your queries.
SELECT * FROM {df};

  • תא המחשה: משתמשים בתא המחשה כדי ליצור באופן אוטומטי המחשה של כל DataFrame ב-notebook. אתם יכולים לשנות את העמודות שמוצגות ולבחור מבין סוגים שונים של תרשימים וצבירות. אפשר גם לבחור צבעים בהתאמה אישית, תוויות נתונים וכותרות.

גלריית ה-Notebooks היא מרכז שבו אפשר למצוא תבניות מוכנות מראש של Notebooks ולהשתמש בהן. הוא כולל תבניות בסיסיות ל-SQL, ל-Python, ל-Apache Spark ול-DataFrames, שעוזרות לבצע משימות נפוצות כמו הכנת נתונים, ניתוח נתונים והצגת נתונים באופן חזותי.

ניהול ואבטחה של זמן הריצה

ב-Notebooks משתמשים בזמני ריצה של Colab Enterprise, שהם מכונות וירטואליות של Compute Engine שמוקצות למשתמש ספציפי כדי לאפשר הרצת קוד. הגישה ל-notebooks נשלטת באמצעות תפקידי IAM. כדי לזהות נקודות חולשה בחבילות Python שמשמשות ב-notebooks, אתם יכולים להתקין את Notebook Security Scanner ולהשתמש בו.

מעקב ואזורים

כל נכסי הקוד ב-BigQuery Studio מאוחסנים באזור שמוגדר כברירת מחדל. אם מעדכנים את ההגדרה הזו, האזור משתנה לכל נכסי הקוד החדשים שנוצרים. ה-notebooks של Colab Enterprise זמינים בכל האזורים שבהם BigQuery Studio זמין.

כדי לעקוב אחרי השימוש ב-Notebook, אתם יכולים לפתוח את דוח החיוב ב-Cloud ולסנן לפי התווית goog-bq-feature-type עם הערך BQ_STUDIO_NOTEBOOK.

היכולות של Notebook זמינות רק במסוף Google Cloud .

תמחור

למידע על מחירי ה-notebooks ב-Colab Enterprise, קראו את המאמר מחירי זמן הריצה של Notebook.

BigQuery DataFrames

‫BigQuery DataFrames היא קבוצה של ספריות Python בקוד פתוח שמאפשרות לכם להשתמש בממשקי API בשפת Python מוכרים כדי לעבד נתונים ב-BigQuery. ב-BigQuery DataFrames, ממשקי ה-API של pandas ו-scikit-learn מיושמים על ידי העברת העיבוד ל-BigQuery באמצעות המרה ל-SQL. העיצוב הזה מאפשר לכם להשתמש ב-BigQuery כדי לחקור ולעבד טרה-בייטים של נתונים ולאמן מודלים של ML, והכול באמצעות API בשפת Python.

אלה היתרונות של BigQuery DataFrames:

  • יותר מ-750 ממשקי API של pandas ו-scikit-learn, שמוטמעים באמצעות המרה שקופה של SQL לממשקי API של BigQuery ו-BigQuery ML.
  • השהיית הרצת השאילתות כדי לשפר את הביצועים.
  • הרחבת טרנספורמציות של נתונים באמצעות פונקציות Python בהגדרת המשתמש, כדי לאפשר לכם לעבד נתונים בענן. הפונקציות האלה נפרסות באופן אוטומטי כפונקציות מרוחקות של BigQuery.
  • שילוב עם Gemini Enterprise Agent Platform כדי לאפשר לכם להשתמש במודלים של Gemini ליצירת טקסט.

פתרונות אחרים לניתוח נתונים פרוגרמטי

בנוסף ל-Colab Enterprise ול-BigQuery DataFrames, ‏BigQuery משתלב עם כמה פתרונות פרוגרמטיים אחרים:

  • ‫Jupyter Notebooks ו-JupyterLab: אתם יכולים לקיים אינטראקציה עם BigQuery ישירות מ-Jupyter Notebooks באמצעות IPython Magics ל-BigQuery או ספריות הלקוח של BigQuery. אתם יכולים לפרוס את הסביבות ב- Google Cloud באמצעות מכונות של Vertex AI Workbench או Managed Service for Apache Spark.
  • Apache Zeppelin: ניתן לפרוס מחברות Apache Zeppelin מבוססות אינטרנט לניתוח נתונים על ידי התקנת רכיב האופציונלי של Zeppelin ב-Managed Service for Apache Spark.
  • ‫Apache Hadoop,‏ Spark ו-Hive: ‫Managed Service for Apache Spark משתלב עם מחברים בקוד פתוח ל-BigQuery. המחברים האלה משתמשים ב-BigQuery Storage API כדי להעביר נתונים בסטרימינג במקביל ישירות מ-BigQuery דרך gRPC.
  • ‫Apache Beam ו-Dataflow: ‏Apache Beam הוא framework בקוד פתוח שמספק קבוצה עשירה של פרימיטיבים לניתוח חלונות וסשנים, וגם סביבה עסקית של מחברים, כולל מחבר ל-BigQuery. ‫Dataflow הוא שירות שמנוהל במלואו ומאפשר להריץ את המשימות האלה של Apache Beam בקנה מידה רחב.

משאבים אחרים

ב-BigQuery יש כמה ספריות לקוח בשפות כמו Java,‏ Go,‏ Python,‏ JavaScript,‏ PHP ו-Ruby. מסגרות מסוימות לניתוח נתונים, כמו pandas, מספקות יישומי פלאגין לאינטראקציה ישירה עם BigQuery. למי שמעדיפים סביבות מעטפת, זמין כלי שורת הפקודה של BigQuery.