התקנת BigQuery DataFrames

‫BigQuery DataFrames היא חבילת קוד פתוח שמאפשרת לבצע משימות של ניתוח נתונים ולמידת מכונה (ML) באמצעות ממשקי API מוכרים של Python. התקנת החבילה הזו מאפשרת לכם להשתמש במנוע של BigQuery כדי להרחיב את תהליכי העבודה של pandas ו-scikit-learn, ולעבד מערכי נתונים עצומים.

התקנת BigQuery DataFrames

כדי להתקין את הגרסה העדכנית של BigQuery DataFrames, מריצים את pip install --upgrade bigframes.

ספריות זמינות

ב-BigQuery DataFrames יש שלוש ספריות:

  • ב-bigframes.pandas יש ממשק API של pandas שמאפשר לנתח נתונים ב-BigQuery ולבצע בהם שינויים. אפשר להעביר עומסי עבודה רבים מ-pandas ל-bigframes על ידי שינוי של כמה ייבואים. אפשר להרחיב את bigframes.pandas API כדי לתמוך בעיבוד של טרה-בייטים של נתונים ב-BigQuery, וה-API משתמש במנוע השאילתות של BigQuery כדי לבצע חישובים.
  • ב-bigframes.bigquery יש הרבה פונקציות SQL של BigQuery, שיכול להיות שאין להן מקבילה ב-pandas.
  • ‫bigframes.ml מספק API שדומה ל-API של scikit-learn ללמידת מכונה. יכולות ה-ML ב-BigQuery DataFrames מאפשרות לכם לעבד מראש נתונים, ואז לאמן מודלים על הנתונים האלה. אפשר גם לשרשר את הפעולות האלה כדי ליצור פייפליינים של נתונים.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לביצוע המשימות שמפורטות במאמר הזה, בקשו מהאדמין לתת לכם את התפקידים הבאים ב-IAM ברמת הפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

כשמבצעים אימות של משתמשי קצה בסביבה אינטראקטיבית כמו notebook,‏ Python REPL או שורת הפקודה, BigQuery DataFrames מבקש אימות, אם צריך. אחרת, תוכלו לקרוא איך מגדירים את Application Default Credentials בסביבות שונות.

קביעת אפשרויות ההתקנה

אחרי שמתקינים את BigQuery DataFrames, אפשר להגדיר את האפשרויות הבאות.

מיקום ופרויקט

צריך לציין את המיקום ואת הפרויקט שבהם רוצים להשתמש ב-BigQuery DataFrames.

כדי להגדיר את המיקום והפרויקט ב-notebook:

import bigframes.pandas as bpd

PROJECT_ID = "bigframes-dev"  # @param {type:"string"}
REGION = "US"  # @param {type:"string"}

# Set BigQuery DataFrames options
# Note: The project option is not required in all environments.
# On BigQuery Studio, the project ID is automatically detected.
bpd.options.bigquery.project = PROJECT_ID

# Note: The location option is not required.
# It defaults to the location of the first table or query
# passed to read_gbq(). For APIs where a location can't be
# auto-detected, the location defaults to the "US" location.
bpd.options.bigquery.location = REGION

המיקום של עיבוד הנתונים

‫BigQuery DataFrames מיועד לעבודה בקנה מידה נרחב, והוא עושה את זה על ידי שמירת הנתונים והעיבוד בשירות BigQuery. עם זאת, אפשר להעביר נתונים לזיכרון של מכונת הלקוח על ידי קריאה ל-.to_pandas() באובייקט DataFrame או Series. אם תבחרו לעשות זאת, מגבלת הזיכרון של מכונת הלקוח תחול.

המאמרים הבאים