שימוש ב-Data Science Agent

במדריך הזה מוסבר איך להשתמש ב-Data Science Agent ב-Colab Enterprise כדי לבצע משימות של מדע הנתונים במחברות.

איך Gemini for Google Cloud ‎ משתמש בנתונים שלכם, ובאילו מקרים.

המסמך הזה מיועד למנתחי נתונים, למדעני נתונים ולמפתחי נתונים שעובדים עם Colab Enterprise. ההנחה היא שיש לכם ידע בכתיבת קוד בסביבת מחברת.

יכולות של Data Science Agent

ה-Data Science Agent יכול לעזור לכם במשימות שונות, החל מניתוח נתונים לצורך גילוי תובנות ועד ליצירת תחזיות וחיזויים של למידת מכונה. אתם יכולים להשתמש ב-Data Science Agent כדי:

  • עיבוד נתונים בהיקף נרחב: אפשר להשתמש ב-BigQuery ML, ב-BigQuery DataFrames או ב-Managed Service for Apache Spark כדי לבצע עיבוד נתונים מבוזר במערכי נתונים גדולים. כך תוכלו לנקות, לשנות ולנתח ביעילות נתונים גדולים מדי שלא נכנסים לזיכרון במחשב יחיד.
  • יצירת תוכניות: יצירה ושינוי של תוכנית להשלמת משימה מסוימת באמצעות כלים נפוצים כמו Python,‏ SQL,‏ Apache Spark ו-BigQuery DataFrames.
  • ניתוח נתונים: ניתוח מערך נתונים כדי להבין את המבנה שלו, לזהות בעיות פוטנציאליות כמו ערכים חסרים וחריגים ולבדוק את הפיזור של משתנים מרכזיים.
  • ניקוי נתונים: ניקוי הנתונים. לדוגמה, אפשר להסיר נקודות נתונים שהן חריגות.
  • ארגון נתונים: המרה של מאפיינים קטגוריים לייצוגים מספריים באמצעות טכניקות כמו קידוד one-hot או קידוד תוויות. ליצור תכונות חדשות לניתוח.
  • ניתוח נתונים: ניתוח הקשרים בין משתנים שונים. חישוב מתאמים בין תכונות מספריות ובדיקת התפלגויות של תכונות קטגוריות. מחפשים דפוסים ומגמות בנתונים.
  • המחשת נתונים: יצירת המחשות כמו היסטוגרמות, תרשימי קופסה, תרשימי פיזור ותרשימי עמודות שמייצגים את ההתפלגויות של משתנים בודדים ואת הקשרים ביניהם.
  • הנדסת תכונות: הנדסת תכונות חדשות מקבוצת נתונים שעברה ניקוי.
  • פיצול נתונים: פיצול של מערך נתונים שעבר הנדסה למערכי נתונים של אימון, אימות ובדיקה.
  • אימון מודל: אימון מודל באמצעות נתוני האימון ב-DataFrame של pandas, ב-BigQuery DataFrames, ב-PySpark DataFrame או באמצעות הצהרת CREATE MODEL של BigQuery ML עם טבלאות BigQuery.
  • אופטימיזציה של מודל: אופטימיזציה של מודל באמצעות קבוצת נתונים לתיקוף. כדאי לבדוק מודלים חלופיים כמו DecisionTreeRegressor ו-RandomForestRegressor ולהשוות את הביצועים שלהם.
  • הערכת המודל: הערכת ביצועי המודל בקבוצת נתוני בדיקה באמצעות pandas DataFrame,‏ BigQuery DataFrames או PySpark DataFrame. אפשר גם להעריך את איכות המודל ולהשוות בין מודלים באמצעות פונקציות להערכת מודלים של BigQuery ML למודלים שאומנו באמצעות BigQuery ML.
  • הסקת מסקנות לגבי מודלים: ביצוע הסקת מסקנות לגבי מודלים שאומנו ב-BigQuery ML, מודלים שיובאו ומודלים מרוחקים באמצעות פונקציות להסקת מסקנות ב-BigQuery ML. אפשר גם להשתמש בשיטה model.predict() של BigQuery DataFrames או ב-transformers של PySpark כדי ליצור תחזיות.

מגבלות

  • הסוכן Data Science Agent תומך במקורות הנתונים הבאים:
    • קובצי CSV
    • טבלאות ב-BigQuery
  • הקוד שנוצר על ידי Data Science Agent פועל רק בסביבת זמן הריצה של הנוטבוק.
  • המחברת צריכה להיות באזור שנתמך על ידי Data Science Agent. מידע על מיקומים
  • בפעם הראשונה שמריצים את Data Science Agent, יכול להיות שתהיה השהיה של כחמש עד עשר דקות. הפעולה הזו מתרחשת רק פעם אחת לכל פרויקט במהלך ההגדרה הראשונית.
  • החיפוש של טבלאות BigQuery באמצעות הפונקציה @mention מוגבל לפרויקט הנוכחי. משתמשים בבורר הטבלאות כדי לחפש בפרויקטים.
  • הפונקציה @mention מחפשת רק טבלאות ב-BigQuery. כדי לחפש קובצי נתונים שאפשר להעלות, משתמשים בסמל +.
  • ‫PySpark ב-Data Science Agent יוצר רק קוד Apache Spark 4.0. הסוכן Data Science יכול לעזור לכם לשדרג ל-Apache Spark 4.0, אבל משתמשים שזקוקים לגרסאות קודמות של Apache Spark לא צריכים להשתמש בסוכן Data Science.

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Agent Platform, Dataform, and Compute Engine APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Agent Platform, Dataform, and Compute Engine APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות לשימוש בסוכן מדע הנתונים ב-Colab Enterprise, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד משתמש ב-Colab Enterprise (roles/aiplatform.colabEnterpriseUser) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

הפניה לנתונים

כדי לאפשר ל-Data Science Agent של Colab Enterprise לגשת לנתונים שלכם ולעבוד איתם, אתם יכולים להעלות קובץ CSV או להפנות לטבלה ב-BigQuery.

קובץ CSV

  1. נכנסים לדף My notebooks של Colab Enterprise במסוף Google Cloud .

    לתיקיות שלי

  2. בתפריט Region (אזור), בוחרים את האזור שבו נמצא ה-Notebook.

  3. לוחצים על ה-Notebook שרוצים לפתוח.

  4. לוחצים על הלחצן  החלפה בין Gemini ל-Colab כדי לפתוח את תיבת הדו-שיח של הצ'אט.

  5. בתיבת הדו-שיח של הצ'אט, לוחצים על הוספת קבצים > העלאה.

  6. אם צריך, מאשרים את חשבון Google.

    ממתינים רגע עד ש-Colab Enterprise יתחיל סביבת זמן ריצה ויאפשר חיפוש של קבצים.

  7. מאתרים את הקובץ ולוחצים על פתיחה.

  8. לוחצים על אישור כדי לאשר שהקבצים בסביבת זמן הריצה הזו יימחקו כשזמן הריצה יימחק.

    הקובץ מועלה לחלונית קבצים ומופיע בחלון הצ'אט.

טבלה ב-BigQuery

  1. נכנסים לדף My notebooks של Colab Enterprise במסוף Google Cloud .

    לתיקיות שלי

  2. בתפריט Region (אזור), בוחרים את האזור שבו נמצא ה-Notebook.

  3. לוחצים על ה-Notebook שרוצים לפתוח.

  4. לוחצים על הלחצן  החלפה בין Gemini ל-Colab כדי לפתוח את תיבת הדו-שיח של הצ'אט.

  5. כדי להפנות לנתונים שלכם, אתם יכולים לבצע אחת מהפעולות הבאות:

    • בוחרים טבלה אחת או יותר באמצעות בורר הטבלאות:

      1. לוחצים על הוספה ל-Gemini > טבלאות BigQuery.
      2. בחלון BigQuery tables, בוחרים טבלה אחת או יותר בפרויקט. אפשר לחפש טבלאות בפרויקטים ולסנן אותן באמצעות סרגל החיפוש.

    • אפשר לכלול שם של טבלה ב-BigQuery ישירות בהנחיה. לדוגמה: "תעזור לי לבצע חקירה וניתוח נתונים ולקבל תובנות לגבי הנתונים בטבלה הזו: PROJECT_ID:DATASET.TABLE."

      מחליפים את מה שכתוב בשדות הבאים:

      • PROJECT_ID: מזהה הפרויקט.
      • ‫DATASET: השם של מערך הנתונים שמכיל את הטבלה שאתם מנתחים.
      • ‫TABLE: שם הטבלה שמנתחים.
    • מקלידים @ כדי לחפש טבלה ב-BigQuery בפרויקט הנוכחי.
    • בהנחיה, משתמשים בשפה טבעית כדי לתאר את הטבלה שרוצים להשתמש בה, וה-Data Science Agent מתייחס לטבלה שהכי מתאימה לתיאור.

שימוש ב-Data Science Agent

כדי להתחיל להשתמש ב-Data Science Agent של Colab Enterprise:

  1. Gemini. כדי לקבל רעיונות להנחיות, אפשר לעיין ביכולות של סוכן מדעי הנתונים ובהנחיות לדוגמה.

    לדוגמה, אפשר להזין את ההנחיה 'תבצע ניתוח של הנתונים שהעליתי'.

    אם עדיין לא נתתם הרשאה ל-Data Science Agent, תופיע תיבת דו-שיח קצרה בזמן ש-Colab Enterprise מאמת את חשבון Google שלכם ל-Data Science Agent.

  2. ‫Gemini מגיב להנחיה. התשובה יכולה לכלול קטעי קוד להרצה, עצות כלליות לגבי הפרויקט, שלבים להשגת המטרות או מידע על בעיות ספציפיות בנתונים או בקוד.

    אחרי הערכת התגובה, אפשר לבצע את הפעולות הבאות:

    • אם Gemini מספק קוד בתשובה, אפשר ללחוץ על:
      • לוחצים על אישור כדי להוסיף את הקוד ל-Notebook.
      • לוחצים על אישור והפעלה כדי להוסיף את הקוד למחברת ולהפעיל אותו.
      • ביטול כדי למחוק את הקוד המוצע.
    • אפשר לשאול שאלות המשך ולהמשיך את השיחה לפי הצורך.

  3. כדי לסגור את תיבת הדו-שיח של Gemini, לוחצים על  סגירה.

השבתה של Gemini ב-Colab Enterprise

כדי להשבית את Gemini ב-Colab Enterprise בפרויקט Google Cloud , האדמין צריך להשבית את Gemini for Google Cloud API. השבתת שירותים

כדי להשבית את Gemini ב-Colab Enterprise למשתמש ספציפי, אדמין צריך לבטל את התפקיד Gemini for Google Cloud User (roles/cloudaicompanion.user) עבור המשתמש הזה. ראו ביטול תפקיד יחיד ב-IAM.

הנחיות לדוגמה

בקטעים הבאים מוצגות דוגמאות לסוגי ההנחיות שאפשר להשתמש בהן עם Data Science Agent.

הודעות Python

קוד Python נוצר כברירת מחדל, אלא אם משתמשים במילת מפתח ספציפית בהנחיה, כמו BigQuery ML או SQL.

  • בודקים את הערכים החסרים וממלאים אותם באמצעות אלגוריתם למידת מכונה מסוג k-Nearest Neighbors ‏ (KNN).
  • יוצרים תרשים של השכר לפי רמת הניסיון. משתמשים בעמודה experience_level כדי לקבץ את המשכורות, ויוצרים תרשים קופסה לכל קבוצה שמציג את הערכים מהעמודה salary_in_usd.
  • משתמשים באלגוריתם XGBoost כדי ליצור מודל לקביעת המשתנה class של פרי מסוים. מפצלים את הנתונים למערכי נתונים לאימון ולבדיקה כדי ליצור מודל ולקבוע את רמת הדיוק שלו. יוצרים מטריצת בלבול כדי להציג את התחזיות בכל אחת מהכיתות, כולל כל התחזיות הנכונות והלא נכונות.
  • תחזית של target_variable מ-filename.csv לשישה חודשים הבאים.

הנחיות ל-SQL ול-BigQuery ML

  • ליצור מודל סיווג ולהעריך אותו ב-bigquery-public-data.ml_datasets.census_adult_income באמצעות BigQuery SQL.
  • באמצעות SQL, צור תחזית לגבי התנועה העתידית באתר שלי לחודש הבא על סמך bigquery-public-data.google_analytics_sample.ga_sessions_*. לאחר מכן, יוצרים תרשים של הערכים ההיסטוריים והתחזית.
  • קיבוץ לקוחות דומים יחד כדי ליצור קמפיינים לשוקי יעד באמצעות מודל KMeans ופונקציות SQL של BigQuery ML. שימוש בשלוש תכונות לאשכולות. לאחר מכן, יוצרים סדרה של תרשימי פיזור דו-ממדיים כדי להציג את התוצאות באופן חזותי. משתמשים בטבלה bigquery-public-data.ml_datasets.census_adult_income.
  • יוצרים הטמעות טקסט ב-BigQuery ML באמצעות תוכן הביקורות בטבלה bigquery-public-data.imdb.reviews.

רשימה של מודלים נתמכים ומשימות של למידת מכונה זמינה במאמרי העזרה של BigQuery ML.

הנחיות ל-DataFrame

  • תצור Pandas DataFrame לנתונים ב-project_id:dataset.table. מנתחים את הנתונים כדי למצוא ערכי null, ואז יוצרים תרשים של ההתפלגות של כל עמודה באמצעות סוג התרשים. כדאי להשתמש בתרשימי כינור לערכים שנמדדו ובתרשימי עמודות לקטגוריות.
  • קוראים את filename.csv ויוצרים DataFrame. מריצים ניתוח ב-DataFrame כדי לקבוע מה צריך לעשות עם הערכים. לדוגמה, האם יש ערכים חסרים שצריך להחליף או להסיר, או שורות כפולות שצריך לטפל בהן. השתמש בקובץ הנתונים כדי לקבוע את התפלגות הכסף שהושקע בדולר ארה"ב לפי מיקום העיר. יוצרים תרשים עמודות של 20 התוצאות המובילות, שבו התוצאות מוצגות בסדר יורד לפי מיקום לעומת סכום ההשקעה הממוצע (USD).
  • ליצור מודל סיווג ב-project_id:dataset.table ולהעריך אותו באמצעות BigQuery DataFrames.
  • ליצור מודל לחיזוי סדרות זמנים ב-project_id:dataset.table באמצעות BigQuery DataFrames, ולהציג את הערכות המודל.
  • צור תרשים של נתוני המכירות בשנה האחרונה בטבלת project_id:dataset.table BigQuery באמצעות BigQuery DataFrames.
  • למצוא את התכונות שיכולות לחזות בצורה הכי טובה את מיני הפינגווינים מהטבלה bigquery-public_data.ml_datasets.penguins באמצעות BigQuery DataFrames.

הנחיות ל-PySpark

  • יוצרים ומעריכים מודל סיווג ב-project_id:dataset.table באמצעות Managed Service for Apache Spark.
  • כדאי לקבץ לקוחות דומים כדי ליצור קמפיינים לטירגוט שוק, אבל קודם צריך לבצע צמצום ממדים באמצעות מודל PCA. תשתמש ב-PySpark כדי לעשות את זה בטבלה project_id:dataset.table.

אזורים נתמכים

כדי לראות את האזורים הנתמכים של Data Science Agent ב-Colab Enterprise, אפשר לעיין במאמר בנושא מיקומים.

חיוב

התמחור של Data Science Agent מבוסס על נתוני הקלט והפלט. מידע נוסף זמין במאמר בנושא תמחור סוכנים בדף התמחור של BigQuery.

VPC Service Controls

הסוכן Data Science תומך ב-VPC Service Controls. אם אתם רוצים להשתמש ב-Data Science Agent בגבולות גזרה לשירות, תוכלו לעיין במאמר בנושא שימוש ב-VPC Service Controls עם Colab Enterprise.

המאמרים הבאים