יצירת מודל למידת מכונה ב-BigQuery ML באמצעות Google Cloud המסוף

במסמך הזה מוסבר איך להשתמש במסוף כדי ליצור מודל BigQuery ML. Google Cloud

התפקידים הנדרשים

• כדי ליצור מודל ולהריץ הסקה, צריך לקבל את התפקידים הבאים:

  • עריכה של נתוני BigQuery ‏ (roles/bigquery.dataEditor)
  • משתמש BigQuery‏ (roles/bigquery.user)

לפני שמתחילים

1. בדף לבחירת הפרויקט במסוף Google Cloud , בוחרים פרויקט ב- Google Cloud או יוצרים אותו.

   תפקידים שנדרשים כדי לבחור או ליצור פרויקט

   • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
   • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים
   הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

   כניסה לדף לבחירת הפרויקט

2. מוודאים שהחיוב מופעל בפרויקט Google Cloud .

3. מפעילים את BigQuery API ואת BigQuery Connection API.

   תפקידים שנדרשים להפעלת ממשקי API

   כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

   הפעלת ממשקי ה-API

דרישות סף ספציפיות למודל

לפני שיוצרים מודל, חשוב לוודא שטיפלתם בכל הדרישות המוקדמות לסוג המודל שאתם יוצרים:

• אם רוצים להשתמש בשאילתה כדי לבחור נתוני אימון למודל, צריך לוודא שהשאילתה זמינה כשאילתה שמורה.

• כדי להשתמש במודלים של פירוק מטריצות צריך להזמין מראש מקומות. מידע נוסף זמין במאמר בנושא תמחור.

• המודלים הבאים של שלטים רחוקים דורשים קישור למשאבים ב-Cloud:

  • מודלים מרוחקים באמצעות Gemini Enterprise Agent Platform ומודלים של שותפים
  • מודלים מרוחקים לעומת מודלים פתוחים
  • מודלים מרוחקים באמצעות שירותי AI בענן
  • מודלים מרוחקים לעומת מודלים בהתאמה אישית ב-Gemini Enterprise Agent Platform

  צריך גם להקצות לחשבון השירות של החיבור תפקידים מסוימים, בהתאם לסוג המודל המרוחק.

• כדי לייבא מודל, צריך להעלות אותו לקטגוריה של Cloud Storage.

יצירת מערך נתונים

יוצרים מערך נתונים ב-BigQuery שיכיל את המשאבים:

המסוף

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, לוחצים על שם הפרויקט.

4. לוחצים על הצגת פעולות > יצירת מערך נתונים.

5. בדף Create dataset, מבצעים את הפעולות הבאות:

   1. בשדה Dataset ID (מזהה מערך נתונים), מקלידים שם למערך הנתונים.

   2. בקטע Location type, בוחרים באפשרות Region או Multi-region.

      • אם בחרתם באפשרות אזור, בוחרים מיקום מהרשימה אזור.
      • אם בחרתם באפשרות Multi-region, בוחרים באפשרות US או Europe מהרשימה Multi-region.

   3. לוחצים על יצירת מערך נתונים.

BQ

1. כדי ליצור מערך נתונים חדש, משתמשים בפקודה bq mk עם הדגל --location:

   bq --location=LOCATION mk -d DATASET_ID

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫LOCATION: המיקום של מערך הנתונים.
   • ‫DATASET_ID הוא המזהה של מערך הנתונים שאתם יוצרים.

2. בודקים שמערך הנתונים נוצר:

   bq ls

יצירת מודל שאומן באופן פנימי או חיצוני

אפשר להשתמש בהליך הזה כדי ליצור את סוגי המודלים הבאים:

• מודלים של סדרות זמנים:

  • ARIMA_PLUS
  • ARIMA_PLUS_XREG

• ניתוח הגורמים לאנומליות: ניתוח הגורמים לאנומליות

• סיווג:

  • רגרסיה לוגיסטית
  • סיווג של עץ מחוזק
  • סיווג של יער אקראי
  • סיווג של רשת עצבית עמוקה (DNN)
  • סיווג רחב ועמוק
  • סיווג AutoML

• רגרסיה:

  • רגרסיה לינארית
  • רגרסיה של עץ מחוזק
  • רגרסיה של יער אקראי
  • רגרסיה של רשת נוירונים עמוקה (DNN)
  • רגרסיה רחבה ועמוקה
  • רגרסיה של AutoML

• סוג הקיבוץ: K-means

• המלצה: פירוק מטריצה

• הורדת ממד:

  • ניתוח רכיבים עיקריים (PCA)
  • Autoencoder

לכל אחד מהמודלים האלה יש קבוצה שונה של אפשרויות, בהתאם לסוג שלו. ברוב המקרים, כוונון אוטומטי של BigQuery ML פועל בצורה טובה, אבל אפשר גם לבחור לבצע כוונון ידני של המודל כחלק מהתהליך. אם רוצים לעשות זאת, אפשר לעיין בתיעוד של סוג המודל הרלוונטי כדי לקבל מידע נוסף על אפשרויות המודל.

כדי ליצור מודל:

1. עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים שיצרתם.

4. לצד קבוצת הנתונים, לוחצים על View actions (הצגת פעולות) ואז על Create BQML Model (יצירת מודל BQML).

   נפתחת החלונית Create new model (יצירת מודל חדש).

5. בשדה שם המודל, מקלידים שם למודל.

6. אם רוצים ליצור שאילתה שמורה שמכילה את ההצהרה CREATE MODEL של המודל, בוחרים באפשרות שמירת שאילתה .

   1. בשדה Query name, מקלידים שם לשאילתה השמורה.
   2. בשדה Region, בוחרים אזור לשאילתה השמורה.

7. לוחצים על Continue.

8. בקטע שיטת יצירה, בוחרים באפשרות אימון מודל ב-BigQuery.

9. בקטע יעד המידול, בוחרים יעד מידול למודל.

10. לוחצים על Continue.

11. בדף אפשרויות המודל, בוחרים סוג מודל. סוג המודל שאפשר לבחור משתנה בהתאם ליעד המידול שבחרתם.

12. בקטע Training data (נתוני אימון), מבצעים אחת מהפעולות הבאות:

    • בוחרים באפשרות Table/View (טבלה/תצוגה) כדי לקבל נתוני אימון מטבלה או מתצוגה, ואז בוחרים את הפרויקט, מערך הנתונים ואת שם התצוגה או הטבלה.
    • בוחרים באפשרות שאילתה כדי לקבל נתוני אימון משאילתה שמורה, ואז בוחרים את השאילתה השמורה.

13. בקטע Selected input label columns (עמודות נבחרות של תוויות קלט), בוחרים את העמודות מהטבלה, מהתצוגה או מהשאילתה שרוצים להשתמש בהן כקלט למודל.

14. אם יש קטע Required options (אפשרויות חובה), מציינים את פרטי העמודה הנדרשים:

    • במודלים של סיווג ורגרסיה, בשדה INPUT_LABEL_COLS, בוחרים את העמודה שמכילה את נתוני התווית.

    • לגבי מודלים של פירוק מטריצות, בוחרים באפשרויות הבאות:

      • בעמודה RATING_COL, בוחרים את העמודה שמכילה את נתוני הדירוג.
      • בקטע USER_COL, בוחרים את העמודה שמכילה את נתוני המשתמש.
      • בעמודה ITEM_COL, בוחרים את העמודה שמכילה את נתוני הפריט.

    • למודלים של תחזיות לסדרות זמן, בוחרים באפשרויות הבאות:

      • במאפיין TIME_SERIES_TIMESTAMP_COL, בוחרים את העמודה שמכילה את נקודות הזמן שבהן יש להשתמש באימון המודל.
      • בפרמטר TIME_SERIES_DATA_COL, בוחרים את העמודה שמכילה את הנתונים לתחזית.

15. אופציונלי: בקטע Optional (אופציונלי), מציינים ערכים לארגומנטים נוספים של כוונון המודל. הארגומנטים שזמינים משתנים בהתאם לסוג המודל שאתם יוצרים.

16. אופציונלי: אם יש קטע Hyperparameter tuning, אפשר לציין את האפשרות NUM_TRIALS כדי להפעיל [hyperparameter tuning](/bigquery/docs/hyperparameter-tuning-tutorial) עבור המודל. הארגומנטים שזמינים לכוונון היפר-פרמטרים משתנים בהתאם לסוג המודל שיוצרים.

17. לוחצים על יצירת מודל.

18. אחרי שמסיימים ליצור את המודל, לוחצים על מעבר למודל כדי לראות את פרטי המודל.

יצירת מודל מרחוק על בסיס מודל שעבר אימון מראש

אפשר להשתמש בהליך הזה כדי ליצור את הסוגים הבאים של מודלים מרוחקים:

• מודלים ב-Agent Platform או מודלים של שותפים
• מודלים לעומת מודלים פתוחים

כדי ליצור מודל:

1. עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים שיצרתם.

4. לצד קבוצת הנתונים, לוחצים על View actions (הצגת פעולות) ואז על Create BQML Model (יצירת מודל BQML).

   נפתחת החלונית Create new model (יצירת מודל חדש).

5. בשדה שם המודל, מקלידים שם למודל.

6. אם רוצים ליצור שאילתה שמורה שמכילה את ההצהרה CREATE MODEL של המודל, בוחרים באפשרות שמירת שאילתה .

   1. בשדה Query name, מקלידים שם לשאילתה השמורה.
   2. בשדה Region, בוחרים אזור לשאילתה השמורה.

7. לוחצים על Continue.

8. בקטע Creation method (שיטת יצירה), בוחרים באפשרות Connect to Vertex AI LLM service and Cloud AI services (חיבור לשירות Vertex AI LLM ולשירותי Cloud AI).

9. בדף אפשרויות המודל, בוחרים באפשרות מודלים של Google ושל שותפים או באפשרות מודלים פתוחים לסוג המודל, בהתאם לתרחיש השימוש.

10. בקטע Remote connection, מבצעים אחת מהפעולות הבאות:

    • אם הגדרתם חיבור ברירת מחדל או אם יש לכם את התפקידים 'אדמין BigQuery' ו'אדמין IAM בפרויקט', בוחרים באפשרות חיבור ברירת מחדל.

    • אם לא הגדרתם חיבור ברירת מחדל או שאין לכם את התפקידים המתאימים, בוחרים באפשרות קישור למשאבים ב-Cloud.

      1. בשדה Project, בוחרים את הפרויקט שמכיל את החיבור שרוצים להשתמש בו.
      2. בקטע Location בוחרים את המיקום שבו נעשה שימוש בחיבור.

      3. בקטע חיבור, בוחרים את החיבור שרוצים להשתמש בו עבור המודל המרוחק, או בוחרים באפשרות יצירת חיבור חדש כדי ליצור חיבור חדש.

         חשוב: אם יוצרים חיבור חדש, צריך להקצות תפקידים מתאימים לחשבון השירות של החיבור לפני שממשיכים. מידע נוסף על התפקידים שצריך להעניק זמין במאמרי העזרה בנושא סוג המודל המרוחק שאתם יוצרים.

11. בקטע Required options, מבצעים אחת מהפעולות הבאות:

    • כדי להשתמש במודלים מרוחקים במקום במודלים של Google או במודלים של שותפים, צריך לציין את נקודת הקצה שבה רוצים להשתמש. זהו שם המודל, לדוגמה gemini-2.0-flash. מידע נוסף על מודלים נתמכים זמין במאמר ENDPOINT.
    • כדי להשתמש במודלים מרוחקים במקום במודלים פתוחים, מעתיקים את נקודת הקצה ומדביקים אותה. זו נקודת הקצה הציבורית המשותפת של מודל שנפרס ב-Agent Platform, בפורמט https://location-aiplatform.googleapis.com/v1/projects/project/locations/location/endpoints/endpoint_id. מידע נוסף זמין במאמר ENDPOINT.

12. לוחצים על יצירת מודל.

13. אחרי שמסיימים ליצור את המודל, לוחצים על מעבר למודל כדי לראות את פרטי המודל.

יצירת מודל מרוחק על בסיס מודל בהתאמה אישית

אפשר להשתמש בהליך הזה כדי ליצור מודלים מרוחקים על בסיס מודלים בהתאמה אישית שנפרסו ב-Gemini Enterprise Agent Platform.

כדי ליצור מודל:

1. עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים שיצרתם.

4. לצד קבוצת הנתונים, לוחצים על View actions (הצגת פעולות) ואז על Create BQML Model (יצירת מודל BQML).

   נפתחת החלונית Create new model (יצירת מודל חדש).

5. בשדה שם המודל, מקלידים שם למודל.

6. אם רוצים ליצור שאילתה שמורה שמכילה את ההצהרה CREATE MODEL של המודל, בוחרים באפשרות שמירת שאילתה .

   1. בשדה Query name, מקלידים שם לשאילתה השמורה.
   2. בשדה Region, בוחרים אזור לשאילתה השמורה.

7. לוחצים על Continue.

8. בקטע שיטת היצירה, בוחרים באפשרות חיבור לנקודות קצה של Vertex AI שמנוהלות על ידי המשתמש.

9. בקטע Remote connection בדף Model options, מבצעים אחת מהפעולות הבאות:

   • אם הגדרתם חיבור ברירת מחדל או אם יש לכם את התפקידים 'אדמין BigQuery' ו'אדמין IAM בפרויקט', בוחרים באפשרות חיבור ברירת מחדל.

   • אם לא הגדרתם חיבור ברירת מחדל או שאין לכם את התפקידים המתאימים, בוחרים באפשרות קישור למשאבים ב-Cloud.

     1. בשדה Project, בוחרים את הפרויקט שמכיל את החיבור שרוצים להשתמש בו.
     2. בקטע Location בוחרים את המיקום שבו נעשה שימוש בחיבור.

     3. בקטע חיבור, בוחרים את החיבור שרוצים להשתמש בו עבור המודל המרוחק, או בוחרים באפשרות יצירת חיבור חדש כדי ליצור חיבור חדש.

        חשוב: אם יוצרים חיבור חדש, צריך להקצות תפקידים מתאימים לחשבון השירות של החיבור לפני שממשיכים. מידע נוסף על התפקידים שצריך להעניק זמין במאמרי העזרה בנושא סוג המודל המרוחק שאתם יוצרים.

10. בקטע Required options (אפשרויות חובה), מציינים את נקודת הקצה שבה רוצים להשתמש. זוהי נקודת הקצה הציבורית המשותפת של מודל שנפרס ב-Agent Platform, בפורמט https://location-aiplatform.googleapis.com/v1/projects/project/locations/location/endpoints/endpoint_id. מידע נוסף זמין במאמר ENDPOINT.

11. לוחצים על יצירת מודל.

12. אחרי שמסיימים ליצור את המודל, לוחצים על מעבר למודל כדי לראות את פרטי המודל.

יצירת מודל מרוחק באמצעות שירות Cloud AI

אפשר להשתמש בהליך הזה כדי ליצור מודלים מרוחקים באמצעות שירותי AI ב-Cloud.

כדי ליצור מודל:

1. עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים שיצרתם.

4. לצד קבוצת הנתונים, לוחצים על View actions (הצגת פעולות) ואז על Create BQML Model (יצירת מודל BQML).

   נפתחת החלונית Create new model (יצירת מודל חדש).

5. בשדה שם המודל, מקלידים שם למודל.

6. אם רוצים ליצור שאילתה שמורה שמכילה את ההצהרה CREATE MODEL של המודל, בוחרים באפשרות שמירת שאילתה .

   1. בשדה Query name, מקלידים שם לשאילתה השמורה.
   2. בשדה Region, בוחרים אזור לשאילתה השמורה.

7. לוחצים על Continue.

8. בקטע Creation method (שיטת יצירה), בוחרים באפשרות Connect to Vertex AI LLM service and Cloud AI services (חיבור לשירות Vertex AI LLM ולשירותי Cloud AI).

9. בדף אפשרויות המודל, בוחרים באפשרות שירותי AI של Cloud.

10. בקטע Remote connection, מבצעים אחת מהפעולות הבאות:

    • אם הגדרתם חיבור ברירת מחדל או אם יש לכם את התפקידים 'אדמין BigQuery' ו'אדמין IAM בפרויקט', בוחרים באפשרות חיבור ברירת מחדל.

    • אם לא הגדרתם חיבור ברירת מחדל או שאין לכם את התפקידים המתאימים, בוחרים באפשרות קישור למשאבים ב-Cloud.

      1. בשדה Project, בוחרים את הפרויקט שמכיל את החיבור שרוצים להשתמש בו.
      2. בקטע Location בוחרים את המיקום שבו נעשה שימוש בחיבור.

      3. בקטע חיבור, בוחרים את החיבור שרוצים להשתמש בו עבור המודל המרוחק, או בוחרים באפשרות יצירת חיבור חדש כדי ליצור חיבור חדש.

         חשוב: אם יוצרים חיבור חדש, צריך להקצות תפקידים מתאימים לחשבון השירות של החיבור לפני שממשיכים. מידע נוסף על התפקידים שצריך להעניק זמין במאמרי העזרה בנושא סוג המודל המרוחק שאתם יוצרים.

11. בקטע Required options (אפשרויות חובה), בוחרים את סוג שירות ה-AI של Cloud שרוצים להשתמש בו.

12. בקטע Optional, מציינים את פרטי document processor אם משתמשים בשירות CLOUD_AI_DOCUMENT_V1. אופציונלי: אם אתם משתמשים בשירות CLOUD_AI_SPEECH_TO_TEXT_V2, אתם יכולים לציין פרטים על מזהה הדיבור.

13. לוחצים על יצירת מודל.

14. אחרי שמסיימים ליצור את המודל, לוחצים על מעבר למודל כדי לראות את פרטי המודל.

יצירת מודל מיובא

אפשר להשתמש בהליך הזה כדי ליצור מודלים של BigQuery ML על ידי ייבוא של סוגי המודלים הבאים:

• ONNX
• TensorFlow
• ‫TensorFlow Lite
• XGBoost

כדי ליצור מודל:

1. עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים שיצרתם.

4. לצד קבוצת הנתונים, לוחצים על View actions (הצגת פעולות) ואז על Create BQML Model (יצירת מודל BQML).

   נפתחת החלונית Create new model (יצירת מודל חדש).

5. בשדה שם המודל, מקלידים שם למודל.

6. אם רוצים ליצור שאילתה שמורה שמכילה את ההצהרה CREATE MODEL של המודל, בוחרים באפשרות שמירת שאילתה .

   1. בשדה Query name, מקלידים שם לשאילתה השמורה.
   2. בשדה Region, בוחרים אזור לשאילתה השמורה.

7. לוחצים על Continue.

8. בקטע שיטת יצירה, בוחרים באפשרות ייבוא מודל.

9. בדף Model options (אפשרויות המודל), בוחרים את סוג המודל שרוצים לייבא.

10. בקטע GCS path (נתיב GCS), מחפשים את ה-URI של קטגוריית Cloud Storage שמכילה את המודל או מדביקים אותו.

11. לוחצים על יצירת מודל.

12. אחרי שמסיימים ליצור את המודל, לוחצים על מעבר למודל כדי לראות את פרטי המודל.