יצירת מודל למידת מכונה ב-BigQuery ML באמצעות Google Cloud המסוף

במסמך הזה מוסבר איך להשתמש במסוף Google Cloud כדי ליצור מודל של BigQuery ML.

התפקידים הנדרשים

• כדי ליצור מודל ולהריץ הסקה, צריך לקבל את התפקידים הבאים:

  • עריכה של נתוני BigQuery‏ (roles/bigquery.dataEditor)
  • משתמש BigQuery‏ (roles/bigquery.user)

לפני שמתחילים

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the BigQuery and BigQuery Connection APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

דרישות סף ספציפיות למודל

לפני שיוצרים מודל, חשוב לוודא שטיפלתם בכל הדרישות המוקדמות לסוג המודל שאתם יוצרים:

• אם רוצים להשתמש בשאילתה כדי לבחור נתוני אימון למודל, צריך לוודא שהשאילתה זמינה כשאילתה שמורה.

• כדי להשתמש במודלים של פירוק מטריצות צריך להזמין מקומות. מידע נוסף מפורט במאמר בנושא תמחור.

• המודלים הבאים של שלטים רחוקים דורשים חיבור למשאב ב-Cloud:

  • מודלים מרוחקים דרך Vertex AI ומודלים של שותפים
  • מודלים מרוחקים לעומת מודלים פתוחים
  • מודלים מרוחקים באמצעות שירותי AI בענן
  • מודלים מרוחקים לעומת מודלים בהתאמה אישית ב-Vertex AI

  צריך גם להקצות לחשבון השירות של החיבור תפקידים מסוימים, בהתאם לסוג המודל המרוחק.

• כדי לייבא מודל, צריך להעלות אותו לקטגוריה של Cloud Storage.

יצירת מערך נתונים

יוצרים מערך נתונים ב-BigQuery שיכיל את המשאבים:

המסוף

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, לוחצים על שם הפרויקט.

4. לוחצים על הצגת פעולות > יצירת מערך נתונים.

5. בדף Create dataset, מבצעים את הפעולות הבאות:

   1. בשדה Dataset ID, מקלידים שם למערך הנתונים.

   2. בשדה Location type, בוחרים באפשרות Region או Multi-region.

      • אם בחרתם באפשרות אזור, בוחרים מיקום מהרשימה אזור.
      • אם בחרתם באפשרות Multi-region, בוחרים באפשרות US או Europe מהרשימה Multi-region.

   3. לוחצים על יצירת מערך נתונים.

BQ

1. כדי ליצור מערך נתונים חדש, משתמשים בפקודה bq mk עם הדגל --location:

   bq --location=LOCATION mk -d DATASET_ID

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫LOCATION: המיקום של מערך הנתונים.
   • ‫DATASET_ID הוא המזהה של מערך הנתונים שאתם יוצרים.

2. בודקים שמערך הנתונים נוצר:

   bq ls

יצירת מודל שאומן באופן פנימי או חיצוני

אפשר להשתמש בהליך הזה כדי ליצור את סוגי המודלים הבאים:

• מודלים של סדרות זמנים:

  • ARIMA_PLUS
  • ARIMA_PLUS_XREG

• ניתוח הגורמים לאנומליות: ניתוח הגורמים לאנומליות

• סיווג:

  • רגרסיה לוגיסטית
  • סיווג של עץ מחוזק
  • סיווג של יער אקראי
  • סיווג של רשת עצבית עמוקה (DNN)
  • סיווג רחב ועמוק
  • סיווג AutoML

• רגרסיה:

  • רגרסיה לינארית
  • רגרסיה של עץ מחוזק
  • רגרסיה של יער אקראי
  • רגרסיה של רשת נוירונים עמוקה (DNN)
  • רגרסיה רחבה ועמוקה
  • AutoML regression

• סוג הקיבוץ: K-means

• המלצה: פירוק מטריצה

• הורדת ממד:

  • ניתוח רכיבים עיקריים (PCA)
  • Autoencoder

למודלים האלה יש קבוצות שונות של אפשרויות, בהתאם לסוג שלהם. ברוב המקרים, הכוונון האוטומטי של BigQuery ML פועל בצורה טובה, אבל אתם יכולים לבחור לבצע כוונון ידני של המודל כחלק מהתהליך. אם רוצים לעשות זאת, אפשר לעיין בתיעוד של סוג המודל הרלוונטי כדי לקבל מידע נוסף על אפשרויות המודל.

כדי ליצור מודל:

1. עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים שיצרתם.

4. לצד קבוצת הנתונים, לוחצים על View actions ואז על Create BQML Model.

   החלונית Create new model (יצירת מודל חדש) נפתחת.

5. בשדה שם המודל, מקלידים שם למודל.

6. אם רוצים ליצור שאילתה שמורה שמכילה את ההצהרה CREATE MODEL של המודל, בוחרים באפשרות שמירת שאילתה .

   1. בשדה Query name, מקלידים שם לשאילתה השמורה.
   2. בשדה Region, בוחרים אזור לשאילתה השמורה.

7. לוחצים על Continue.

8. בקטע שיטת יצירה, בוחרים באפשרות אימון מודל ב-BigQuery.

9. בקטע Modeling objective (יעד המידול), בוחרים יעד מידול למודל.

10. לוחצים על Continue.

11. בדף אפשרויות המודל, בוחרים סוג מודל. סוג המודל שאפשר לבחור משתנה בהתאם ליעד המידול שבחרתם.

12. בקטע Training data (נתוני אימון), מבצעים אחת מהפעולות הבאות:

    • בוחרים באפשרות Table/View (טבלה/תצוגה) כדי לקבל נתוני אימון מטבלה או מתצוגה, ואז בוחרים את הפרויקט, מערך הנתונים ואת שם התצוגה או הטבלה.
    • בוחרים באפשרות שאילתה כדי לקבל נתוני אימון משאילתה שמורה, ואז בוחרים את השאילתה השמורה.

13. בקטע Selected input label columns (עמודות נבחרות של תוויות קלט), בוחרים את העמודות מהטבלה, מהתצוגה או מהשאילתה שרוצים להשתמש בהן כקלט למודל.

14. אם יש קטע Required options (אפשרויות חובה), מציינים את פרטי העמודה הנדרשים:

    • במודלים של סיווג ורגרסיה, בשדה INPUT_LABEL_COLS, בוחרים את העמודה שמכילה את נתוני התווית.

    • לגבי מודלים של פירוק מטריצות, בוחרים באפשרויות הבאות:

      • בעמודה RATING_COL, בוחרים את העמודה שמכילה את נתוני הדירוג.
      • בקטע USER_COL, בוחרים את העמודה שמכילה את נתוני המשתמש.
      • בעמודה ITEM_COL, בוחרים את העמודה שמכילה את נתוני הפריט.

    • למודלים של תחזיות לסדרות זמן, בוחרים באפשרויות הבאות:

      • במאפיין TIME_SERIES_TIMESTAMP_COL, בוחרים את העמודה שמכילה את נקודות הזמן שבהן יש להשתמש באימון המודל.
      • בפרמטר TIME_SERIES_DATA_COL, בוחרים את העמודה שמכילה את הנתונים לתחזית.

15. אופציונלי: בקטע Optional (אופציונלי), מציינים ערכים לארגומנטים נוספים של כוונון המודל. הארגומנטים שזמינים משתנים בהתאם לסוג המודל שאתם יוצרים.

16. אופציונלי: אם יש קטע Hyperparameter tuning, אפשר לציין את האפשרות NUM_TRIALS כדי להפעיל [hyperparameter tuning](/bigquery/docs/hyperparameter-tuning-tutorial) במודל. הארגומנטים שזמינים לכוונון היפר-פרמטרים משתנים בהתאם לסוג המודל שיוצרים.

17. לוחצים על יצירת מודל.

18. אחרי שמסיימים ליצור את המודל, לוחצים על מעבר למודל כדי לראות את פרטי המודל.

יצירת מודל מרוחק על בסיס מודל שעבר אימון

אפשר להשתמש בהליך הזה כדי ליצור את סוגי המודלים המרוחקים הבאים:

• מודלים ב-Vertex AI או מודלים של שותפים
• מודלים לעומת מודלים פתוחים

כדי ליצור מודל:

1. עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים שיצרתם.

4. לצד קבוצת הנתונים, לוחצים על View actions ואז על Create BQML Model.

   החלונית Create new model (יצירת מודל חדש) נפתחת.

5. בשדה שם המודל, מקלידים שם למודל.

6. אם רוצים ליצור שאילתה שמורה שמכילה את ההצהרה CREATE MODEL של המודל, בוחרים באפשרות שמירת שאילתה .

   1. בשדה Query name, מקלידים שם לשאילתה השמורה.
   2. בשדה Region, בוחרים אזור לשאילתה השמורה.

7. לוחצים על Continue.

8. בקטע Creation method (שיטת יצירה), בוחרים באפשרות Connect to Vertex AI LLM service and Cloud AI services (חיבור לשירות Vertex AI LLM ולשירותי Cloud AI).

9. בדף אפשרויות המודל, בוחרים באפשרות מודלים של Google ושל שותפים או באפשרות מודלים פתוחים, בהתאם לתרחיש השימוש.

10. בקטע Remote connection, מבצעים אחת מהפעולות הבאות:

    • אם הגדרתם חיבור ברירת מחדל או אם יש לכם את התפקידים 'אדמין BigQuery' ו'אדמין IAM בפרויקט', בוחרים באפשרות חיבור ברירת מחדל.

    • אם לא הגדרתם חיבור ברירת מחדל או שאין לכם את התפקידים המתאימים, בוחרים באפשרות חיבור למשאב Cloud.

      1. בשדה Project, בוחרים את הפרויקט שמכיל את החיבור שרוצים להשתמש בו.
      2. בקטע Location בוחרים את המיקום שבו נעשה שימוש בחיבור.

      3. בקטע Connection (חיבור), בוחרים את החיבור שרוצים להשתמש בו עבור המודל המרוחק, או בוחרים באפשרות Create new connection (יצירת חיבור חדש) כדי ליצור חיבור חדש.

         חשוב: אם יוצרים חיבור חדש, צריך להקצות תפקידים מתאימים לחשבון השירות של החיבור לפני שממשיכים. מידע נוסף על התפקידים שצריך להעניק זמין במאמרי העזרה בנושא סוג המודל המרוחק שאתם יוצרים.

11. בקטע Required options, מבצעים אחת מהפעולות הבאות:

    • כדי להשתמש במודלים מרוחקים במקום במודלים של Google ובמודלים של שותפים, צריך לציין את נקודת הקצה שבה רוצים להשתמש. זהו שם המודל, לדוגמה gemini-2.0-flash. מידע נוסף על מודלים נתמכים זמין במאמר ENDPOINT.
    • למודלים מרוחקים יש עדיפות על פני מודלים פתוחים. כדי להשתמש במודל מרוחק, מעתיקים את נקודת הקצה ומדביקים אותה. זוהי נקודת הקצה הציבורית המשותפת של מודל שנפרס ב-Vertex AI, בפורמט https://location-aiplatform.googleapis.com/v1/projects/project/locations/location/endpoints/endpoint_id. מידע נוסף זמין במאמר ENDPOINT.

12. לוחצים על יצירת מודל.

13. אחרי שמסיימים ליצור את המודל, לוחצים על מעבר למודל כדי לראות את פרטי המודל.

יצירת מודל מרוחק על בסיס מודל בהתאמה אישית

אפשר להשתמש בהליך הזה כדי ליצור מודלים מרוחקים על מודלים בהתאמה אישית שנפרסו ב-Vertex AI.

כדי ליצור מודל:

1. עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים שיצרתם.

4. לצד קבוצת הנתונים, לוחצים על View actions ואז על Create BQML Model.

   החלונית Create new model (יצירת מודל חדש) נפתחת.

5. בשדה שם המודל, מקלידים שם למודל.

6. אם רוצים ליצור שאילתה שמורה שמכילה את ההצהרה CREATE MODEL של המודל, בוחרים באפשרות שמירת שאילתה .

   1. בשדה Query name, מקלידים שם לשאילתה השמורה.
   2. בשדה Region, בוחרים אזור לשאילתה השמורה.

7. לוחצים על Continue.

8. בקטע שיטת היצירה, בוחרים באפשרות חיבור לנקודות קצה של Vertex AI שמנוהלות על ידי המשתמש.

9. בקטע Remote connection בדף Model options, מבצעים אחת מהפעולות הבאות:

   • אם הגדרתם חיבור ברירת מחדל או אם יש לכם את התפקידים 'אדמין BigQuery' ו'אדמין IAM בפרויקט', בוחרים באפשרות חיבור ברירת מחדל.

   • אם לא הגדרתם חיבור ברירת מחדל או שאין לכם את התפקידים המתאימים, בוחרים באפשרות חיבור למשאב Cloud.

     1. בשדה Project, בוחרים את הפרויקט שמכיל את החיבור שרוצים להשתמש בו.
     2. בקטע Location בוחרים את המיקום שבו נעשה שימוש בחיבור.

     3. בקטע Connection (חיבור), בוחרים את החיבור שרוצים להשתמש בו עבור המודל המרוחק, או בוחרים באפשרות Create new connection (יצירת חיבור חדש) כדי ליצור חיבור חדש.

        חשוב: אם יוצרים חיבור חדש, צריך להקצות תפקידים מתאימים לחשבון השירות של החיבור לפני שממשיכים. מידע נוסף על התפקידים שצריך להעניק זמין במאמרי העזרה בנושא סוג המודל המרוחק שאתם יוצרים.

10. בקטע Required options (אפשרויות חובה), מציינים את נקודת הקצה שבה רוצים להשתמש. זוהי נקודת הקצה הציבורית המשותפת של מודל שנפרס ב-Vertex AI, בפורמט https://location-aiplatform.googleapis.com/v1/projects/project/locations/location/endpoints/endpoint_id. מידע נוסף זמין במאמר ENDPOINT.

11. לוחצים על יצירת מודל.

12. אחרי שמסיימים ליצור את המודל, לוחצים על מעבר למודל כדי לראות את פרטי המודל.

יצירת מודל מרוחק באמצעות שירות AI בענן

אפשר להשתמש בהליך הזה כדי ליצור מודלים מרוחקים באמצעות שירותי AI של Cloud.

כדי ליצור מודל:

1. עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים שיצרתם.

4. לצד קבוצת הנתונים, לוחצים על View actions ואז על Create BQML Model.

   החלונית Create new model (יצירת מודל חדש) נפתחת.

5. בשדה שם המודל, מקלידים שם למודל.

6. אם רוצים ליצור שאילתה שמורה שמכילה את ההצהרה CREATE MODEL של המודל, בוחרים באפשרות שמירת שאילתה .

   1. בשדה Query name, מקלידים שם לשאילתה השמורה.
   2. בשדה Region, בוחרים אזור לשאילתה השמורה.

7. לוחצים על Continue.

8. בקטע Creation method (שיטת יצירה), בוחרים באפשרות Connect to Vertex AI LLM service and Cloud AI services (חיבור לשירות Vertex AI LLM ולשירותי Cloud AI).

9. בדף אפשרויות המודל, בוחרים באפשרות שירותי AI של Cloud.

10. בקטע Remote connection, מבצעים אחת מהפעולות הבאות:

    • אם הגדרתם חיבור ברירת מחדל או אם יש לכם את התפקידים 'אדמין BigQuery' ו'אדמין IAM בפרויקט', בוחרים באפשרות חיבור ברירת מחדל.

    • אם לא הגדרתם חיבור ברירת מחדל או שאין לכם את התפקידים המתאימים, בוחרים באפשרות חיבור למשאב Cloud.

      1. בשדה Project, בוחרים את הפרויקט שמכיל את החיבור שרוצים להשתמש בו.
      2. בקטע Location בוחרים את המיקום שבו נעשה שימוש בחיבור.

      3. בקטע Connection (חיבור), בוחרים את החיבור שרוצים להשתמש בו עבור המודל המרוחק, או בוחרים באפשרות Create new connection (יצירת חיבור חדש) כדי ליצור חיבור חדש.

         חשוב: אם יוצרים חיבור חדש, צריך להקצות תפקידים מתאימים לחשבון השירות של החיבור לפני שממשיכים. מידע נוסף על התפקידים שצריך להעניק זמין במאמרי העזרה בנושא סוג המודל המרוחק שאתם יוצרים.

11. בקטע אפשרויות חובה, בוחרים את סוג שירות ה-AI של Cloud שרוצים להשתמש בו.

12. בקטע Optional, מציינים את פרטי document processor אם משתמשים בשירות CLOUD_AI_DOCUMENT_V1. אופציונלי: אם אתם משתמשים בשירות CLOUD_AI_SPEECH_TO_TEXT_V2, אתם יכולים לציין פרטים על מזהה הדיבור.

13. לוחצים על יצירת מודל.

14. אחרי שמסיימים ליצור את המודל, לוחצים על מעבר למודל כדי לראות את פרטי המודל.

יצירת מודל מיובא

אפשר להשתמש בהליך הזה כדי ליצור מודלים של BigQuery ML על ידי ייבוא של סוגי המודלים הבאים:

• ONNX
• TensorFlow
• ‫TensorFlow Lite
• XGBoost

כדי ליצור מודל:

1. עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים שיצרתם.

4. לצד קבוצת הנתונים, לוחצים על View actions ואז על Create BQML Model.

   החלונית Create new model (יצירת מודל חדש) נפתחת.

5. בשדה שם המודל, מקלידים שם למודל.

6. אם רוצים ליצור שאילתה שמורה שמכילה את ההצהרה CREATE MODEL של המודל, בוחרים באפשרות שמירת שאילתה .

   1. בשדה Query name, מקלידים שם לשאילתה השמורה.
   2. בשדה Region, בוחרים אזור לשאילתה השמורה.

7. לוחצים על Continue.

8. בקטע שיטת יצירה, בוחרים באפשרות ייבוא מודל.

9. בדף Model options (אפשרויות המודל), בוחרים את סוג המודל שרוצים לייבא.

10. בשדה GCS path (נתיב GCS), מחפשים את ה-URI של קטגוריית Cloud Storage שמכילה את המודל או מדביקים אותו.

11. לוחצים על יצירת מודל.

12. אחרי שמסיימים ליצור את המודל, לוחצים על מעבר למודל כדי לראות את פרטי המודל.