יצירת תחזיות באמצעות מודלים של scikit-learn בפורמט ONNX

במדריך הזה נסביר איך לייבא מודל Open Neural Network Exchange (ONNX) שאומן באמצעות scikit-learn. אתם מייבאים את המודל למערך נתונים ב-BigQuery ומשתמשים בו כדי ליצור חיזויים באמצעות שאילתת SQL.

‫ONNX מספק פורמט אחיד שמיועד לייצג כל מסגרת של למידת מכונה (ML). התמיכה של BigQuery ML ב-ONNX מאפשרת לכם:

  • לאמן מודל באמצעות ה-framework המועדף עליכם.
  • ממירים את המודל לפורמט ONNX.
  • מייבאים את מודל ה-ONNX ל-BigQuery ומבצעים חיזויים באמצעות BigQuery ML.

מטרות

  • יוצרים ומאמנים מודל באמצעות scikit-learn.
  • ממירים את המודל לפורמט ONNX באמצעות sklearn-onnx.
  • משתמשים בהצהרה CREATE MODEL כדי לייבא את מודל ONNX ל-BigQuery.
  • משתמשים בפונקציה ML.PREDICT כדי ליצור תחזיות באמצעות מודל ONNX המיובא.

עלויות

במסמך הזה משתמשים ברכיבים הבאים של Google Cloud, והשימוש בהם כרוך בתשלום:

בעזרת מחשבון העלויות אתם יכולים להעריך את העלויות בהתאם לשימוש הצפוי.

משתמשים חדשים של Google Cloud ? יכול להיות שאתם זכאים לתקופת ניסיון בחינם.

כשמסיימים את המשימות שמתוארות במסמך הזה אפשר למחוק את המשאבים שיצרתם כדי להימנע מחיובים נוספים. מידע נוסף זמין בקטע הסרת המשאבים.

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  4. מוודאים שהחיוב מופעל בפרויקט ב- Google Cloud .

  5. מפעילים את BigQuery API ואת Cloud Storage API, אם הם עדיין לא מופעלים.

    התפקידים שנדרשים כדי להפעיל ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, אתם יכולים לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים?

    הפעלת ממשקי ה-API

  6. מוודאים שיש לכם את ההרשאות הנדרשות כדי לבצע את המשימות שמפורטות במסמך הזה.

התפקידים הנדרשים

אם אתם יוצרים פרויקט חדש, אתם הבעלים של הפרויקט ומוענקות לכם כל ההרשאות הנדרשות בממשק של ניהול הזהויות והרשאות הגישה (IAM) כדי להשלים את המדריך הזה.

אם אתם משתמשים בפרויקט קיים, בצעו את הפעולות הבאות.

צריך לוודא שיש לכם בפרויקט את התפקיד או התפקידים הבאים:

בדיקת התפקידים

  1. נכנסים לדף IAM במסוף Google Cloud .

    כניסה לדף IAM
  2. בוחרים את הפרויקט.
  3. בעמודה Principal, מחפשים את כל השורות שמזהות אתכם או קבוצה שאתם חברים בה. כדי לברר לאילו קבוצות אתם שייכים, פנו לאדמין.

  4. בכל השורות שבהן אתם מופיעים, בודקים בעמודה Role אם רשימת התפקידים כוללת את התפקידים הנדרשים.

מתן התפקידים

  1. נכנסים לדף IAM במסוף Google Cloud .

    כניסה לדף IAM
  2. בוחרים את הפרויקט.
  3. לוחצים על Grant access.
  4. בשדה New principals, מזינים את מזהה המשתמש. ‫ בדרך כלל מזהה המשתמש הוא כתובת האימייל של חשבון Google.

    ‫
  5. לוחצים על Select a role ומחפשים את התפקיד.
  6. כדי לתת עוד תפקידים, לוחצים על Add another role ומוסיפים אותם.
  7. לוחצים על Save.

למידע נוסף על הרשאות IAM ב-BigQuery, קראו את המאמר הרשאות IAM.

אופציונלי: אימון מודל והמרה שלו לפורמט ONNX

דוגמאות הקוד הבאות מראות איך לאמן מודל סיווג באמצעות scikit-learn ואיך להמיר את צינור עיבוד הנתונים שנוצר לפורמט ONNX. במדריך הזה נעשה שימוש במודל לדוגמה שנוצר מראש ומאוחסן ב-gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx. אם אתם משתמשים במודל לדוגמה, אתם לא צריכים לבצע את השלבים האלה.

אימון מודל סיווג באמצעות scikit-learn

משתמשים בקוד לדוגמה הבא כדי ליצור ולאמן צינור עיבוד נתונים של scikit-learn במערך הנתונים Iris. הוראות להתקנה ולשימוש ב-scikit-learn מפורטות במדריך להתקנת scikit-learn.

import numpy
from sklearn.datasets import load_iris
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier

data = load_iris()
X = data.data[:, :4]
y = data.target

ind = numpy.arange(X.shape[0])
numpy.random.shuffle(ind)
X = X[ind, :].copy()
y = y[ind].copy()

pipe = Pipeline([('scaler', StandardScaler()),
                ('clr', RandomForestClassifier())])
pipe.fit(X, y)

המרת צינור עיבוד הנתונים למודל ONNX

משתמשים בקוד לדוגמה הבא ב-sklearn-onnx כדי להמיר את צינור עיבוד הנתונים של scikit-learn למודל ONNX בשם pipeline_rf.onnx.

from skl2onnx import convert_sklearn
from skl2onnx.common.data_types import FloatTensorType

# Disable zipmap as it is not supported in BigQuery ML.
options = {id(pipe): {'zipmap': False}}

# Define input features. scikit-learn does not store information about the
# training dataset. It is not always possible to retrieve the number of features
# or their types. That's why the function needs another argument called initial_types.
initial_types = [
   ('sepal_length', FloatTensorType([None, 1])),
   ('sepal_width', FloatTensorType([None, 1])),
   ('petal_length', FloatTensorType([None, 1])),
   ('petal_width', FloatTensorType([None, 1])),
]

# Convert the model.
model_onnx = convert_sklearn(
   pipe, 'pipeline_rf', initial_types=initial_types, options=options
)

# And save.
with open('pipeline_rf.onnx', 'wb') as f:
 f.write(model_onnx.SerializeToString())

העלאת מודל ONNX ל-Cloud Storage

אחרי ששומרים את המודל, מבצעים את הפעולות הבאות:

יצירת קבוצת נתונים

כדי ליצור מערך נתונים ב-BigQuery, בוחרים אחת מהאפשרויות הבאות:

המסוף

  1. נכנסים לדף BigQuery במסוף Google Cloud .

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על Explorer:

    כפתור מודגש לחלונית Explorer.

    אם החלונית הימנית לא מוצגת, לוחצים על Expand left pane כדי לפתוח אותה.

  3. ב-Explorer, מרחיבים את הפרויקט ולוחצים על Datasets.

  4. בדף Datasets, לוחצים על Create dataset.

  5. בחלונית Create dataset:

    • בשדה Dataset ID, מזינים bqml_tutorial.

    • בקטע Data location (מיקום הנתונים), בוחרים באפשרות US (ארה"ב).

    משאירים את שאר הגדרות ברירת המחדל כמו שהן.

  6. לוחצים על Create dataset.

BQ

כדי ליצור קבוצת נתונים חדשה, משתמשים בפקודה bq mk --dataset.

  1. יוצרים מערך נתונים בשם bqml_tutorial ומגדירים את מיקום הנתונים ל-US:

    bq mk --dataset \
      --location=US \
      --description "BigQuery ML tutorial dataset." \
      bqml_tutorial
  2. מוודאים שמערך הנתונים נוצר:

    bq ls

API

מפעילים את השיטה datasets.insert עם משאב של מערך נתונים מוגדר:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

לפני שתנסו את הדוגמה הזו, פעלו לפי הוראות ההגדרה של BigQuery DataFrames שמפורטות במאמר התחלה מהירה ב-BigQuery באמצעות BigQuery DataFrames. מידע נוסף זמין במאמרי העזרה של BigQuery DataFrames.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת ADC לסביבת פיתוח מקומית.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

ייבוא של מודל ONNX ל-BigQuery

בשלבים הבאים מוסבר איך לייבא את המודל לדוגמה של ONNX מ-Cloud Storage באמצעות הצהרת CREATE MODEL.

כדי לייבא את מודל ה-ONNX למערך הנתונים, בוחרים באחת מהאפשרויות הבאות:

המסוף

  1. נכנסים לדף BigQuery Studio במסוף Google Cloud .

    כניסה ל-BigQuery Studio

  2. בעורך השאילתות, מזינים את הצהרת ה-CREATE MODEL הבאה.

     CREATE OR REPLACE MODEL `bqml_tutorial.imported_onnx_model`
      OPTIONS (MODEL_TYPE='ONNX',
       MODEL_PATH='BUCKET_PATH')

    מחליפים את BUCKET_PATH בנתיב למודל שהעליתם ל-Cloud Storage. אם אתם משתמשים במודל לדוגמה, החליפו את BUCKET_PATH בערך הבא: gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx.

    בסיום הפעולה, תופיע הודעה דומה לזו: Successfully created model named imported_onnx_model.

    המודל החדש מופיע בחלונית משאבים. המודלים מסומנים בסמל המודל: סמל המודל בחלונית המשאבים. אם בוחרים את המודל החדש בחלונית Resources, המידע על המודל מופיע ליד עורך השאילתות.

    חלונית המידע של `imported_onnx_model`

BQ

  1. מייבאים את המודל של ONNX מ-Cloud Storage באמצעות הזנת ההצהרה הבאה של CREATE MODEL.

    bq query --use_legacy_sql=false \
    "CREATE OR REPLACE MODEL
    `bqml_tutorial.imported_onnx_model`
    OPTIONS
    (MODEL_TYPE='ONNX',
      MODEL_PATH='BUCKET_PATH')"

    מחליפים את BUCKET_PATH בנתיב למודל שהעליתם ל-Cloud Storage. אם אתם משתמשים במודל לדוגמה, החליפו את BUCKET_PATH בערך הבא: gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx.

    בסיום הפעולה, תופיע הודעה דומה לזו: Successfully created model named imported_onnx_model.

  2. אחרי שמייבאים את המודל, מוודאים שהוא מופיע במערך הנתונים.

    bq ls -m bqml_tutorial

    הפלט אמור להיראות כך:

    tableId               Type
    --------------------- -------
    imported_onnx_model  MODEL

BigQuery DataFrames

לפני שתנסו את הדוגמה הזו, פעלו לפי הוראות ההגדרה של BigQuery DataFrames שמפורטות במאמר התחלה מהירה ב-BigQuery באמצעות BigQuery DataFrames. מידע נוסף זמין במאמרי העזרה של BigQuery DataFrames.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת ADC לסביבת פיתוח מקומית.

יוצרים את המודל באמצעות הפונקציה bigframes.bigquery.ml.create_model.

import bigframes
import bigframes.pandas as bpd
from bigframes.bigquery import ml

bigframes.options.bigquery.project = PROJECT_ID
# You can change the location to one of the valid locations: https://cloud.google.com/bigquery/docs/locations#supported_locations
bigframes.options.bigquery.location = "US"

# Set partial ordering mode for BigQuery DataFrames.
# For more information, see the BigQuery DataFrames performance documentation:
# https://cloud.google.com/bigquery/docs/dataframes-performance#partial-ordering-mode
bpd.options.bigquery.ordering_mode = "partial"

# Use ml.create_model to create and import the model in BigQuery.
# The options parameter specifies the model type and the Cloud Storage path.
# For more information, see the BigQuery DataFrames API reference documentation:
# https://dataframes.bigquery.dev/reference/api/bigframes.bigquery.ml.create_model.html#bigframes.bigquery.ml.create_model
ml.create_model(
    your_model_id,  # For example: "bqml_tutorial.imported_onnx_model"
    options={
        "model_type": "ONNX",
        "model_path": "gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx",
    },
    replace=True,
)

מידע נוסף על ייבוא מודלים של ONNX ל-BigQuery, כולל דרישות הפורמט והאחסון, זמין במאמר ההצהרה CREATE MODEL לייבוא מודלים של ONNX.

יצירת חיזויים באמצעות מודל ONNX המיובא

אחרי שמייבאים את מודל ONNX, משתמשים בפונקציה ML.PREDICT כדי ליצור חיזויים באמצעות המודל.

השאילתה בשלבים הבאים משתמשת ב-imported_onnx_model כדי ליצור חיזויים באמצעות נתוני קלט מהטבלה iris במערך הנתונים הציבורי ml_datasets. מודל ONNX מצפה לארבעה ערכי FLOAT כקלט:

  • sepal_length
  • sepal_width
  • petal_length
  • petal_width

הקלט הזה תואם ל-initial_types שהוגדרו כשהמרתם את המודל לפורמט ONNX.

הפלטים כוללים את העמודות label ו-probabilities, ואת העמודות מטבלת הקלט. ‫label מייצג את תווית הסיווג החזויה. ‫probabilities הוא מערך של הסתברויות שמייצגות את ההסתברויות לכל סיווג.

כדי ליצור חיזויים באמצעות מודל ONNX שיובא, בוחרים באחת מהאפשרויות הבאות:

המסוף

  1. נכנסים לדף BigQuery Studio.

    כניסה ל-BigQuery Studio

  2. בעורך השאילתות, מזינים את השאילתה הזו שמשתמשת בפונקציה ML.PREDICT.

    SELECT *
      FROM ML.PREDICT(MODEL `bqml_tutorial.imported_onnx_model`,
        (
        SELECT * FROM `bigquery-public-data.ml_datasets.iris`
        )
    )

    תוצאות השאילתה אמורות להיראות כך:

    הפלט של השאילתה ML.PREDICT

BQ

מריצים את השאילתה שמשתמשת ב-ML.PREDICT.

bq query --use_legacy_sql=false \
'SELECT *
FROM ML.PREDICT(
MODEL `example_dataset.imported_onnx_model`,
(SELECT * FROM `bigquery-public-data.ml_datasets.iris`))'

BigQuery DataFrames

לפני שתנסו את הדוגמה הזו, פעלו לפי הוראות ההגדרה של BigQuery DataFrames שמפורטות במאמר התחלה מהירה ב-BigQuery באמצעות BigQuery DataFrames. מידע נוסף זמין במאמרי העזרה של BigQuery DataFrames.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת ADC לסביבת פיתוח מקומית.

משתמשים בפונקציה bigframes.bigquery.ml.predict כדי להריץ את המודל של ONNX.

import bigframes.pandas as bpd
from bigframes.bigquery import ml

# Set partial ordering mode for BigQuery DataFrames.
# For more information, see the BigQuery DataFrames performance documentation:
# https://cloud.google.com/bigquery/docs/dataframes-performance#partial-ordering-mode
bpd.options.bigquery.ordering_mode = "partial"

df = bpd.read_gbq("bigquery-public-data.ml_datasets.iris")

# Use the ml.predict method to predict results using your model.
# For more information, see the BigQuery DataFrames API reference documentation:
# https://dataframes.bigquery.dev/reference/api/bigframes.bigquery.ml.predict.html#bigframes.bigquery.ml.predict
predictions = ml.predict(
    your_model_id,  # For example: "bqml_tutorial.imported_onnx_model"
    input_=df,
)
predictions.peek(5)

התוצאה אמורה להיראות כך:

הפלט של פונקציית החיזוי

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים הנפרדים.

מחיקת הפרויקט

המסוף

  1. במסוף Google Cloud , נכנסים לדף Manage resources.

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

gcloud

    כדי למחוק פרויקט ב- Google Cloud :

    gcloud projects delete PROJECT_ID

מחיקת משאבים ספציפיים

לחלופין, כדי להסיר את המשאבים הספציפיים שבהם השתמשתם במדריך הזה:

  1. מוחקים את המודל המיובא.

  2. אופציונלי: מוחקים את מערך הנתונים.

המאמרים הבאים