עיבוד מקדים ידני של תכונות

אפשר להשתמש בסעיף TRANSFORM של הצהרת CREATE MODEL בשילוב עם פונקציות ידניות של עיבוד מקדים כדי להגדיר עיבוד מקדים של נתונים בהתאמה אישית. אפשר גם להשתמש בפונקציות האלה של עיבוד מקדים ידני מחוץ לסעיף TRANSFORM.

אם רוצים להפריד בין עיבוד מקדים של נתונים לבין אימון מודלים, אפשר ליצור מודל לביצוע טרנספורמציות בלבד שרק מבצע טרנספורמציות של נתונים באמצעות פסוקית TRANSFORM.

אתם יכולים להשתמש בפונקציה ML.TRANSFORM כדי להגביר את השקיפות של העיבוד המקדים של התכונות. הפונקציה הזו מאפשרת להחזיר את הנתונים שעברו עיבוד מראש מסעיף TRANSFORM של מודל, כדי שתוכלו לראות את נתוני האימון בפועל שמשמשים לאימון המודל, וגם את נתוני החיזוי בפועל שמשמשים להצגת המודל.

במאמר סקירה כללית על עיבוד מקדים של תכונות מוסבר על התמיכה בעיבוד מקדים של תכונות ב-BigQuery ML.

סוגים של פונקציות לעיבוד מקדים

יש כמה סוגים של פונקציות לעיבוד מראש:

• פונקציות סקלריות פועלות על שורה אחת. לדוגמה, ML.BUCKETIZE.
• פונקציות שמחזירות טבלה פועלות על כל השורות ומחזירות טבלה. לדוגמה, ML.FEATURES_AT_TIME.

• פונקציות אנליטיות פועלות על כל השורות, ומחזירות את התוצאה לכל שורה על סמך הנתונים הסטטיסטיים שנאספו בכל השורות. לדוגמה, ML.QUANTILE_BUCKETIZE.

  חובה להשתמש תמיד בסעיף OVER() ריק עם פונקציות ניתוח ML.

  כשמשתמשים בפונקציות אנליטיות של ML בתוךTRANSFORM פסקה במהלך האימון, אותם נתונים סטטיסטיים מוחלים באופן אוטומטי על הקלט בתחזית.

בקטעים הבאים מפורטות הפונקציות הזמינות לעיבוד מקדים.

פונקציות כלליות

כדי לנקות את הנתונים, משתמשים בפונקציה הבאה בביטויים מספריים או במחרוזות:

• ML.IMPUTER

פונקציות מספריות

אפשר להשתמש בפונקציות הבאות בביטויים מספריים כדי לבצע רגולריזציה של הנתונים:

• ML.BUCKETIZE
• ML.MAX_ABS_SCALER
• ML.MIN_MAX_SCALER
• ML.NORMALIZER
• ML.POLYNOMIAL_EXPAND
• ML.QUANTILE_BUCKETIZE
• ML.ROBUST_SCALER
• ML.STANDARD_SCALER

פונקציות קטגוריות

אפשר להשתמש בפונקציות הבאות כדי לסווג נתונים לקטגוריות:

• ML.FEATURE_CROSS
• ML.HASH_BUCKETIZE
• ML.LABEL_ENCODER
• ML.MULTI_HOT_ENCODER
• ML.ONE_HOT_ENCODER

פונקציות טקסט

אפשר להשתמש בפונקציות הבאות בביטויים של מחרוזות טקסט:

• ML.NGRAMS
• ML.BAG_OF_WORDS
• ML.TF_IDF

פונקציות של תמונות

אפשר להשתמש בפונקציות הבאות על נתוני תמונות:

• ML.CONVERT_COLOR_SPACE
• ML.CONVERT_IMAGE_TYPE
• ML.DECODE_IMAGE
• ML.RESIZE_IMAGE

מגבלות ידועות

• ‫BigQuery ML תומך גם בעיבוד מקדים אוטומטי וגם בעיבוד מקדים ידני בייצוא המודל. אפשר לעיין בסוגי הנתונים הנתמכים ובפונקציות לייצוא מודלים שאומנו באמצעות פסקה BigQuery ML TRANSFORM.

המאמרים הבאים

מידע נוסף על פונקציות והצהרות SQL נתמכות עבור מודלים שתומכים בעיבוד מקדים ידני של מאפיינים זמין במסמכים הבאים:

• תהליכים שהמשתמשים עוברים מתחילת האינטראקציה ועד סופה במודלים של ML
• תהליך השימוש בניתוח הגורמים לאנומליות