מידע על Vertex AI Feature Store

‫Vertex AI Feature Store הוא שירות מנוהל של מאגר תכונות (Feature Store) מבוסס-ענן, שהוא חלק בלתי נפרד מ-Vertex AI. הוא מייעל את תהליכי הניהול של תכונות ה-ML ומילוי הבקשות באופן מיידי, כי הוא מאפשר לכם לנהל את נתוני התכונות בטבלה ב-BigQuery או בתצוגה של BigQuery. לאחר מכן תוכלו להציג תכונות אונליין ישירות ממקור הנתונים של BigQuery.

‫Vertex AI Feature Store מקצה משאבים שמאפשרים להגדיר מילוי בקשה באופן מיידי על ידי ציון מקורות נתוני המאפיינים. לאחר מכן, הוא פועל כשכבת מטא-נתונים שמתקשרת עם מקורות הנתונים של BigQuery, ומציג את ערכי התכונות העדכניים ישירות מ-BigQuery לחיזויים אונליין עם זמן אחזור נמוך.

ב-Vertex AI Feature Store, הטבלאות או התצוגות ב-BigQuery שמכילות את נתוני התכונות יוצרות ביחד את המאגר אופליין. אפשר לשמור את ערכי התכונות, כולל נתונים היסטוריים של התכונות, בחנות האופליין. מכיוון שכל נתוני התכונות נשמרים ב-BigQuery, לא צריך להקצות מאגר נפרד אופליין ב-Vertex AI Feature Store. בנוסף, אם רוצים להשתמש בנתונים בחנות האופליין כדי לאמן מודלים של ML, אפשר להשתמש בממשקי ה-API וביכולות ב-BigQuery כדי לייצא או לאחזר את הנתונים.

תהליך העבודה להגדרה ולהתחלת מילוי בקשה באופן מיידי באמצעות Vertex AI Feature Store ניתן לסכם באופן הבא:

  1. מכינים את מקור הנתונים ב-BigQuery.

  2. אופציונלי: אפשר לרשום את מקורות הנתונים על ידי יצירת קבוצות של תכונות ותכונות.

  3. מגדירים משאבים של חנות וירטואלית ותצוגת תכונות כדי לקשר את מקורות הנתונים של התכונות עם אשכולות למילוי בקשה באופן מיידי.

  4. להציג את הערכים העדכניים ביותר של תכונות אונליין מתצוגת תכונות.

מודל הנתונים והמשאבים של Vertex AI Feature Store

בקטע הזה מוסברים מודלי הנתונים והמשאבים שמשויכים להיבטים הבאים של Vertex AI Feature Store:

הכנת מקור נתונים ב-BigQuery

במהלך מילוי בקשה באופן מיידי, Feature Store של Vertex AI משתמש בנתוני תכונות ממקורות נתונים של BigQuery. לפני שמגדירים את Feature Registry או משאבים למילוי בקשה באופן מיידי, צריך לאחסן את נתוני התכונות בטבלה אחת או יותר או בתצוגות מפורטות של BigQuery.

בטבלה או בתצוגה ב-BigQuery, כל עמודה מייצגת תכונה. כל שורה מכילה ערכי מאפיינים שמתאימים למזהה ייחודי. מידע נוסף על הכנת נתוני התכונות ב-BigQuery זמין במאמר הכנת מקור נתונים.

לדוגמה, באיור 1, הטבלה ב-BigQuery כוללת את העמודות הבאות:

  • ‫f1 ו-f2: עמודות מאפיינים.

  • ‫entity_id: עמודת מזהים שמכילה את המזהים הייחודיים לזיהוי של כל רשומה של תכונה.

  • ‫feature_timestamp: עמודה של חותמות זמן.

תצוגת תכונות שמכילה את התכונות f1 ו-f2 בפורמט של סדרת זמן.
איור 1. דוגמה למקור נתונים ב-BigQuery.

מכיוון שמכינים את מקור הנתונים ב-BigQuery ולא ב-Vertex AI, לא צריך ליצור משאבי Vertex AI בשלב הזה.

הגדרת Feature Registry

אחרי שמכינים את מקורות הנתונים ב-BigQuery, אפשר לרשום אותם, כולל עמודות ספציפיות של תכונות, במאגר התכונות.

רישום התכונות הוא אופציונלי. אתם יכולים להציג תכונות אונליין גם אם לא הוספתם את מקורות הנתונים של BigQuery למאגר התכונות. עם זאת, כדאי לרשום את התכונות בתרחישים הבאים:

  • הנתונים שלכם מכילים כמה מופעים של אותו מזהה ישות, ואתם צריכים להכין את הנתונים בפורמט של סדרת זמן עם עמודה של חותמת זמן. כשאתם רושמים את המאפיינים, Vertex AI Feature Store מחפש את חותמת הזמן ומציג רק את הערכים האחרונים של המאפיינים.

  • אתם רוצים לרשום עמודות ספציפיות של מאפיינים ממקור נתונים.

  • אתם רוצים לצבור עמודות ספציפיות מכמה מקורות נתונים כדי להגדיר מופע של תצוגת תכונות.

  • רוצים לעקוב אחרי הנתונים הסטטיסטיים של התכונות ולזהות סחף של תכונות.

יש שני סוגים של משאבים של Vertex AI Feature Store ב-Feature Registry:

משאבים של Feature Registry לנתוני תכונות

כדי לרשום את נתוני התכונות ב-Feature Registry, צריך ליצור את המשאבים הבאים ב-Vertex AI Feature Store:

  • קבוצת תכונות (FeatureGroup): משאב FeatureGroup משויך לטבלת מקור או לתצוגה ספציפית ב-BigQuery. היא מייצגת קיבוץ לוגי של עמודות תכונות, שמיוצגות על ידי משאבי Feature. קבוצת תכונות מכילה גם עמודה אחת או יותר של מזהי ישויות, כדי לזהות את רשומות התכונות. אם נתוני התכונות הם בפורמט של סדרת זמן, קבוצת התכונות צריכה לכלול גם עמודה של חותמת זמן. מידע על יצירה של קבוצת תכונות זמין במאמר יצירה של קבוצת תכונות.

  • ‫Feature (Feature): משאב Feature מייצג עמודה ספציפית שמכילה ערכי מאפיינים ממקור נתוני המאפיינים שמשויך למשאב ההורה FeatureGroup. מידע על יצירת תכונות בתוך קבוצת תכונות זמין במאמר יצירת תכונה.

לדוגמה, באיור 2 מוצגת קבוצת תכונות שכוללת עמודות תכונות f1 ו-f2, שמגיעות מטבלת BigQuery שמשויכת לקבוצת התכונות. מקור הנתונים ב-BigQuery מכיל ארבע עמודות של תכונות – שתי עמודות מצורפות ליצירת קבוצת התכונות. קבוצת התכונות מכילה גם עמודה של מזהה ישות ועמודה של חותמת זמן של התכונה.

קבוצת תכונות שמכילה את התכונות f1 ו-f2 בפורמט של סדרת זמן.
איור 2. דוגמה לFeatureGroup שמכיל שתי עמודות Feature שמקורן במקור נתונים של BigQuery.

משאבים של Feature Registry לניטור תכונות

משאבי מעקב אחרי תכונות מאפשרים לעקוב אחרי נתוני התכונות שנרשמו באמצעות משאבי FeatureGroup ו-Feature. אפשר ליצור את המשאבים הבאים שקשורים למעקב אחרי תכונות:

  • כלי למעקב אחרי תכונות (FeatureMonitor): משאב FeatureMonitor משויך למשאב FeatureGroup ולתכונה אחת או יותר בקבוצת התכונות הזו. הוא מציין את לוח הזמנים של המעקב. אתם יכולים ליצור כמה משאבים של מעקב אחרי תכונות כדי להגדיר לוחות זמנים שונים למעקב אחרי אותה קבוצת תכונות. לדוגמה, אם התכונות f1 ו-f2 מתעדכנות כל שעה, אבל התכונות f3 ו-f4 מתעדכנות כל יום, אפשר ליצור שני משאבי מעקב אחרי תכונות כדי לעקוב אחרי התכונות האלה בצורה יעילה:

    • תכונת המעקב fm1 שמריצה משימת מעקב כל שעה על התכונות f1 ו-f2.

    • תכונת המעקב fm2 שמריצה משימת מעקב כל יום על התכונות f3 ו-f4.

  • Feature monitor job (FeatureMonitorJob): משאב FeatureMonitorJobמכיל את הנתונים הסטטיסטיים והמידע על התכונה שנאספו כשמריצים את העבודה של מעקב אחרי תכונות. הוא יכול להכיל גם מידע על אנומליות, כמו סחף של תכונות, שזוהו בנתוני התכונות.

מידע נוסף על יצירת משאבים למעקב אחרי תכונות זמין במאמר מעקב אחרי תכונות כדי לזהות חריגות.

הגדרת מילוי בקשה באופן מיידי

כדי להציג תכונות למילוי בקשה באופן מיידי, צריך להגדיר לפחות אשכול אחד של מילוי בקשה באופן מיידי ולקשר אותו למקור נתוני התכונות או למשאבי Feature Registry. ב-Vertex AI Feature Store, לאשכול מילוי בקשה באופן מיידי קוראים מופע של חנות אונליין. מופע של חנות וירטואלית יכול להכיל כמה מופעים של תצוגת מאפיינים, כאשר כל תצוגת מאפיינים משויכת למקור נתוני מאפיינים.

משאבים למילוי בקשה באופן מיידי

כדי להגדיר את מילוי הבקשה באופן מיידי, צריך ליצור את המשאבים הבאים ב-Vertex AI Feature Store:

  • חנות וירטואלית (FeatureOnlineStore): משאב FeatureOnlineStore מייצג מופע של אשכול למילוי בקשה באופן מיידי, והוא מכיל את ההגדרה של מילוי בקשה באופן מיידי, כמו מספר הצמתים למילוי בקשה באופן מיידי. מופע של חנות וירטואלית לא מציין את המקור של נתוני התכונות, אבל הוא מכיל FeatureView משאבים שמציינים את מקורות נתוני התכונות ב-BigQuery או במרכז רישום התכונות. במאמר יצירת מופע של חנות וירטואלית מוסבר איך ליצור מופע של חנות וירטואלית.

  • תצוגת תכונות (FeatureView): משאב FeatureView הוא אוסף לוגי של תכונות במופע של חנות וירטואלית. כשיוצרים תצוגת מאפיינים, אפשר לציין את המיקום של מקור נתוני המאפיינים באחת מהדרכים הבאות:

    • משייכים קבוצה אחת או יותר של תכונות ותכונות מתוך Feature Registry. קבוצת תכונות מציינת את המיקום של מקור הנתונים ב-BigQuery. תכונה בקבוצת התכונות מפנה לעמודת תכונות ספציפית במקור הנתונים הזה.

    • אפשר גם לשייך טבלה או תצוגה של מקור BigQuery.

    במאמר יצירת תצוגת מאפיינים מוסבר איך ליצור מופעים של תצוגת מאפיינים בחנות וירטואלית.

לדוגמה, באיור 3 מוצג תצוגת תכונות שכוללת את עמודות התכונות f2 ו-f4, שמגיעות משתי קבוצות תכונות נפרדות שמשויכות לטבלה ב-BigQuery.

תצוגת תכונות שמכילה את התכונות f2 ו-f4 שמגיעות משתי קבוצות תכונות.
איור 3. דוגמה ל-FeatureView שמכיל תכונות משתי קבוצות תכונות נפרדות.

מילוי בקשה באופן מיידי

‫Vertex AI Feature Store מספק את סוגי ההגשה הבאים אונליין לחיזויים אונליין בזמן אמת:

  • Bigtable online serving שימושי להצגת כמויות גדולות של נתונים (טרה-בייט של נתונים). מילוי בקשה באופן מיידי של Bigtable לא תומך בהטמעות. אם אתם צריכים להציג נפחים גדולים של נתונים שמתעדכנים לעיתים קרובות ולא צריכים להציג הטמעות, כדאי להשתמש במילוי בקשה באופן מיידי של Bigtable.

  • מילוי בקשה באופן מיידי אופטימלי (יצא משימוש) מאפשר לך מילוי בקשה באופן מיידי של תכונות עם זמני אחזור נמוכים במיוחד. מילוי בקשה באופן מיידי באינטרנט תומך גם בניהול הטמעות.

    כדי להשתמש במילוי בקשה באופן מיידי אופטימלי, צריך להגדיר נקודת קצה ציבורית או נקודת קצה ייעודית של Private Service Connect.

במאמר סוגי מילוי בקשה באופן מיידי מוסבר איך להגדיר מילוי בקשה באופן מיידי ב-Vertex AI Feature Store אחרי שמגדירים את התכונות.

הצגת תחזיות באצווה או אימון מודלים במצב אופליין

מכיוון שלא צריך להעתיק או לייבא את נתוני התכונות מ-BigQuery למאגר נפרד אופליין ב-Vertex AI, אפשר להשתמש ביכולות ניהול הנתונים והייצוא של BigQuery כדי לבצע את הפעולות הבאות:

מידע נוסף על למידת מכונה באמצעות BigQuery זמין במאמר מבוא ל-BigQuery ML.

מונחים שקשורים ל-Vertex AI Feature Store

הנדסת פיצ'רים (feature engineering)
  • הנדסת פיצ'רים (feature engineering) היא תהליך של שינוי נתונים גולמיים של למידת מכונה (ML) לפיצ'רים שאפשר להשתמש בהם כדי לאמן מודלים של למידת מכונה או כדי להסיק מסקנות.

תכונה
  • בלמידת מכונה (ML), תכונה היא מאפיין של מופע או ישות שמשמש כקלט לאימון מודל ML או להסקת מסקנות.

ערך התכונה
  • ערך של תכונה תואם לערך בפועל ולערך הניתן למדידה של תכונה (מאפיין) של מופע או ישות. אוסף של ערכי תכונות עבור הישות הייחודית מייצג את רשומת התכונות שמתאימה לישות.

חותמת זמן של תכונה
  • חותמת זמן של תכונה מציינת מתי נוצר מערך ערכי התכונות ברשומה ספציפית של תכונה עבור ישות.

רשומת תכונה
  • רשומת תכונה היא צבירה של כל ערכי התכונות שמתארים את המאפיינים של ישות ייחודית בנקודת זמן מסוימת.

מונחים שקשורים ל-Feature Registry

מאגר תכונות
  • מאגר תכונות הוא ממשק מרכזי לתיעוד מקורות נתונים של תכונות שרוצים להשתמש בהן להסקת מסקנות אונליין. מידע נוסף מופיע במאמר בנושא הגדרת Feature Registry.

קבוצת תכונות
  • קבוצת תכונות היא משאב במאגר התכונות שתואם לטבלה או לתצוגה של מקור ב-BigQuery שמכילים נתוני תכונות. תצוגת תכונות עשויה להכיל תכונות, ואפשר לחשוב עליה כקיבוץ לוגי של עמודות תכונות במקור הנתונים.

feature serving
  • ייצוא מאפיינים הוא תהליך של ייצוא או אחזור של ערכי מאפיינים לצורך אימון או היקש. ב-Vertex AI יש שני סוגים של ייצוא מאפיינים: מילוי בקשה באופן מיידי וייצוא אופליין. מילוי בקשה באופן מיידי מאחזר את הערכים העדכניים ביותר של תכונות מתוך קבוצת משנה של מקור נתוני התכונות לצורך הסקת מסקנות באופן מיידי. ייצוא אופליין או שליפת נתונים ב-batch מאפשר לייצא כמויות גדולות של נתוני תכונות – כולל נתונים היסטוריים – לעיבוד אופליין, כמו אימון מודלים של למידת מכונה.

offline store
  • המאגר במצב אופליין הוא מתקן אחסון שבו מאוחסנים נתונים של תכונות מהזמן האחרון ונתונים היסטוריים, שבדרך כלל משמשים לאימון מודלים של למידת מכונה. חנות אופליין מכילה גם את ערכי התכונות העדכניים ביותר, שאפשר להשתמש בהם להסקת מסקנות אונליין.

חנות וירטואלית
  • בניהול התכונות, חנות וירטואלית היא מתקן אחסון של ערכי התכונות העדכניים ביותר שמוצגים להסקת מסקנות אונליין.

תצוגת תכונות
  • תצוגת תכונות היא אוסף לוגי של תכונות שנוצרו ממקור נתונים ב-BigQuery למופע של חנות וירטואלית. תצוגת תכונות מאחסנת את נתוני התכונות של הלקוח ומרעננת אותם מעת לעת. הנתונים מתרעננים מעת לעת ממקור BigQuery. תצוגת תכונה משויכת לאחסון נתוני התכונה באופן ישיר או באמצעות שיוכים למשאבי מרשם התכונות.

מגבלות מיקום

כל המשאבים של Vertex AI Feature Store צריכים להיות באותו אזור או באותו מיקום רב-אזורי כמו מקור הנתונים שלכם ב-BigQuery. לדוגמה, אם מקור הנתונים של התכונה נמצא ב-us-central1, צריך ליצור את מופע FeatureOnlineStore רק ב-us-central1 או במיקום US שכולל מספר אזורים.

מטא-נתונים של תכונות

‫Vertex AI Feature Store משולב עם Dataplex Universal Catalog כדי לספק יכולות של ניהול תכונות, כולל מטא-נתונים של תכונות. מופעים של חנויות אונליין, תצוגות של תכונות וקבוצות של תכונות נרשמים באופן אוטומטי כנכסי נתונים ב-Data Catalog, תכונה שמקטלגת מטא נתונים מהמקורות האלה. אחרי שתעשו את זה, תוכלו להשתמש ביכולת החיפוש של מטא-נתונים ב-Dataplex Universal Catalog כדי לחפש, לראות ולנהל את המטא-נתונים של המשאבים האלה. למידע נוסף על חיפוש משאבים ב-Vertex AI Feature Store, אפשר לעיין במאמר חיפוש מטא-נתונים של משאבים ב-Data Catalog.

תוויות של תכונות

אפשר להוסיף תוויות למשאבים במהלך יצירת המשאבים או אחרי היצירה. למידע נוסף על הוספת תוויות למשאבים קיימים ב-Vertex AI Feature Store, אפשר לעיין במאמר בנושא עדכון תוויות.

מטא-נתונים של גרסת משאב

ב-Vertex AI Feature Store יש תמיכה רק בגרסה 0 של התכונות.

מעקב אחר תכונות

באמצעות Vertex AI Feature Store אפשר להגדיר מעקב אחרי תכונות כדי לאחזר נתונים סטטיסטיים על תכונות ולזהות חריגות בנתוני התכונות. אתם יכולים להגדיר לוחות זמנים למעקב כדי להריץ מעקב תקופתי, או להריץ ידנית פעולת מעקב. מידע נוסף על הגדרת מעקב אחרי תכונות והרצת משימות מעקב אחרי תכונות זמין במאמר מעקב אחרי תכונות לאיתור אנומליות.

ניהול הטמעה ואחזור וקטורים

מילוי בקשה אונליין אופטימלי ב-Vertex AI Feature Store תומך בניהול הטמעה. אפשר לאחסן הטמעות ב-BigQuery בתור מערכים רגילים של double. באמצעות יכולות ניהול ההטמעה של Vertex AI Feature Store, אפשר לבצע חיפושים של דמיון וקטורי כדי לאחזר ישויות שהן השכנות הקרובות ביותר לישות או לערך הטמעה שצוינו.

כדי להשתמש בניהול הטמעה ב-Vertex AI Feature Store, צריך לבצע את הפעולות הבאות:

מידע על ביצוע חיפוש דמיון וקטורי ב-Vertex AI Feature Store זמין במאמר ביצוע חיפוש וקטורי של ישויות.

שמירת נתונים

מאגר התכונות של Vertex AI שומר את הערכים העדכניים ביותר של תכונה מסוימת עבור מזהה ייחודי, על סמך חותמת הזמן שמשויכת לערכי התכונות במקור הנתונים. אין הגבלה על משך שמירת הנתונים בחנות הווירטואלית.

מכיוון שהחנות האופליין מסופקת על ידי BigQuery, יכול להיות שיחולו על מקור הנתונים של התכונות מגבלות או מכסות של שמירת נתונים מ-BigQuery, כולל ערכים היסטוריים של תכונות. מידע נוסף על מכסות ומגבלות ב-BigQuery

מכסות ומגבלות

ב-Vertex AI Feature Store יש מכסות ומגבלות שעוזרות לכם לנהל את המשאבים על ידי הגדרת מגבלות שימוש, ולהגן על קהילת משתמשיGoogle Cloud על ידי מניעת עליות חדות ובלתי צפויות בשימוש. כדי להשתמש ביעילות במשאבים של Vertex AI Feature Store בלי להגיע למגבלות האלה, כדאי לעיין במכסות והגבלות של Vertex AI Feature Store.

תמחור

מידע על תמחור השימוש במשאבים ב-Vertex AI Feature Store זמין במאמר בנושא תמחור של Vertex AI Feature Store.

מדריכים ל-Notebook

כדי לקבל מידע נוסף על Vertex AI Feature Store, אפשר לעיין בדוגמאות ובמדריכים הבאים.

ייצוא מאפיינים אונליין ואחזור נתונים מ-BigQuery באמצעות Vertex AI Feature Store Bigtable מילוי בקשה באופן מיידי

במדריך הזה תלמדו איך להשתמש ב-Bigtable מילוי בקשה באופן מיידי ב-Vertex AI Feature Store כדי להציג נתונים באופן מיידי ולאחזר ערכי תכונות ב-BigQuery.

פתיחה ב-Colab  |  פתיחה ב-Colab Enterprise  |  הצגה ב-GitHub

ייצוא מאפיינים אונליין ושליפת וקטורים של נתוני BigQuery באמצעות Vertex AI Feature Store

במדריך הזה תלמדו איך להשתמש ב-Vertex AI Feature Store כדי לבצע מילוי בקשה באופן מיידי ולאחזר ערכי מאפיינים וקטוריים ב-BigQuery.

פתיחה ב-Colab  |  פתיחה ב-Colab Enterprise  |  הצגה ב-GitHub

סוכני שירות של תצוגת תכונות ב-Vertex AI Feature Store

במדריך הזה נסביר איך להפעיל סוכני שירות של תצוגת תכונות ולהעניק לכל תצוגת תכונות גישת צפייה לנתוני המקור הספציפיים שבהם נעשה שימוש.

פתיחה ב-Colab  |  פתיחה ב-Colab Enterprise  |  הצגה ב-GitHub

הדרכה בנושא ביסוס מודלים גדולים של שפה (LLM) על Vertex AI Feature Store

במדריך הזה תלמדו איך לחלק את הפרטים שהמשתמשים סיפקו לחלקים קטנים יותר, ואז ליצור וקטורי הטמעה לכל חלק באמצעות מודל שפה גדול (LLM) שיש לו יכולות ליצירת הטמעה. אפשר לטעון את מערך הנתונים של וקטור ההטמעה שנוצר אל Vertex AI Feature Store, וכך לאחזר תכונות במהירות ולבצע מילוי בקשה יעיל באופן מיידי.

פתיחה ב-Colab  |  פתיחה ב-Colab Enterprise  |  הצגה ב-GitHub

Build a GenAI RAG application with Vertex AI Feature Store and BigQuery

במדריך הזה תלמדו איך ליצור מערכת לחיפוש וקטורי עם זמן אחזור נמוך לאפליקציית ה-AI הגנרטיבי שלכם באמצעות חיפוש וקטורי ב-BigQuery ומאגר התכונות של Vertex AI.

פתיחה ב-Colab  |  פתיחה ב-Colab Enterprise  |  הצגה ב-GitHub

הגדרת מדיניות IAM ב-Vertex AI Feature Store

במדריך הזה תלמדו איך להגדיר מדיניות IAM כדי לשלוט בגישה למשאבים ולנתונים שמאוחסנים ב-Vertex AI Feature Store.

פתיחה ב-Colab  |  פתיחה ב-Colab Enterprise  |  הצגה ב-GitHub

המאמרים הבאים