מידע על Feature Store ב-Gemini Enterprise Agent Platform

‫Feature Store ב-Gemini Enterprise Agent Platform הוא שירות מנוהל ומבוסס-ענן של מאגר תכונות, שמהווה חלק בלתי נפרד מ-Gemini Enterprise Agent Platform. הוא מייעל את תהליכי הניהול של מאפייני ML ואת תהליכי מילוי הבקשות באופן מיידי, ומאפשר לכם לנהל את נתוני המאפיינים בטבלה או בתצוגה ב-BigQuery. לאחר מכן תוכלו להציג מאפיינים אונליין ישירות ממקור הנתונים ב-BigQuery.

ב-Agent Platform Feature Store מוקצים משאבים שמאפשרים להגדיר מילוי בקשות אונליין על ידי ציון מקורות הנתונים של המאפיינים. לאחר מכן, הוא פועל כשכבת מטא-נתונים שמתממשקת עם מקורות הנתונים של BigQuery, ומספק את ערכי המאפיינים העדכניים ביותר ישירות מ-BigQuery לחיזויים אונליין בזמן אחזור קצר.

ב-Agent Platform Feature Store, הטבלאות או התצוגות ב-BigQuery שמכילות את נתוני המאפיינים יוצרות יחד את המאגר אופליין. אתם יכולים לשמור ערכי מאפיינים, כולל נתוני מאפיינים היסטוריים, במאגר אופליין. כל נתוני המאפיינים נשמרים ב-BigQuery, ולכן אין צורך להקצות מאגר נפרד אופליין ב-Gemini Enterprise Agent Platform בשביל Agent Platform Feature Store. בנוסף, אם רוצים להשתמש בנתונים שבמאגר אופליין כדי לאמן מודלים של למידת מכונה, אפשר להשתמש בממשקי ה-API וביכולות של BigQuery כדי לייצא או לאחזר את הנתונים.

ככה מגדירים ומתחילים למלא בקשות באופן מיידי באמצעות Agent Platform Feature Store:

  1. מכינים את מקור הנתונים ב-BigQuery.

  2. אופציונלי: רושמים את מקורות הנתונים על ידי יצירת קבוצות של תכונות ותכונות.

  3. מגדירים משאבים של חנות אונליין ושל תצוגת מאפיינים כדי לקשר את מקורות הנתונים של המאפיינים לאשכולות של מילוי בקשות באופן מיידי.

  4. הצגת ערכי המאפיינים העדכניים ביותר אונליין מתצוגת מאפיינים.

מודל הנתונים והמשאבים של Agent Platform Feature Store

בקטע הזה מוסבר על מודלי הנתונים והמשאבים שמשויכים להיבטים הבאים של Agent Platform Feature Store:

הכנת מקור הנתונים ב-BigQuery

במהלך מילוי בקשה באופן מיידי, Agent Platform Feature Store משתמש בנתוני מאפיינים ממקורות נתונים של BigQuery. לפני שמגדירים את Feature Registry או את המשאבים למילוי בקשות באופן מיידי, צריך לאחסן את נתוני המאפיינים בטבלה או בתצוגה אחת או יותר ב-BigQuery.

בטבלה או בתצוגה ב-BigQuery, כל עמודה מייצגת מאפיין. כל שורה מכילה ערכי מאפיינים שתואמים למזהה ייחודי. במאמר הכנת מקור הנתונים מוסבר איך להכין את נתוני המאפיינים ב-BigQuery.

לדוגמה, באיור 1, הטבלה ב-BigQuery כוללת את העמודות הבאות:

  • ‫f1 ו-f2: עמודות של מאפיינים.

  • ‫entity_id: עמודת מזהה שמכילה את המזהים הייחודיים של כל רשומת תכונה.

  • ‫feature_timestamp: עמודה של חותמת זמן.

תצוגת מאפיינים שמכילה את המאפיינים f1 ו-f2 בפורמט של סדרת זמן.
תרשים 1. דוגמה למקור נתונים ב-BigQuery.

מכינים את מקור הנתונים ב-BigQuery ולא ב-Gemini Enterprise Agent Platform, ולכן לא צריך ליצור משאבים ב-Gemini Enterprise Agent Platform בשלב הזה.

הגדרת Feature Registry

אחרי שמכינים את מקורות הנתונים ב-BigQuery, אפשר לרשום אותם ב-Feature Registry, כולל עמודות ספציפיות של מאפיינים.

רישום התכונות הוא אופציונלי. אתם יכולים להציג מאפיינים אונליין גם אם לא הוספתם את מקורות הנתונים של BigQuery למאגר המאפיינים. עם זאת, כדאי לרשום את התכונות בתרחישים הבאים:

  • הנתונים מכילים כמה מופעים של אותו מזהה ישות, וצריך להכין את הנתונים בפורמט של סדרת זמנים עם עמודה של חותמת זמן. כשרושמים את המאפיינים, Agent Platform Feature Store מחפש את חותמת הזמן ומציג רק את ערכי המאפיינים העדכניים ביותר.

  • אתם רוצים לרשום עמודות ספציפיות של מאפיינים ממקור נתונים.

  • אתם רוצים לצבור עמודות ספציפיות מכמה מקורות נתונים כדי להגדיר מופע של תצוגת מאפיינים.

  • אתם רוצים לעקוב אחרי הנתונים הסטטיסטיים של המאפיינים ולזהות שינויים במאפיינים.

יש שני סוגים של משאבים של Agent Platform Feature Store ב-Feature Registry:

משאבים של Feature Registry לנתוני תכונות

כדי לרשום את נתוני המאפיינים ב-Feature Registry, צריך ליצור את המשאבים הבאים של Agent Platform Feature Store:

  • קבוצת מאפיינים (FeatureGroup): משאב FeatureGroup שמשויך לטבלה או לתצוגה ספציפית של מקור ב-BigQuery. הוא מייצג קיבוץ לוגי של עמודות מאפיינים, שמיוצגות על ידי משאבי Feature. קבוצת מאפיינים מכילה גם עמודה אחת או יותר של מזהי ישויות, כדי לזהות את רשומות המאפיינים. אם נתוני המאפיינים הם בפורמט של סדרת זמנים, קבוצת המאפיינים צריכה להכיל גם עמודה של חותמת זמן. במאמר יצירת קבוצת מאפיינים מוסבר איך יוצרים קבוצת מאפיינים.

  • מאפיין (Feature): משאב Feature מייצג עמודה ספציפית שמכילה ערכי מאפיינים ממקור הנתונים של המאפיינים שמשויך למשאב ההורה FeatureGroup. במאמר יצירת מאפיין מוסבר איך יוצרים מאפיינים בקבוצת מאפיינים.

לדוגמה, באיור 2 מוצגת קבוצת מאפיינים שכוללת את עמודות המאפיינים f1 ו-f2, שמקורן בטבלה ב-BigQuery שמשויכת לקבוצת המאפיינים. מקור הנתונים ב-BigQuery מכיל ארבע עמודות של מאפיינים – שתי עמודות נצברות כדי ליצור את קבוצת המאפיינים. קבוצת המאפיינים מכילה גם עמודה של מזהה ישות ועמודה של חותמת זמן של מאפיין.

קבוצת מאפיינים שמכילה את המאפיינים f1 ו-f2 בפורמט של סדרת זמנים.
איור 2. דוגמה ל-FeatureGroup שמכיל שתי עמודות של Feature שמקורן במקור נתונים של BigQuery.

משאבים של Feature Registry למעקב אחרי תכונות

משאבי מעקב אחרי תכונות מאפשרים לכם לעקוב אחרי נתוני התכונות שנרשמו באמצעות המשאבים FeatureGroup ו-Feature. אפשר ליצור את המשאבים הבאים שקשורים למעקב אחרי תכונות:

  • מעקב אחרי תכונות (FeatureMonitor): משאב FeatureMonitor משויך למשאב FeatureGroup ולתכונה אחת או יותר בקבוצת התכונות הזו. הוא מציין את לוח הזמנים של המעקב. אתם יכולים ליצור כמה משאבים למעקב אחרי מאפיינים כדי להגדיר לוחות זמנים שונים למעקב אחרי אותה קבוצת מאפיינים בתוך קבוצת מאפיינים. לדוגמה, אם המאפיינים f1 ו-f2 מתעדכנים כל שעה, אבל המאפיינים f3 ו-f4 מתעדכנים כל יום, אתם יכולים ליצור שני משאבים למעקב אחרי מאפיינים כדי לעקוב אחרי המאפיינים האלה ביעילות:

    • מעקב אחרי מאפיינים fm1 שמריץ משימת מעקב כל שעה על המאפיינים f1 ו-f2.

    • מעקב אחרי מאפיינים fm2 שמפעיל משימת מעקב כל יום במאפיינים f3 ו-f4.

  • משימת מעקב אחרי מאפיינים (FeatureMonitorJob): משאב FeatureMonitorJob מכיל את הנתונים הסטטיסטיים והמידע על המאפיינים שאוחזרו כשמשימת המעקב אחרי המאפיינים הופעלה. הוא יכול גם להכיל מידע על חריגות, כמו שינוי הדרגתי במאפיינים, שזוהו בנתוני המאפיינים.

איך יוצרים משאבים למעקב אחרי מאפיינים

הגדרת מילוי בקשה באופן מיידי

כדי להציג מאפיינים לחיזויים אונליין, צריך להגדיר לפחות אשכול אחד של הצגה אונליין, ולשייך אותו למקור הנתונים של המאפיינים או למשאבים של Feature Registry. ב-Agent Platform Feature Store, אשכול מילוי בקשה באופן מיידי נקרא מכונה של חנות אונליין. מופע של חנות אונליין יכול להכיל כמה מופעים של תצוגת תכונות, שבה כל תצוגת תכונות משויכת למקור נתונים של תכונות.

משאבים למילוי בקשות באופן מיידי

כדי להגדיר מילוי בקשות אונליין, צריך ליצור את המשאבים הבאים של Agent Platform Feature Store:

  • חנות אונליין (FeatureOnlineStore): משאב FeatureOnlineStore מייצג מכונה של אשכול מילוי בקשות אונליין, ומכיל את הגדרת מילוי הבקשות אונליין, כמו מספר הצמתים של מילוי הבקשות אונליין. מופע של חנות אונליין לא מציין את מקור נתוני המאפיינים, אבל מכיל משאבי FeatureView שמציינים את מקורות נתוני המאפיינים ב-BigQuery או ב-Feature Registry. במאמר יצירת מופע של חנות אונליין מוסבר איך יוצרים מופע של חנות אונליין.

  • תצוגת תכונות (FeatureView): משאב FeatureView הוא אוסף לוגי של תכונות במכונה של חנות אונליין. כשיוצרים תצוגת מאפיינים, אפשר לציין את המיקום של מקור נתוני המאפיינים באחת מהדרכים הבאות:

    • משייכים קבוצת תכונות אחת או יותר ותכונות מ-Feature Registry. קבוצת מאפיינים מציינת את המיקום של מקור הנתונים ב-BigQuery. תכונה בקבוצת התכונות מצביעה על עמודת תכונה ספציפית במקור הנתונים הזה.

    • לחלופין, אפשר לשייך טבלה או תצוגה מפורטת של מקור ב-BigQuery.

    במאמר יצירת תצוגת מאפיינים מוסבר איך יוצרים מופעים של תצוגת מאפיינים בחנות אונליין.

לדוגמה, באיור 3 מוצגת תצוגת מאפיינים שכוללת את עמודות המאפיינים f2 ו-f4, שמקורן בשתי קבוצות מאפיינים נפרדות שמשויכות לטבלה ב-BigQuery.

תצוגת תכונות שמכילה את התכונות f2 ו-f4 שמקורן בשתי קבוצות של תכונות.
איור 3. דוגמה לFeatureView שמכיל תכונות משתי קבוצות תכונות נפרדות.

מילוי בקשה באופן מיידי

ב-Agent Platform Feature Store יש את הסוגים הבאים של מילוי בקשות אונליין לחיזויים אונליין בזמן אמת:

  • מילוי בקשות אונליין ב-Bigtable שימושי למילוי בקשות של נפחי נתונים גדולים (טרה-בייטים של נתונים). מילוי בקשות באופן מיידי ב-Bigtable לא תומך בהטמעות. אם אתם צריכים להציג כמויות גדולות של נתונים שמתעדכנים לעיתים קרובות, ואין צורך להציג הטמעות, השתמשו במילוי בקשות אונליין של Bigtable.

  • מילוי בקשות אופטימלי אונליין (הוצא משימוש): מאפשר למלא בקשות אונליין של מאפיינים בזמני אחזור קצרים במיוחד. מילוי בקשות אונליין שעבר אופטימיזציה תומך גם בניהול הטמעות.

    כדי להשתמש במילוי בקשות אופטימלי אונליין, צריך להגדיר נקודת קצה ציבורית או נקודת קצה ייעודית של Private Service Connect.

במאמר סוגי מילוי בקשות אונליין מוסבר איך להגדיר מילוי בקשות אונליין ב-Agent Platform Feature Store אחרי שמגדירים מאפיינים.

הצגה אופליין של חיזויים באצווה או אימון מודלים

מכיוון שאין צורך להעתיק או לייבא את נתוני המאפיינים מ-BigQuery למאגר נפרד אופליין ב-Gemini Enterprise Agent Platform, אתם יכולים להשתמש ביכולות של BigQuery לניהול ולייצוא נתונים כדי:

למידע נוסף על למידת מכונה באמצעות BigQuery, קראו את המבוא ל-BigQuery ML.

התנאים של Agent Platform Feature Store

הנדסת פיצ'רים (feature engineering)
  • הנדסת פיצ'רים (feature engineering) היא תהליך שבו הופכים נתונים גולמיים של למידת מכונה (ML) לפיצ'רים שאפשר להשתמש בהם כדי לאמן מודלים של למידת מכונה או כדי להסיק מסקנות.

תכונה
  • בלמידת מכונה (ML), מאפיין הוא תכונה או מאפיין של מופע או ישות שמשמשים כקלט לאימון מודל למידת מכונה או להסקת מסקנות.

ערך המאפיין
  • ערך של מאפיין תואם לערך בפועל ולערך שניתן למדידה של מאפיין (תכונה) של מופע או ישות. אוסף של ערכי מאפיינים של ישות ייחודית מייצג את רשומת המאפיינים שתואמת לישות.

חותמת הזמן של התכונה
  • חותמת זמן של מאפיין מציינת מתי נוצרה קבוצת הערכים של המאפיין ברשומת מאפיין ספציפית של ישות.

רשומת תכונה
  • רשומת מאפיינים היא צבירה של כל ערכי המאפיינים שמתארים את התכונות של ישות ייחודית בנקודת זמן ספציפית.

מונחים שקשורים ל-Feature Registry

מאגר תכונות
  • מרשם מאפיינים הוא ממשק מרכזי לרישום מקורות נתונים של מאפיינים שרוצים להציג להסקת מסקנות אונליין. מידע נוסף זמין במאמר הגדרת Feature Registry.

קבוצת תכונות
  • קבוצת מאפיינים היא משאב של רישום מאפיינים שתואם לטבלה או לתצוגה של מקור BigQuery שמכילה נתוני מאפיינים. תצוגת מאפיינים יכולה להכיל מאפיינים, ואפשר להתייחס אליה כאל קיבוץ לוגי של עמודות מאפיינים במקור הנתונים.

ייצוא מאפיינים
  • ייצוא מאפיינים הוא התהליך של ייצוא או אחזור של ערכי מאפיינים לאימון או להסקת מסקנות. ב-Vertex AI יש שני סוגים של ייצוא מאפיינים: ייצוא אונליין וייצוא אופליין. מילוי בקשה באופן מיידי מאחזר את ערכי המאפיינים העדכניים ביותר של קבוצת משנה של מקור נתוני המאפיינים, לצורך הסקות אונליין. שליפת נתונים אופליין או ב-batch מייצאת כמויות גדולות של נתוני מאפיינים, כולל נתונים היסטוריים, לעיבוד אופליין, כמו אימון מודל למידת מכונה.

חנות פיזית
  • מאגר הנתונים אופליין הוא מתקן אחסון שבו נשמרים נתוני מאפיינים עדכניים והיסטוריים, שבדרך כלל משמשים לאימון מודלים של למידת מכונה. מאגר אופליין מכיל גם את ערכי המאפיינים העדכניים ביותר, שאפשר להשתמש בהם להסקת מסקנות אונליין.

חנות אונליין
  • בניהול תכונות, חנות אונליין היא מתקן אחסון לערכי התכונות העדכניים ביותר שיוצגו להסקת מסקנות אונליין.

תצוגת תכונות
  • תצוגת מאפיינים היא אוסף לוגי של מאפיינים שנוצרו ממקור נתונים ב-BigQuery למכונה של חנות אונליין. תצוגת מאפיינים שומרת את נתוני המאפיינים של הלקוח ומרעננת אותם מדי פעם מהמקור ב-BigQuery. תצוגת מאפיינים משויכת לאחסון נתוני המאפיינים באופן ישיר או באמצעות שיוך למשאבים של מרשם המאפיינים.

אילוצי מיקום

כל המשאבים של Agent Platform Feature Store צריכים להיות באותו אזור או באותו מיקום בכמה אזורים כמו מקור הנתונים ב-BigQuery. לדוגמה, אם מקור הנתונים של התכונה נמצא ב-us-central1, צריך ליצור את המכונה של FeatureOnlineStore רק ב-us-central1 או במיקום של מספר אזורים ב-US.

תוויות של תכונות

אפשר להוסיף תוויות למשאבים במהלך יצירת המשאב או אחריו. למידע נוסף על הוספת תוויות למשאבים קיימים של Agent Platform Feature Store, ראו עדכון תוויות.

מטא-נתונים של גרסת המשאב

ב-Agent Platform Feature Store יש תמיכה רק בגרסה 0 של המאפיינים.

מעקב אחרי התכונות

בעזרת Agent Platform Feature Store אתם יכולים להגדיר מעקב אחרי מאפיינים כדי לאחזר נתונים סטטיסטיים של מאפיינים ולזהות חריגות בנתוני המאפיינים. אתם יכולים להגדיר לוחות זמנים למעקב כדי להריץ משימות מעקב באופן תקופתי, או להריץ משימת מעקב באופן ידני. מידע נוסף על הגדרת מעקב אחרי מאפיינים והרצת משימות מעקב אחרי מאפיינים זמין במאמר מעקב אחרי מאפיינים לאיתור חריגות.

ניהול הטמעות ואחזור וקטורים

מילוי בקשות אופטימלי אונליין ב-Agent Platform Feature Store תומך בניהול הטמעות. אפשר לאחסן הטמעות ב-BigQuery כמערכים רגילים של double. בעזרת יכולות הניהול של הטמעות ב-Agent Platform Feature Store, אתם יכולים לבצע חיפושים של דמיון וקטורי כדי לאחזר ישויות שהן השכנים הקרובים ביותר המשוערים של ישות או ערך הטמעה מסוימים.

כדי להשתמש בניהול הטמעות ב-Agent Platform Feature Store, צריך לבצע את הפעולות הבאות:

במאמר ביצוע חיפוש וקטורי של ישויות מוסבר איך לבצע חיפוש דמיון וקטורי ב-Agent Platform Feature Store.

שמירת נתונים

ב-Agent Platform Feature Store נשמרים ערכי המאפיינים העדכניים ביותר של מזהה ייחודי, על סמך חותמת הזמן שמשויכת לערכי המאפיינים במקור הנתונים. אין מגבלה על שמירת הנתונים בחנות אונליין.

מכיוון שהמאגר אופליין מוקצה על ידי BigQuery, יכול להיות שמגבלות או מכסות של שמירת נתונים מ-BigQuery יחולו על מקור הנתונים של המאפיינים, כולל ערכים היסטוריים של מאפיינים. מידע נוסף על מכסות ומגבלות ב-BigQuery

מכסות ומגבלות

ב-Agent Platform Feature Store יש מכסות ומגבלות כדי לעזור לכם לנהל את המשאבים באמצעות הגדרת מגבלות שימוש, וכדי להגן על קהילת המשתמשים שלGoogle Cloud על ידי מניעת עליות חדות ובלתי צפויות בשימוש. כדי להשתמש ביעילות במשאבים של Agent Platform Feature Store בלי לחרוג מהמגבלות, כדאי לעיין במכסות ובמגבלות של Agent Platform Feature Store.

תמחור

למידע על תמחור השימוש במשאבים של Agent Platform Feature Store, ראו תמחור של Agent Platform Feature Store.

מדריכים ל-Notebook

אתם יכולים להשתמש בדוגמאות ובמדריכים הבאים כדי לקבל מידע נוסף על Feature Store ב-Gemini Enterprise Agent Platform.

ייצוא מאפיינים אונליין ואחזור נתונים של BigQuery באמצעות ייצוא אונליין של Vertex AI Feature Store Bigtable

במדריך הזה תלמדו איך להשתמש במילוי בקשות אונליין של Bigtable ב-Vertex AI Feature Store כדי למלא בקשות אונליין ולאחזר ערכי מאפיינים ב-BigQuery.

פתיחה ב-Colab  |  פתיחה ב-Colab Enterprise  |  הצגה ב-GitHub

הצגת מאפיינים אונליין ואחזור וקטורים של נתוני BigQuery באמצעות Vertex AI Feature Store

במדריך הזה תלמדו איך להשתמש ב-Vertex AI Feature Store כדי למלא בקשות באופן מיידי ולאחזר וקטורים של ערכי מאפיינים ב-BigQuery.

פתיחה ב-Colab  |  פתיחה ב-Colab Enterprise  |  הצגה ב-GitHub

סוכני שירות של תצוגת מאפיינים ב-Vertex AI Feature Store

במדריך הזה נסביר איך להפעיל סוכני שירות של תצוגת תכונות, ואיך לתת לכל תצוגת תכונות גישת צפייה לנתוני המקור הספציפיים שבהם משתמשים.

פתיחה ב-Colab  |  פתיחה ב-Colab Enterprise  |  הצגה ב-GitHub

מדריך בנושא עיגון של מודל שפה גדול (LLM) שמבוסס על Vertex AI Feature Store

במדריך הזה תלמדו איך לחלק פרטים שהמשתמשים מספקים (UPD), ואז ליצור וקטורים של הטמעות לכל חלק באמצעות מודל שפה גדול (LLM) עם יכולות ליצירת הטמעות. אחרי זה אפשר לטעון את קבוצת הנתונים של וקטור ההטמעה שנוצר ל-Vertex AI Feature Store, וכך לאחזר מאפיינים במהירות ולמלא בקשות באופן מיידי.

פתיחה ב-Colab  |  פתיחה ב-Colab Enterprise  |  הצגה ב-GitHub

איך יוצרים אפליקציית GenAI RAG באמצעות Vertex AI Feature Store ו-BigQuery

במדריך הזה תלמדו איך ליצור מערכת חיפוש וקטורי עם זמן אחזור קצר לאפליקציית ה-AI הגנרטיבי שלכם, באמצעות חיפוש וקטורי ב-BigQuery ו-Vertex AI Feature Store.

פתיחה ב-Colab  |  פתיחה ב-Colab Enterprise  |  הצגה ב-GitHub

הגדרת מדיניות IAM ב-Vertex AI Feature Store

במדריך הזה תלמדו איך להגדיר מדיניות IAM כדי לשלוט בגישה למשאבים ולנתונים שמאוחסנים ב-Vertex AI Feature Store.

פתיחה ב-Colab  |  פתיחה ב-Colab Enterprise  |  הצגה ב-GitHub

המאמרים הבאים