Feature Store ב-Gemini Enterprise Agent Platform הוא שירות מנוהל של מאגר תכונות מובנה בענן, שהוא חלק בלתי נפרד מ-Gemini Enterprise Agent Platform. הוא מייעל את תהליכי הניהול של תכונות ה-ML וההצגה באינטרנט, ומאפשר לכם לנהל את נתוני התכונות בטבלה או בתצוגה של BigQuery. לאחר מכן תוכלו להציג תכונות אונליין ישירות ממקור הנתונים של BigQuery.
מאגר התכונות של פלטפורמת הנציגים מספק משאבים שמאפשרים לכם להגדיר שירות אונליין על ידי ציון מקורות נתוני התכונות. לאחר מכן, הוא פועל כשכבת מטא-נתונים שמתקשרת עם מקורות הנתונים של BigQuery ומציג את ערכי התכונות העדכניים ישירות מ-BigQuery לחיזויים אונליין עם חביון נמוך.
ב-Agent Platform Feature Store, הטבלאות או התצוגות ב-BigQuery שמכילות את נתוני התכונות יוצרות ביחד את המאגר האופליין. אפשר לשמור את ערכי המאפיינים, כולל נתונים היסטוריים של מאפיינים, בחנות האופליין. מכיוון שכל נתוני התכונות נשמרים ב-BigQuery, אין צורך להקצות מאגר נפרד אופליין ב-Agent Platform Feature Store ב-Gemini Enterprise Agent Platform. בנוסף, אם רוצים להשתמש בנתונים בחנות האופליין כדי לאמן מודלים של ML, אפשר להשתמש בממשקי ה-API וביכולות ב-BigQuery כדי לייצא או לאחזר את הנתונים.
תהליך העבודה להגדרה ולהתחלת הפעלה אונליין באמצעות Agent Platform Feature Store יכול להיות מסוכם באופן הבא:
מכינים את מקור הנתונים ב-BigQuery.
אופציונלי: אפשר לרשום את מקורות הנתונים על ידי יצירת קבוצות של תכונות ותכונות.
מגדירים משאבים של חנות אונליין ותצוגת תכונות כדי לקשר את מקורות הנתונים של התכונות עם אשכולות להצגת מודלים אונליין.
להציג את הערכים העדכניים ביותר של התכונות אונליין מתצוגת תכונות.
מודל הנתונים והמקורות של Agent Platform Feature Store
בקטע הזה מוסבר על מודלים של נתונים ומשאבים שקשורים להיבטים הבאים של מאגר התכונות של פלטפורמת הסוכנים:
הכנת מקור נתונים ב-BigQuery
במהלך ההגשה אונליין, מאגר התכונות של Agent Platform משתמש בנתוני תכונות ממקורות נתונים של BigQuery. לפני שמגדירים את Feature Registry או משאבים למילוי בקשה באופן מיידי, צריך לאחסן את נתוני התכונות בטבלה או בתצוגה אחת או יותר ב-BigQuery.
בטבלה או בתצוגה ב-BigQuery, כל עמודה מייצגת תכונה. כל שורה מכילה ערכי תכונות שמתאימים למזהה ייחודי. מידע נוסף על הכנת נתוני התכונות ב-BigQuery זמין במאמר הכנת מקור הנתונים.
לדוגמה, באיור 1, הטבלה ב-BigQuery כוללת את העמודות הבאות:
f1ו-f2: עמודות מאפיינים.
entity_id: עמודת מזהה שמכילה את המזהים הייחודיים לזיהוי כל רשומה של תכונה.feature_timestamp: עמודה של חותמות זמן.
מכיוון שמכינים את מקור הנתונים ב-BigQuery ולא ב-Gemini Enterprise Agent Platform, בשלב הזה לא צריך ליצור משאבים ב-Gemini Enterprise Agent Platform.
הגדרה של Feature Registry
אחרי שמכינים את מקורות הנתונים ב-BigQuery, אפשר לרשום אותם במאגר התכונות, כולל עמודות ספציפיות של תכונות.
הרישום של התכונות הוא אופציונלי. אתם יכולים להציג תכונות אונליין גם אם לא הוספתם את מקורות הנתונים של BigQuery למאגר התכונות. עם זאת, כדאי לרשום את התכונות בתרחישים הבאים:
הנתונים שלכם מכילים כמה מופעים של אותו מזהה ישות, ואתם צריכים להכין את הנתונים בפורמט של סדרת זמן עם עמודה של חותמת זמן. כשרושמים את התכונות, Agent Platform Feature Store מחפש את חותמת הזמן ומציג רק את הערכים האחרונים של התכונות.
רוצים לרשום עמודות ספציפיות של מאפיינים ממקור נתונים.
אתם רוצים לצבור עמודות ספציפיות מכמה מקורות נתונים כדי להגדיר מופע של תצוגת תכונות.
אתם רוצים לעקוב אחרי הנתונים הסטטיסטיים של התכונה ולזהות סחף של תכונות.
יש שני סוגים של משאבים של Agent Platform Feature Store ב-Feature Registry:
מקורות מידע של Feature Registry לנתוני תכונות
כדי לרשום את נתוני התכונה ב-Feature Registry, צריך ליצור את המשאבים הבאים ב-Feature Store של Agent Platform:
קבוצת תכונות (
FeatureGroup): משאבFeatureGroupמשויך לטבלת מקור או לתצוגה ספציפית ב-BigQuery. הוא מייצג קיבוץ לוגי של עמודות מאפיינים, שמיוצגות על ידי משאביFeature. קבוצת תכונות מכילה גם עמודה אחת או יותר של מזהי ישויות, כדי לזהות את רשומות התכונות. אם נתוני התכונות הם בפורמט של סדרת זמן, קבוצת התכונות צריכה לכלול גם עמודה של חותמת זמן. מידע על יצירת קבוצת תכונות זמין במאמר יצירת קבוצת תכונות.Feature (
Feature): משאבFeatureמייצג עמודה ספציפית שמכילה ערכי מאפיינים ממקור נתוני המאפיינים שמשויך למשאב האבFeatureGroup. מידע על יצירת תכונות בתוך קבוצת תכונות זמין במאמר יצירת תכונה.
לדוגמה, באיור 2 מוצגת קבוצת תכונות שכוללת את עמודות התכונות f1 ו-f2, שמגיעות מטבלה ב-BigQuery שמשויכת לקבוצת התכונות. מקור הנתונים ב-BigQuery מכיל ארבע עמודות של תכונות – שתי עמודות צוברות כדי ליצור את קבוצת התכונות. קבוצת התכונות מכילה גם עמודה של מזהה ישות ועמודה של חותמת זמן של התכונה.
FeatureGroup שמכיל שתי עמודות Feature שמקורן במקור נתונים ב-BigQuery.משאבים של Feature Registry למעקב אחרי תכונות
משאבי מעקב אחרי תכונות מאפשרים לעקוב אחרי נתוני התכונות שנרשמו באמצעות משאבי FeatureGroupו-Feature. אפשר ליצור את המשאבים הבאים שקשורים למעקב אחרי תכונות:
מעקב אחרי תכונות (
FeatureMonitor): משאבFeatureMonitorמשויך למשאבFeatureGroupולתכונה אחת או יותר בקבוצת התכונות הזו. הוא מציין את לוח הזמנים של המעקב. אתם יכולים ליצור כמה משאבים של מעקב אחרי תכונות כדי להגדיר לוחות זמנים שונים למעקב אחרי אותה קבוצה של תכונות. לדוגמה, אם התכונותf1ו-f2מתעדכנות כל שעה, אבל התכונותf3ו-f4מתעדכנות כל יום, אפשר ליצור שני משאבים של מעקב אחרי תכונות כדי לעקוב אחרי התכונות האלה בצורה יעילה:התכונה 'מעקב'
fm1שמריצה משימת מעקב כל שעה על התכונותf1ו-f2.התכונה 'מעקב'
fm2שמריצה משימת מעקב כל יום על התכונותf3ו-f4.
עבודת מעקב אחרי תכונות (
FeatureMonitorJob): משאבFeatureMonitorJobמכיל את הנתונים הסטטיסטיים והמידע על התכונה שנאספו כשעבודת מעקב אחרי תכונות מופעלת. הוא יכול להכיל גם מידע על אנומליות, כמו סחף של תכונות, שאותרו בנתוני התכונות.
מידע נוסף על יצירת משאבים למעקב אחרי תכונות זמין במאמר בנושא מעקב אחרי תכונות כדי לזהות אנומליות.
הגדרה של מילוי בקשה באופן מיידי
כדי להציג תכונות לחיזויים אונליין, צריך להגדיר לפחות אשכול אחד של שרתים אונליין ולקשר אותו למקור נתוני התכונות או למשאבי Feature Registry. ב-Agent Platform Feature Store, אשכול ההצגה אונליין נקרא מופע של חנות אונליין. מופע של חנות אונליין יכול להכיל כמה מופעים של תצוגת תכונות, כאשר כל תצוגת תכונות משויכת למקור נתונים של תכונות.
משאבים למילוי בקשות אונליין
כדי להגדיר הצגה אונליין, צריך ליצור את המשאבים הבאים של Agent Platform Feature Store:
חנות אונליין (
FeatureOnlineStore): משאבFeatureOnlineStoreמייצג מופע של אשכול להצגת מודעות אונליין, והוא מכיל את ההגדרה של הצגת מודעות אונליין, כמו מספר הצמתים להצגת מודעות אונליין. במופע של חנות אונליין לא מצוין המקור של נתוני התכונות, אבל הוא מכילFeatureViewמשאבים שמציינים את מקורות הנתונים של התכונות ב-BigQuery או במרכז רישום התכונות. במאמר יצירת מופע של חנות אונליין מוסבר איך ליצור מופע של חנות אונליין.תצוגת תכונות (
FeatureView): משאבFeatureViewהוא אוסף לוגי של תכונות במופע של חנות אונליין. כשיוצרים תצוגת תכונות, אפשר לציין את המיקום של מקור נתוני התכונות באחת מהדרכים הבאות:משייכים קבוצה אחת או יותר של תכונות ותכונות ממאגר התכונות. קבוצת תכונות מציינת את המיקום של מקור הנתונים ב-BigQuery. תכונה בקבוצת התכונות מצביעה על עמודת תכונות ספציפית במקור הנתונים הזה.
אפשר גם לשייך טבלת מקור או תצוגה מפורטת של BigQuery.
במאמר יצירת תצוגת תכונות מוסבר איך ליצור מופעים של תצוגת תכונות בחנות אונליין.
לדוגמה, באיור 3 מוצגת תצוגת תכונות שכוללת את עמודות התכונות f2 ו-f4, שמגיעות משתי קבוצות תכונות נפרדות שמשויכות לטבלה ב-BigQuery.
FeatureView שמכיל תכונות משתי קבוצות תכונות נפרדות.מילוי בקשה באופן מיידי
Agent Platform Feature Store מספק את סוגי ההצגה הבאים באינטרנט לחיזויים בזמן אמת באינטרנט:
Bigtable online serving שימושי להצגת כמויות גדולות של נתונים (טרה-בייט של נתונים). הגשה אונליין של Bigtable לא תומכת בהטמעות. אם אתם צריכים להציג נפחים גדולים של נתונים שמתעדכנים לעיתים קרובות ולא צריכים להציג הטמעות, כדאי להשתמש בהצגה אונליין של Bigtable.
אופטימיזציה של הצגת תכונות באינטרנט (יצא משימוש) מאפשרת להציג תכונות באינטרנט עם זמני אחזור נמוכים במיוחד. הצגה אונליין שעברה אופטימיזציה תומכת גם בניהול הטמעה.
כדי להשתמש בהצגה אונליין אופטימלית, צריך להגדיר נקודת קצה ציבורית או נקודת קצה ייעודית של Private Service Connect.
במאמר סוגי מילוי בקשה באופן מיידי מוסבר איך להגדיר מילוי בקשה באופן מיידי ב-Feature Store של Agent Platform אחרי שמגדירים תכונות.
הצגת תחזיות באצווה או אימון מודלים במצב אופליין
מכיוון שלא צריך להעתיק או לייבא את נתוני התכונות מ-BigQuery למאגר נפרד אופליין ב-Vertex AI, אפשר להשתמש ביכולות ניהול הנתונים והייצוא של BigQuery כדי לבצע את הפעולות הבאות:
שאילתת נתונים של תכונות, כולל נתונים היסטוריים בנקודת זמן מסוימת.
עיבוד מוקדם וייצוא של נתוני תכונות לאימון מודלים ולחיזויים באצווה.
מידע נוסף על למידת מכונה באמצעות BigQuery זמין במאמר מבוא ל-BigQuery ML.
התנאים של Agent Platform Feature Store
מונחים שקשורים להנדסת תכונות
הנדסת תכונות
- הנדסת פיצ'רים (feature engineering) היא תהליך של טרנספורמציה של נתונים גולמיים של למידת מכונה (ML) לפיצ'רים שאפשר להשתמש בהם כדי לאמן מודלים של למידת מכונה או כדי להסיק מסקנות.
feature
- בלמידת מכונה (ML), תכונה היא מאפיין של מופע או ישות שמשמש כקלט לאימון מודל ML או להסקת מסקנות.
ערך התכונה
- ערך של תכונה תואם לערך בפועל ולערך שניתן למדידה של תכונה (מאפיין) של מופע או ישות. אוסף של ערכי מאפיינים של הישות הייחודית מייצג את רשומת המאפיינים שמתאימה לישות.
חותמת זמן של התכונה
- חותמת זמן של תכונה מציינת מתי נוצר סט ערכי התכונות ברשומה ספציפית של תכונה עבור ישות.
רשומת תכונה
- רשומה של תכונה היא צבירה של כל ערכי התכונות שמתארים את המאפיינים של ישות ייחודית בנקודת זמן ספציפית.
מונחים שקשורים ל-Feature Registry
feature registry
- מאגר תכונות הוא ממשק מרכזי לתיעוד מקורות נתונים של תכונות שרוצים להכניס לשימוש בסביבת הייצור עבור היקשים אונליין. מידע נוסף מופיע במאמר בנושא הגדרת Feature Registry.
קבוצת תכונות
- קבוצת תכונות היא משאב במאגר התכונות שתואם לטבלה או לתצוגה של מקור ב-BigQuery שמכילים נתוני תכונות. תצוגת תכונות עשויה להכיל תכונות, ואפשר לחשוב עליה כקיבוץ לוגי של עמודות תכונות במקור הנתונים.
מונחים שקשורים להצגת תכונות
ייצוא מאפיינים
- ייצוא מאפיינים הוא תהליך של ייצוא או אחזור של ערכי מאפיינים לצורך אימון או היקש. ב-Vertex AI, יש שני סוגים של הצגת תכונות – הצגה אונליין והצגה אופליין. הצגת מודלים אונליין מאחזרת את ערכי התכונות העדכניים ביותר של קבוצת משנה של מקור נתוני התכונות לצורך הסקת מסקנות אונליין. ייצוא אופליין או שליפת נתונים ב-batch מאפשר לייצא כמויות גדולות של נתוני תכונות – כולל נתונים היסטוריים – לעיבוד אופליין, כמו אימון מודלים של ML.
חנות אופליין
- המאגר האופליין הוא מתקן אחסון שבו מאוחסנים נתונים עדכניים והיסטוריים של תכונות, שמשמשים בדרך כלל לאימון מודלים של למידת מכונה. חנות אופליין מכילה גם את הערכים העדכניים של התכונות, שאפשר להשתמש בהם להסקת מסקנות אונליין.
חנות אונליין
- בניהול התכונות, חנות וירטואלית היא מתקן אחסון של ערכי התכונות העדכניים ביותר שמוצגים להסקת מסקנות אונליין.
תצוגת תכונות
- תצוגת תכונות היא אוסף לוגי של תכונות שנוצרו ממקור נתונים ב-BigQuery למופע של חנות אונליין. תצוגת תכונות מאחסנת ומעדכנת מעת לעת את נתוני התכונות של הלקוח, שמתעדכנים מעת לעת ממקור BigQuery. תצוגת תכונות משויכת לאחסון נתוני התכונות באופן ישיר או דרך שיוכים למשאבי רישום התכונות.
מגבלות מיקום
כל המשאבים של Agent Platform Feature Store צריכים להיות באותו אזור או באותו מיקום רב-אזורי כמו מקור הנתונים שלכם ב-BigQuery. לדוגמה, אם מקור הנתונים של התכונה נמצא ב-us-central1, צריך ליצור את מופע FeatureOnlineStore רק ב-us-central1 או במיקום הרב-אזורי US.
תוויות של תכונות
אפשר להוסיף תוויות למשאבים במהלך יצירת המשאבים או אחרי היצירה. למידע נוסף על הוספת תוויות למשאבים קיימים ב-Agent Platform Feature Store, אפשר לעיין במאמר בנושא עדכון תוויות.
מטא-נתונים של גרסת משאב
מאגר התכונות של פלטפורמת הסוכנים תומך רק בגרסה 0 של התכונות.
מעקב אחרי תכונות
Agent Platform Feature Store מאפשר לכם להגדיר מעקב אחרי תכונות כדי לאחזר נתונים סטטיסטיים על תכונות ולזהות חריגות בנתוני התכונות. אתם יכולים להגדיר לוחות זמנים למעקב כדי להריץ מעקב תקופתי, או להריץ ידנית משימת מעקב. מידע נוסף על הגדרת מעקב אחרי תכונות והרצת משימות מעקב אחרי תכונות זמין במאמר מעקב אחרי תכונות לאיתור אנומליות.
ניהול הטמעות ואחזור וקטורים
מילוי בקשה באופן מיידי אופטימלי ב-Agent Platform Feature Store תומך בניהול הטמעה. אפשר לאחסן הטמעות ב-BigQuery כמערכים רגילים של double. באמצעות יכולות ניהול ההטמעה של Agent Platform Feature Store, אפשר לבצע חיפושים של דמיון וקטורי כדי לאחזר ישויות שהן השכנות הקרובות המשוערות של ישות או ערך הטמעה שצוינו.
כדי להשתמש בניהול הטמעה ב-Feature Store של Agent Platform, צריך לבצע את הפעולות הבאות:
מגדירים את מקור הנתונים ב-BigQuery כך שיכלול את העמודה
embeddingכדי לתמוך בהטמעות. אפשר גם לכלול עמודות של סינון ושל צפיפות. מידע נוסף זמין במאמר בנושא הנחיות להכנת מקורות נתונים.יוצרים מופע של חנות וירטואלית להצגה אופטימלית של מוצרים אונליין.
כשיוצרים את תצוגת התכונות, מציינים את העמודה
embedding. מידע נוסף על יצירת תצוגת תכונות שתומכת בהטמעות זמין במאמר הגדרת אחזור וקטורים לתצוגת תכונות.
מידע על ביצוע חיפוש דמיון וקטורי ב-Agent Platform Feature Store זמין במאמר ביצוע חיפוש וקטורי של ישויות.
שמירת נתונים
Agent Platform Feature Store שומר את הערכים האחרונים של תכונה מסוימת עבור מזהה ייחודי, על סמך חותמת הזמן שמשויכת לערכי התכונה במקור הנתונים. אין הגבלה על תקופת שמירת הנתונים בחנות הווירטואלית.
המאגר האופליין מוקצה על ידי BigQuery, ולכן יכול להיות שחלים עליו מכסות או מגבלות של BigQuery על שמירת נתונים, כולל ערכים היסטוריים של תכונות. מידע נוסף על מכסות ומגבלות ב-BigQuery
מכסות ומגבלות
מאגר התכונות של פלטפורמת הסוכנים אוכף מכסות ומגבלות כדי לעזור לכם לנהל את המשאבים על ידי הגדרת מגבלות שימוש, וכדי להגן על קהילת משתמשיGoogle Cloud על ידי מניעת עליות חדות ובלתי צפויות בשימוש. כדי להשתמש ביעילות במשאבים של Agent Platform Feature Store בלי להגיע למגבלות האלה, כדאי לעיין במכסות והגבלות של Agent Platform Feature Store.
תמחור
מידע על תמחור לפי שימוש במשאבים ב-Agent Platform Feature Store זמין במאמר תמחור של Agent Platform Feature Store.
מדריכים לשימוש ב-Notebook
כדי לקבל מידע נוסף על Feature Store ב-Gemini Enterprise Agent Platform, אפשר להיעזר בדוגמאות ובמדריכים הבאים.
הצגת תכונות אונליין ואחזור נתונים מ-BigQuery באמצעות Vertex AI Feature Store Bigtable online serving
|
במדריך הזה תלמדו איך להשתמש ב-Bigtable לצורך מילוי בקשות אונליין ב-Vertex AI Feature Store כדי למלא בקשות אונליין ולאחזר ערכי תכונות ב-BigQuery. |
ייצוא מאפיינים אונליין ושליפת וקטורים של נתונים מ-BigQuery באמצעות Vertex AI Feature Store
|
|
במדריך הזה תלמדו איך להשתמש ב-Vertex AI Feature Store למילוי בקשה באופן מיידי ולאחזור וקטורי של ערכי מאפיינים ב-BigQuery. |
סוכני שירות של תצוגת תכונות ב-Vertex AI Feature Store
|
|
במדריך הזה נסביר איך להפעיל סוכני שירות של תצוגת מאפיינים ולהעניק לכל תצוגת מאפיינים גישה לנתוני המקור הספציפיים שבהם נעשה שימוש. |
הדרכה בנושא ביסוס מודלים של LLM על Vertex AI Feature Store
|
|
במדריך הזה תלמדו איך לחלק פרטים שהמשתמשים מספקים לחלקים קטנים יותר, ואז ליצור וקטורי הטמעה לכל חלק באמצעות מודל שפה גדול (LLM) שיש לו יכולות ליצירת הטמעה. אחר כך אפשר לטעון את מערך הנתונים של וקטור ההטמעה שנוצר אל Vertex AI Feature Store, וכך לאחזר תכונות במהירות ולבצע הגשה יעילה באינטרנט. |
יצירת אפליקציית RAG מבוססת-AI גנרטיבי באמצעות Vertex AI Feature Store ו-BigQuery
|
|
במדריך הזה תלמדו איך לבנות מערכת לחיפוש וקטורים עם זמן אחזור נמוך לאפליקציית ה-AI הגנרטיבי שלכם באמצעות חיפוש וקטורים ב-BigQuery ו-Feature Store של Vertex AI. |
הגדרת מדיניות IAM ב-Vertex AI Feature Store
|
|
במדריך הזה תלמדו איך להגדיר מדיניות IAM כדי לשלוט בגישה למשאבים ולנתונים שמאוחסנים ב-Vertex AI Feature Store. |