Feature Store ב-Gemini Enterprise Agent Platform הוא שירות מנוהל של מאגר תכונות מובנה בענן, שהוא חלק בלתי נפרד מ-Gemini Enterprise Agent Platform. הוא מייעל את תהליכי הניהול של תכונות ה-ML וההצגה באינטרנט, כי הוא מאפשר לכם לנהל את נתוני התכונות בטבלה או בתצוגה של BigQuery. לאחר מכן תוכלו להציג תכונות אונליין ישירות ממקור הנתונים של BigQuery.
מאגר התכונות של פלטפורמת הנציגים מספק משאבים שמאפשרים לכם להגדיר שירות אונליין על ידי ציון מקורות נתוני התכונות. לאחר מכן, הוא פועל כשכבת מטא-נתונים שמתקשרת עם מקורות הנתונים של BigQuery ומציג את ערכי התכונות העדכניים ישירות מ-BigQuery לחיזויים אונליין עם חביון נמוך.
ב-Agent Platform Feature Store, הטבלאות או התצוגות של BigQuery שמכילות את נתוני התכונות יוצרות ביחד את המאגר האופליין. אפשר לשמור את ערכי המאפיינים, כולל נתונים היסטוריים של מאפיינים, בחנות האופליין. מכיוון שכל נתוני התכונות נשמרים ב-BigQuery, אין צורך להקצות מאגר נפרד אופליין ב-Agent Platform Feature Store ב-Gemini Enterprise Agent Platform. בנוסף, אם רוצים להשתמש בנתונים בחנות האופליין כדי לאמן מודלים של ML, אפשר להשתמש בממשקי ה-API וביכולות ב-BigQuery כדי לייצא או לאחזר את הנתונים.
תהליך העבודה להגדרה ולהתחלה של שירות אונליין באמצעות Agent Platform Feature Store יכול להיות מסוכם באופן הבא:
מכינים את מקור הנתונים ב-BigQuery.
אופציונלי: אפשר לרשום את מקורות הנתונים על ידי יצירת קבוצות של תכונות ותכונות.
מגדירים משאבים של חנות אונליין ותצוגת תכונות כדי לקשר את מקורות הנתונים של התכונות עם אשכולות להצגת מודלים אונליין.
הצגת הערכים העדכניים ביותר של תכונות אונליין מתצוגת תכונות.
מודל הנתונים והמקורות של Agent Platform Feature Store
בקטע הזה מוסבר על מודלים של נתונים ומשאבים שקשורים להיבטים הבאים של Agent Platform Feature Store:
הכנת מקור נתונים ב-BigQuery
במהלך ההגשה אונליין, Agent Platform Feature Store משתמש בנתוני פיצ'רים ממקורות נתונים של BigQuery. לפני שמגדירים את Feature Registry או משאבים למילוי בקשה באופן מיידי, צריך לאחסן את נתוני התכונות בטבלה אחת או יותר או בתצוגות מפורטות של BigQuery.
בטבלה או בתצוגה ב-BigQuery, כל עמודה מייצגת תכונה. כל שורה מכילה ערכי תכונות שמתאימים למזהה ייחודי. מידע נוסף על הכנת נתוני התכונות ב-BigQuery זמין במאמר הכנת מקור הנתונים.
לדוגמה, באיור 1, הטבלה ב-BigQuery כוללת את העמודות הבאות:
f1ו-f2: עמודות מאפיינים.
entity_id: עמודת מזהה שמכילה את המזהים הייחודיים לזיהוי של כל רשומה של תכונה.feature_timestamp: עמודה של חותמות זמן.
מכיוון שמכינים את מקור הנתונים ב-BigQuery ולא ב-Gemini Enterprise Agent Platform, לא צריך ליצור משאבים ב-Gemini Enterprise Agent Platform בשלב הזה.
הגדרת מאגר התכונות
אחרי שמכינים את מקורות הנתונים ב-BigQuery, אפשר לרשום אותם, כולל עמודות ספציפיות של תכונות, במאגר התכונות.
הרישום של התכונות הוא אופציונלי. אתם יכולים להציג תכונות אונליין גם אם לא הוספתם את מקורות הנתונים של BigQuery למאגר התכונות. עם זאת, כדאי לרשום את התכונות בתרחישים הבאים:
הנתונים שלכם מכילים כמה מופעים של אותו מזהה ישות, ואתם צריכים להכין את הנתונים בפורמט של סדרת זמן עם עמודה של חותמת זמן. כשרושמים את התכונות, Feature Store של Agent Platform מחפש את חותמת הזמן ומציג רק את הערכים האחרונים של התכונות.
אתם רוצים לרשום עמודות ספציפיות של מאפיינים ממקור נתונים.
אתם רוצים לצבור עמודות ספציפיות מכמה מקורות נתונים כדי להגדיר מופע של תצוגת תכונות.
אתם רוצים לעקוב אחרי הנתונים הסטטיסטיים של התכונה ולזהות סחף של תכונות.
יש שני סוגים של משאבים של Agent Platform Feature Store במאגר התכונות:
משאבים של Feature Registry לנתוני תכונות
כדי לרשום את נתוני התכונות במאגר התכונות, צריך ליצור את המשאבים הבאים במאגר התכונות של פלטפורמת הסוכנים:
קבוצת תכונות (
FeatureGroup): משאבFeatureGroupמשויך לטבלת מקור או לתצוגה ספציפית ב-BigQuery. הוא מייצג קיבוץ לוגי של עמודות תכונות, שמיוצגות על ידי משאביFeature. קבוצת תכונות מכילה גם עמודה אחת או יותר של מזהי ישויות, כדי לזהות את רשומות התכונות. אם נתוני התכונות הם בפורמט של סדרת זמן, קבוצת התכונות צריכה לכלול גם עמודה של חותמת זמן. מידע על יצירה של קבוצת תכונות זמין במאמר יצירה של קבוצת תכונות.Feature (
Feature): משאבFeatureמייצג עמודה ספציפית שמכילה ערכי מאפיינים ממקור נתוני המאפיינים שמשויך למשאב האבFeatureGroupשלו. מידע על יצירת תכונות בתוך קבוצת תכונות זמין במאמר יצירת תכונה.
לדוגמה, באיור 2 מוצגת קבוצת תכונות שכוללת את עמודות התכונות f1 ו-f2, שמגיעות מטבלה ב-BigQuery שמשויכת לקבוצת התכונות. מקור הנתונים ב-BigQuery מכיל ארבע עמודות של תכונות – שתי עמודות צוברות כדי ליצור את קבוצת התכונות. קבוצת התכונות מכילה גם עמודה של מזהה ישות ועמודה של חותמת זמן של התכונה.
FeatureGroup שמכיל שתי עמודות Feature שמקורן במקור נתונים של BigQuery.משאבים של Feature Registry למעקב אחרי תכונות
משאבי מעקב אחרי תכונות מאפשרים לעקוב אחרי נתוני התכונות שנרשמו באמצעות משאבי FeatureGroupוFeature. אפשר ליצור את מקורות המידע הבאים שקשורים למעקב אחרי תכונות:
כלי למעקב אחרי תכונות (
FeatureMonitor): משאבFeatureMonitorמשויך למשאבFeatureGroupולתכונה אחת או יותר בקבוצת התכונות הזו. הוא מציין את לוח הזמנים של המעקב. אתם יכולים ליצור כמה משאבי מעקב אחרי תכונות כדי להגדיר לוחות זמנים שונים למעקב אחרי אותה קבוצת תכונות. לדוגמה, אם התכונותf1ו-f2מתעדכנות כל שעה, אבל התכונותf3ו-f4מתעדכנות כל יום, אפשר ליצור שני משאבי מעקב אחרי תכונות כדי לעקוב אחרי התכונות האלה בצורה יעילה:כלי למעקב אחרי תכונות
fm1שמריץ משימת מעקב כל שעה על התכונותf1ו-f2.תכונת המעקב
fm2שמריצה משימת מעקב מדי יום על התכונותf3ו-f4.
Feature monitor job (
FeatureMonitorJob): משאבFeatureMonitorJobמכיל את הנתונים הסטטיסטיים והמידע על התכונה שנאספו כשמריצים את העבודה של מעקב אחרי תכונות. הוא יכול לכלול גם מידע על אנומליות, כמו סחף של תכונות, שזוהו בנתוני התכונות.
מידע נוסף על יצירת משאבים למעקב אחרי תכונות זמין במאמר מעקב אחרי חריגות בתכונות.
הגדרת מילוי בקשה באופן מיידי
כדי להציג תכונות לחיזויים אונליין, צריך להגדיר לפחות אשכול אחד של שרתים אונליין ולקשר אותו למקור נתוני התכונות או למשאבי Feature Registry. ב-Agent Platform Feature Store, האשכול של שירות אונליין נקרא מופע של חנות אונליין. מופע של חנות אונליין יכול להכיל כמה מופעים של תצוגת מאפיינים, כאשר כל תצוגת מאפיינים משויכת למקור נתוני מאפיינים.
משאבים למילוי בקשות אונליין
כדי להגדיר הצגה אונליין, צריך ליצור את המשאבים הבאים של Agent Platform Feature Store:
חנות אונליין (
FeatureOnlineStore): משאבFeatureOnlineStoreמייצג מופע של אשכול להצגת מודעות אונליין, והוא מכיל את ההגדרה של הצגת מודעות אונליין, כמו מספר הצמתים להצגת מודעות אונליין. מופע של חנות אונליין לא מציין את המקור של נתוני התכונות, אבל הוא מכילFeatureViewמשאבים שמציינים את מקורות נתוני התכונות ב-BigQuery או במאגר התכונות. במאמר יצירת מופע של חנות אונליין מוסבר איך ליצור מופע של חנות אונליין.תצוגת תכונות (
FeatureView): משאבFeatureViewהוא אוסף לוגי של תכונות במופע של חנות אונליין. כשיוצרים תצוגת מאפיינים, אפשר לציין את המיקום של מקור נתוני המאפיינים באחת מהדרכים הבאות:משייכים קבוצה אחת או יותר של תכונות ותכונות ממאגר התכונות. קבוצת תכונות מציינת את המיקום של מקור הנתונים ב-BigQuery. תכונה בקבוצת התכונות מפנה לעמודת תכונות ספציפית במקור הנתונים הזה.
אפשר גם לשייך תצוגה או טבלת מקור ב-BigQuery.
במאמר יצירת תצוגת תכונות מוסבר איך ליצור מופעים של תצוגת תכונות בחנות אונליין.
לדוגמה, באיור 3 מוצג תצוגת תכונות שכוללת עמודות תכונות f2 ו-f4, שמגיעות משתי קבוצות תכונות נפרדות שמשויכות לטבלה ב-BigQuery.
FeatureView שמכיל תכונות משתי קבוצות תכונות נפרדות.מילוי בקשה באופן מיידי
Agent Platform Feature Store מספק את סוגי ההצגה הבאים באינטרנט לחיזויים אונליין בזמן אמת:
Bigtable online serving שימושי להצגת כמויות גדולות של נתונים (טרה-בייט של נתונים). הצגה אונליין של נתונים ב-Bigtable לא תומכת בהטמעות. אם אתם צריכים להציג נפחים גדולים של נתונים שמתעדכנים לעיתים קרובות ולא צריכים להציג הטמעות, כדאי להשתמש בהצגה אונליין של Bigtable.
הצגה אופטימלית של תכונות אונליין (הוצאה משימוש) מאפשרת להציג תכונות אונליין עם זמני אחזור נמוכים במיוחד. הצגה אופטימלית באינטרנט תומכת גם בניהול הטמעות.
כדי להשתמש בהצגה אונליין אופטימלית, צריך להגדיר נקודת קצה ציבורית או נקודת קצה ייעודית של Private Service Connect.
במאמר סוגי מילוי בקשות אונליין מוסבר איך להגדיר מילוי בקשות אונליין במאגר התכונות של Agent Platform אחרי שמגדירים תכונות.
הצגת תחזיות באצווה או אימון מודלים במצב אופליין
מכיוון שלא צריך להעתיק או לייבא את נתוני התכונות מ-BigQuery למאגר נפרד במצב אופליין ב-Vertex AI, אפשר להשתמש ביכולות של BigQuery לניהול נתונים ולייצוא כדי לבצע את הפעולות הבאות:
שאילתת נתונים של תכונות, כולל נתונים היסטוריים בנקודת זמן מסוימת.
עיבוד מוקדם וייצוא של נתוני תכונות לאימון מודלים ולחיזויים באצווה.
מידע נוסף על למידת מכונה באמצעות BigQuery זמין במאמר מבוא ל-BigQuery ML.
התנאים של Agent Platform Feature Store
מונחים שקשורים להנדסת תכונות
הנדסת תכונות
- הנדסת פיצ'רים (feature engineering) היא תהליך של טרנספורמציה של נתונים גולמיים של למידת מכונה (ML) לפיצ'רים שאפשר להשתמש בהם לאימון מודלים של למידת מכונה או להסקת מסקנות.
תכונה
- בלמידת מכונה (ML), תכונה היא מאפיין של מופע או ישות שמשמש כקלט לאימון מודל ML או להסקת מסקנות.
ערך התכונה
- ערך של תכונה תואם לערך בפועל של תכונה (מאפיין) של מופע או ישות, שאפשר למדוד אותו. אוסף של ערכי תכונות עבור הישות הייחודית מייצג את רשומת התכונות שמתאימה לישות.
חותמת זמן של תכונה
- חותמת זמן של תכונה מציינת מתי נוצר סט הערכים של התכונה ברשומה ספציפית של תכונה עבור ישות.
רשומת תכונה
- רשומת תכונה היא צבירה של כל ערכי התכונות שמתארים את המאפיינים של ישות ייחודית בנקודת זמן מסוימת.
מונחים שקשורים ל-Feature Registry
מאגר תכונות
- מרשם תכונות הוא ממשק מרכזי לתיעוד מקורות נתונים של תכונות שרוצים להכניס לשימוש בסביבת הייצור להסקת מסקנות אונליין. מידע נוסף מופיע במאמר בנושא הגדרת Feature Registry.
קבוצת תכונות
- קבוצת תכונות היא משאב במאגר התכונות שתואם לטבלה או לתצוגה של מקור ב-BigQuery שמכילים נתוני תכונות. תצוגת תכונות עשויה להכיל תכונות, ואפשר לחשוב עליה כקיבוץ לוגי של עמודות תכונות במקור הנתונים.
מונחים שקשורים להצגת תכונות
הצגת תכונות
- ייצוא מאפיינים הוא תהליך של ייצוא או אחזור של ערכי מאפיינים לצורך אימון או היקש. ב-Vertex AI יש שני סוגים של שירות תכונות – שירות אונליין ושירות אופליין. הצגת תחזיות אונליין מאחזרת את הערכים העדכניים ביותר של תכונות מתוך קבוצת משנה של מקור נתוני התכונות לצורך הסקת מסקנות אונליין. ייצוא אופליין או שליפת נתונים ב-batch מאפשר לייצא כמויות גדולות של נתוני תכונות – כולל נתונים היסטוריים – לעיבוד אופליין, כמו אימון מודלים של למידת מכונה.
חנות פיזית
- המאגר במצב אופליין הוא מתקן אחסון שבו מאוחסנים נתוני תכונות מהזמן האחרון ונתונים היסטוריים, שבדרך כלל משמשים לאימון מודלים של למידת מכונה. חנות אופליין מכילה גם את ערכי התכונות העדכניים ביותר, שאפשר להכניס לשימוש בסביבת הייצור להסקת מסקנות אונליין.
חנות אונליין
- בניהול התכונות, חנות וירטואלית היא מתקן אחסון של ערכי התכונות העדכניים ביותר שמוצגים להסקת מסקנות אונליין.
תצוגת תכונות
- תצוגת תכונות היא אוסף לוגי של תכונות שנוצרו ממקור נתונים ב-BigQuery למופע של חנות אונליין. תצוגת תכונות מאחסנת את נתוני התכונות של הלקוח ומרעננת אותם מעת לעת. הנתונים מתרעננים מעת לעת ממקור BigQuery. תצוגת תכונה משויכת לאחסון נתוני התכונה באופן ישיר או דרך שיוכים למשאבי רישום התכונות.
מגבלות מיקום
כל המשאבים של Agent Platform Feature Store צריכים להיות באותו אזור או באותו מיקום רב-אזורי כמו מקור הנתונים של BigQuery. לדוגמה, אם מקור הנתונים של התכונה נמצא ב-us-central1, צריך ליצור את מופע FeatureOnlineStore רק ב-us-central1 או במיקום US שכולל מספר אזורים.
מטא-נתונים של תכונות
Agent Platform Feature Store משולב עם Knowledge Catalog כדי לספק יכולות ניהול תכונות, כולל מטא-נתונים של תכונות. מופעים של חנויות אונליין, תצוגות של תכונות וקבוצות של תכונות נרשמים באופן אוטומטי כנכסי נתונים ב-Data Catalog, תכונה שמקטלגת מטא נתונים מהמקורות האלה. לאחר מכן תוכלו להשתמש ביכולת החיפוש של מטא-נתונים ב-Knowledge Catalog כדי לחפש את המטא-נתונים של המשאבים האלה, להציג אותם ולנהל אותם. למידע נוסף על חיפוש משאבים ב-Agent Platform Feature Store, אפשר לעיין במאמר חיפוש מטא-נתונים של משאבים ב-Data Catalog.
תוויות של תכונות
אפשר להוסיף תוויות למשאבים במהלך יצירת המשאבים או אחרי היצירה. למידע נוסף על הוספת תוויות למשאבים קיימים ב-Agent Platform Feature Store, אפשר לעיין במאמר בנושא עדכון תוויות.
מטא-נתונים של גרסת משאב
מאגר התכונות של פלטפורמת הסוכנים תומך רק בגרסה 0 של התכונות.
מעקב אחר תכונות
Agent Platform Feature Store מאפשר להגדיר מעקב אחרי תכונות כדי לאחזר נתונים סטטיסטיים על תכונות ולזהות חריגות בנתוני התכונות. אתם יכולים להגדיר לוחות זמנים למעקב כדי להריץ מעקב תקופתי, או להריץ ידנית משימת מעקב. מידע נוסף על הגדרת מעקב אחרי תכונות והרצת משימות מעקב אחרי תכונות זמין במאמר מעקב אחרי תכונות לאיתור אנומליות.
ניהול הטמעה ואחזור וקטורים
הצגה אופטימלית אונליין בחנות התכונות של Agent Platform תומכת בניהול הטמעה. אפשר לאחסן הטבעות ב-BigQuery כמערכי double רגילים. באמצעות יכולות ניהול ההטמעה של Agent Platform Feature Store, אפשר לבצע חיפושים של דמיון וקטורי כדי לאחזר ישויות שהן השכנים הקרובים המשוערים של ישות או ערך הטמעה שצוינו.
כדי להשתמש בניהול הטמעה ב-Feature Store של Agent Platform, צריך לבצע את הפעולות הבאות:
מגדירים את מקור הנתונים ב-BigQuery כך שיכלול את העמודה
embeddingכדי לתמוך בהטמעות. אפשר גם לכלול עמודות של סינון ושל צפיפות. מידע נוסף זמין במאמר הנחיות להכנת מקורות נתונים.יוצרים מופע של חנות וירטואלית להצגה אופטימלית של מוצרים אונליין.
מציינים את העמודה
embeddingכשיוצרים את תצוגת התכונות. מידע נוסף על יצירת תצוגת תכונות שתומכת בהטמעות זמין במאמר הגדרת אחזור וקטורים לתצוגת תכונות.
מידע על ביצוע חיפוש דמיון וקטורי ב-Agent Platform Feature Store זמין במאמר ביצוע חיפוש וקטורי של ישויות.
שמירת נתונים
Agent Platform Feature Store שומר את ערכי התכונות האחרונים של מזהה ייחודי, על סמך חותמת הזמן שמשויכת לערכי התכונות במקור הנתונים. אין הגבלה על משך הזמן שבו הנתונים נשמרים בחנות הווירטואלית.
מכיוון שהחנות האופליין מסופקת על ידי BigQuery, יכול להיות שיחולו על מקור הנתונים של התכונות מגבלות או מכסות של שמירת נתונים מ-BigQuery, כולל ערכים היסטוריים של תכונות. מידע נוסף על מכסות ומגבלות ב-BigQuery
מכסות ומגבלות
מאגר התכונות של פלטפורמת הסוכנים אוכף מכסות ומגבלות כדי לעזור לכם לנהל את המשאבים על ידי הגדרת מגבלות שימוש, וכדי להגן על קהילת משתמשיGoogle Cloud על ידי מניעת עליות חדות ובלתי צפויות בשימוש. כדי להשתמש ביעילות במשאבים של Agent Platform Feature Store בלי להגיע למגבלות האלה, כדאי לעיין במכסות והגבלות של Agent Platform Feature Store.
תמחור
מידע על תמחור לפי שימוש במשאבים ב-Agent Platform Feature Store זמין במאמר תמחור של Agent Platform Feature Store.
מדריכים ל-Notebook
כדי לקבל מידע נוסף על Feature Store ב-Gemini Enterprise Agent Platform, אפשר לעיין בדוגמאות ובמדריכים הבאים.
הצגת תכונות אונליין ואחזור נתונים מ-BigQuery באמצעות Vertex AI Feature Store Bigtable online serving
|
במדריך הזה תלמדו איך להשתמש ב-Bigtable online serving ב-Vertex AI Feature Store כדי להפעיל online serving ולאחזר ערכי תכונות ב-BigQuery. |
ייצוא מאפיינים אונליין ושליפת וקטורים של נתונים מ-BigQuery באמצעות Vertex AI Feature Store
|
|
במדריך הזה תלמדו איך להשתמש ב-Vertex AI Feature Store למילוי בקשה באופן מיידי ולאחזור ערכי תכונות וקטוריים ב-BigQuery. |
סוכני שירות של תצוגת תכונות ב-Vertex AI Feature Store
|
|
במדריך הזה נסביר איך להפעיל סוכני שירות של תצוגת מאפיינים ולהעניק לכל תצוגת מאפיינים גישה לנתוני המקור הספציפיים שבהם נעשה שימוש. |
הדרכה בנושא עיגון של מודלי LLM שמבוססים על Vertex AI Feature Store
|
|
במדריך הזה תלמדו איך לחלק פרטים שהמשתמשים סיפקו (UPD) לחלקים קטנים יותר, ואז ליצור וקטורי הטמעה לכל חלק באמצעות מודל שפה גדול (LLM) שיש לו יכולות ליצירת הטמעה. אחר כך אפשר לטעון את מערך הנתונים של וקטור ההטמעה שנוצר אל Vertex AI Feature Store, וכך לאחזר תכונות במהירות ולבצע הגשה יעילה באינטרנט. |
יצירת אפליקציית RAG מבוססת-AI גנרטיבי באמצעות Vertex AI Feature Store ו-BigQuery
|
|
במדריך הזה תלמדו איך לבנות מערכת לחיפוש וקטורי עם זמן אחזור נמוך לאפליקציית ה-AI הגנרטיבי שלכם באמצעות חיפוש וקטורי ב-BigQuery ו-Feature Store של Vertex AI. |
הגדרת מדיניות IAM ב-Vertex AI Feature Store
|
|
במדריך הזה תלמדו איך להגדיר מדיניות IAM כדי לשלוט בגישה למשאבים ולנתונים שמאוחסנים ב-Vertex AI Feature Store. |