הקשר הנתונים ב-Knowledge Catalog מאפשר לאחד מבנים טכניים, כללים עסקיים ודפוסי שימוש בעולם האמיתי לשכבת הקשר פעילה. בעזרת Knowledge Catalog, אתם ואפליקציות ה-AI שלכם יכולים לגלות, להעריך ולפרש נכסי נתונים בצורה מדויקת ומאובטחת, בלי אימות ידני או הזיות.
מה זה הקשר?
הקשר הוא המארג העשיר של פרטים מבניים, תפעוליים וסמנטיים שמתארים נכס נתונים. במקום לייצג טבלה כסכימה נפרדת של שמות וסוגי נתונים, ההקשר מספק את הסיפור המלא של הנתונים.
ב-Knowledge Catalog, ההקשר מאורגן בשכבות הבאות:
מטא-נתונים טכניים. פרטי המבנה שמוטמעים ישירות ממערכות המקור, כולל סכימות של מסדי נתונים, סוגי שדות, מפתחות חלוקה למחיצות ותגי אבטחה (כמו מדיניות ניהול הזהויות והרשאות הגישה (IAM)).
מטא-נתונים סמנטיים. המשמעות העסקית של הנתונים, כולל מילון המונחים הארגוני, קשרים בין מדדים, סיווגים, טרמינולוגיה של דומיינים ושאילתות לדוגמה (שאלות מאומתות בשפה טבעית שממופות להצהרות קוד SQL נכונות).
מטא-נתונים תפעוליים. ההתנהגות והתקינות של הנתונים לאורך זמן, כולל פרופילי הפעלה, נתונים סטטיסטיים של פרופילים וציוני איכות הנתונים.
קשרים. הקישורים המוסקים או המוגדרים בין טבלאות האחסון הבסיסיות לבין אינדיקטורים עסקיים קונספטואליים.
אותות אמון. אינדיקטורים לאימות, כמו חותמות בעלות ואישורים, שמאמתים אם נכס הוא מקור מהימן.
הנחיות לנציגים. תיאורים לא מובְנים (כמו קובצי README, הערות שימוש ויומני ביצוע) שמנחים כלים אוטונומיים איך ומתי לשלוח שאילתות למשאב.
האיחוד של השכבות האלה ב-Knowledge Catalog עוזר להבין את הנתונים בצורה מלאה, וכך להימנע מצווארי בקבוק תפעוליים ומחוסר ודאות שקשורים לנתונים מבודדים ולא מתועדים.
מה ההבדל בין הקשר הנתונים לבין מטא-נתונים
המטא-נתונים מספקים את אבני הבניין הבסיסיות, אבל מטא-נתונים והקשר הם לא אותו דבר:
- מטא-נתונים. מאפיינים תיאוריים שמגדירים את המבנה הבסיסי, המיקום והמאפיינים הטכניים של נכס נתונים מבודד (לדוגמה, שמות עמודות, סוגי נתונים, מפתחות חלוקה וגדלים של טבלאות).
- הקשר. Knowledge Graph רב-ממדי משולב, שמשלב סכימות טכניות, סמנטיקה עסקית, קשרי נתונים, התנהגות תפעולית ואותות אמון כדי לתת משמעות לנתונים ולהנחות את החשיבה.
ב-Knowledge Catalog, ניהול המטא-נתונים עובר מקטלוג פסיבי למישור בקרה דינמי של הקשר פעיל. בטבלה הבאה מודגשים ההבדלים העיקריים בין מטא-נתונים פסיביים לבין הקשר נתונים פעיל:
| מאפיין | מטא-נתונים טכניים | הקשר הנתונים הפעיל |
|---|---|---|
| התמקדות בנושאים מרכזיים | המפרטים הבסיסיים ופורמט האחסון. | משמעות עסקית, התנהגות תפעולית וקשרים. |
| מדינה | פסיבי: מאוחסן במרשמי קטלוגים לחיפוש ידני על ידי מהנדסים. | פעיל: מועשר באופן רציף על ידי AI, נשלף מהיסטוריית השאילתות ומורכב באופן דינמי להנחיות ל-LLM. |
| צרכנים ראשיים | מנועים של מסדי נתונים, מהנדסי מערכות מידע ומנהלי כללים לביקורת. | סוכני AI, מודלים גדולים של שפה (LLM), אנליסטים עסקיים וממשקי שיחה. |
| המטרה העיקרית | ניהול האחסון, הוספה לאינדקס ואימות תאימות. | הסבר על תהליך החשיבה של הסוכן, פתרון בעיות בצירוף נתונים ומניעת הזיות. |
דוגמה: מטא-נתונים בהשוואה להקשר
כדי להבין איך ההקשר מרחיב את המטא-נתונים הטכניים, נבחן איך Knowledge Catalog מייצג עמודת טרנזקציה:
מטא-נתונים טכניים בלבד
מטא-נתונים טכניים מספקים מידע מבני, אבל חסרים בהם לוגיקה עסקית והנחיות תפעוליות:
- טבלה:
fact_orders - עמודה:
disc_val - סוג הנתונים:
NUMERIC - מאפייני אחסון: מחולק למחיצות לפי
order_date
סוכן AI שמשתמש רק במטא-נתונים הטכניים האלה יכול לנחש ש-disc_val מייצג את סך ההנחות ללקוחות, אבל הוא לא יכול לקבוע אם הערך הזה כולל מס, החזרים כספיים חלקיים מהיצרן או שוברי קידום מכירות.
הקשר נתונים מועשר
ב-Knowledge Catalog, המטא-נתונים הטכניים מועשרים בשכבות סמנטיות, יחסיות ותפעוליות, והופכים למטען ייעודי (payload) מאוחד של הקשר:
- סכמה טכנית:
fact_orders.disc_val(NUMERIC). - הגדרה סמנטית: ממופה למונח "הנחת קידום מכירות" במילון המונחים הארגוני, שמוגדר כהנחות ללקוחות שניתנות בקופה, לא כולל החזרים כספיים חלקיים מהיצרן והנחות על משלוחים.
- קשרים שזוהו: קישור אוטומטי של
fact_orders.customer_idאלdim_customers.idושלfact_orders.promo_idאלdim_promotions.id. - שימוש תפעולי: היסטוריית השאילתות מראה ש-90% מהשאילתות העסקיות מסננות את הטבלה הזו לפי
status = 'COMPLETED'ומאחדות אותה עםdim_promotions. - אמינות ואיכות: דירוג תקינות של 99.8% בסריקות אוטומטיות של איכות הנתונים, עם עדכניות נתונים מאומתת בשעתיים האחרונות.
- שאילתה לדוגמה: כוללת תבנית SQL מאומתת שמדגימה איך לחשב את ההכנסה המוכרת נטו באמצעות
disc_val.
בעזרת ההקשר המלא הזה, סוכן AI או מנתח נתונים יכולים ליצור שאילתות ולפרש נתונים בצורה מדויקת, בלי אימות ידני של בני אדם או הזיות.
האתגרים בשימוש בנתונים בלי הקשר
בנכסי נתונים מבוזרים, נתונים גולמיים ללא הקשר לא מספיקים בדרך כלל כדי לפתור בעיה עסקית. כשמסדי נתונים מובְנים, יומנים לא מובְנים ומדדים אנליטיים לא כוללים משמעות עסקית, המשתמשים והמערכות האוטונומיות נתקלים בתקרת הקשר שמקשה על איתור הנתונים, על האמון בהם או על התפעול שלהם ל-AI. מנתחי נתונים אנושיים צריכים לבצע אימות ידני כדי לאמת מקורות נתונים, וסוכני AI יוצרים לעיתים קרובות תשובות לא מדויקות (הזיות) או לא מצליחים להריץ פעולות.
בלי הקשר מובנה, ארגונים נתקלים בכמה צווארי בקבוק תפעוליים:
עבודה סיזיפית בשיתוף פעולה. כשאין הגדרות עסקיות ברורות, צוותי הניתוח וה-AI צריכים לתאם באופן ידני ורציף עם מומחים בתחום (SME) כדי להבין את הטבלאות הבסיסיות.
סטייה מההקשר. תיעוד רגיל נשאר סטטי ומתיישן עם הזמן. בלי מעקב רציף, מטא-נתונים מיושנים מובילים להנחות שגויות ולתהליכי עבודה Agentic Workflows לא תקינים של סוכני AI.
כשלים בהסקת מסקנות. סוכני AI ומודלים גדולים של שפה (LLM) יכולים ליצור שאילתות SQL עם תחביר נכון, אבל לא בהכרח לפעול לפי הלוגיקה הארגונית הבסיסית, וכתוצאה מכך החישובים יהיו שגויים מבחינה עסקית.
מידע מבודד. הידע הפנימי לגבי סינון או צירוף נכון של מערכי נתונים נשאר לכוד בסקריפטים לא מתועדים או בהגדרות של מרכז הבקרה, במקום להיות רשום במלאי מרכזי.
כדי להתגבר על צווארי הבקבוק התפעוליים האלה ולהפוך את הנתונים לפעולות, ארגונים צריכים מנוע תלוי הקשר אמין בכל נכסי הנתונים שלהם.
עמודי התווך של ניהול ההקשרים
כדי לשמור על מנוע ההקשר האמין הזה בכל נכסי הנתונים, Knowledge Catalog פועל בשלושה שלבים:
צבירה
Knowledge Catalog אוסף באופן אוטומטי מטא-נתונים ממסדי הנתונים המובנים, מקטלוגי REST של Iceberg ומפלטפורמות של צד שלישי. הוא מאחד את הקלטים המפוצלים האלה לאזור משילות אחד, וכך עוזר לוודא שמדיניות האבטחה והגדרות הסיווג עוברות בירושה באופן עקבי.
העשרה
באמצעות הממשקים של Knowledge Studio, מנהלי מידע ארגוני ומהנדסי הקשר יכולים לעדכן ולנהל באופן רציף קבוצות הקשר ספציפיות בתוך תרשים ההקשר הכולל. Knowledge Catalog מחלץ באופן אוטומטי יומני טרנזקציות, סכימות של מסדי נתונים ומודלים של בינה עסקית כדי לגלות תיאורי עמודות וקשרים בין טבלאות. באמצעות הממשק של Knowledge Studio, הלמידה המתמשכת הזו מאפשרת לבודקים אנושיים לתעד את הידע המוסדי שלהם ולהחיל אותו על הנכסים שלכם באופן דינמי.
חיפוש ואחזור
Knowledge Catalog מספק חיפוש סמנטי מדויק מאוד שמאפשר לשלוח שאילתות למאגר הנתונים בשפה טבעית. מכיוון ש-Knowledge Catalog מבין קבוצות של הרשאות (רשימות ACL) ומונחים עסקיים, גם משתמשים וגם סוכנים אוטונומיים יכולים לאתר הקשרים רלוונטיים של נתונים בזמן אחזור קצר.
איך מטא-נתונים והקשר מוזנים ל-Knowledge Catalog
כדי ליצור מנוע תלוי הקשר אמין, Knowledge Catalog מעבד ומאגד מידע באמצעות מחברים אוטומטיים לפלטפורמה, העשרה מתמשכת באמצעות AI וממשקים מותאמים אישית שניתן להרחיב.
מקורות נתונים מאינטראקציה ישירה (First-Party) ואיסוף אוטומטי
Knowledge Catalog אוסף באופן אוטומטי מטא-נתונים מבניים ותפעוליים משירותי הליבה של Google Cloud , בלי שצריך להגדיר אותם ידנית:
- מסדי נתונים ומחסני נתונים (data warehouses) לניתוח. שירותים כמו BigQuery, Spanner, Cloud SQL ו-AlloyDB ל-PostgreSQL מסנכרנים באופן רציף מטא-נתונים טכניים, כולל סכימות של טבלאות, סוגי נתונים של שדות, מפתחות חלוקה למחיצות, מפרטי אשכולות וגבולות של מערכי נתונים.
סנכרון סמנטי של BI מוכן לשימוש. ב-Looker (Google Cloud core), Knowledge Catalog מסנכרן באופן אוטומטי נכסי בינה עסקית (BI):
- הגדרות סמנטיות של LookML. מודלים, ניתוחים, תצוגות, מאפיינים ומדדים.
- נכסים של מרכז בקרה ל-BI. לוחות בקרה, רכיבים בלוח הבקרה וטבלאות Look.
שילוב נתונים וטרנספורמציות. שירותים כמו Datastream מתעדים מטא-נתונים של סטרימינג של סימון נתונים שהשתנו (CDC), Dataform מעביר הגדרות של טבלאות וטרנספורמציות של SQL, ו-Cortex Framework מפרסם מוצרי נתונים רשומים.
איסוף הקשרים רציף מבוסס-AI
מעבר לסכימות טכניות סטטיות, Knowledge Catalog מעדכן באופן דינמי את תרשים ההקשר שלו באמצעות מנועי בינה מובנים:
- תובנות מנתונים. התכונה "תובנות מנתונים" מבוססת על Gemini ב-BigQuery. היא סורקת יומני שאילתות היסטוריים, עסקאות של משתמשים ודפוסי סכימות כדי ליצור תיאורי עמודות בשפה טבעית, לגלות קשרים בין טבלאות (כמו מפתחות איחוד) ולהציע שאילתות לדוגמה מאומתות שתואמות ללוגיקה של הארגון. מידע נוסף על תובנות מנתונים מובְנים
- יצירת פרופילים אוטומטית של נתונים ואיכות נתונים. הסריקות מחשבות התפלגויות סטטיסטיות (כמו ספירות נפרדות, יחסי ערכים ריקים וערכים לדוגמה) ומעריכות את הנתונים לפי בדיקות איכות שמבוססות על כללים, ומצרפות ציוני תקינות בזמן אמת לרשומות בקטלוג. מידע נוסף זמין במאמר מידע על איכות נתונים אוטומטית.
אצירת תוכן באמצעות Knowledge Studio בשילוב עם האדם שבתהליך
כדי לנהל ולתזמר את תרשים ההקשר הפעיל, המשתמשים פועלים ב-Knowledge Studio. הממשק הזה הוא המרכז הראשי שבו אפשר:
- קבוצות הקשרים. קיבוץ טבלאות קשורות, מסמכים לא מובְנים ומילוני מונחים לחבילות מאוחדות שמוכנות לשימוש של סוכני AI.
- תהליכי עבודה להעשרת נתונים. בדיקת תיאורי עמודות שהוצעו על ידי AI, החלת מיפויים של מילון המונחים הארגוני ואישור ידני של נכסים כסמכותיים. מידע נוסף זמין במאמר ניהול הפעלות של העשרת נתונים.
- ארגון הסביבה. לוודא שלצוותים שונים של דומיינים (כמו כספים או הנדסה) יש אזורים מבודדים משלהם לניהול כללים סמנטיים.
מידע נוסף זמין במאמר העשרת ההקשר באמצעות Knowledge Studio.
הטמעת מטא-נתונים בהתאמה אישית ומערכות של צד שלישי
לארגונים עם מאגרי ידע מותאמים אישית, כלי פיקוח של צד שלישי או מערכות מקומיות, Knowledge Catalog מספק מנגנוני הטמעה גמישים:
- thought
ממשקי API של Knowledge Catalog (פעולות CRUD). אתם יכולים להשתמש בשיטות ה-API
CreateEntry,UpdateEntryו-CreateAspectTypeכדי לרשום באופן פרוגרמטי נכסים חיצוניים ולצרף היבטים של מטא-נתונים בהתאמה אישית (כמו דירוגי תאימות או תיעוד מערכת). - סוכני העשרה בהתאמה אישית. משתמשים במסגרות של סוכנים כמו הערכה לפיתוח סוכנים (ADK) או LangChain כדי ליצור סוכני העשרה בהתאמה אישית. לדוגמה, סוכן ADK יכול להטמיע תיעוד טכני ממאגרי Git או מוויקי פנימיים, להשתמש ב-LLM כדי לנתח אותם למונחים סטנדרטיים של מילון מונחים ארגוני, ולצרף אותם לרשומות בקטלוג. מידע נוסף זמין במאמר איך יוצרים סוכן AI להעשרת מטא-נתונים.
- פעולות ייצוא וייבוא. אתם יכולים להשתמש בתהליכי עבודה של ייצוא וייבוא בכמות גדולה שמבוססים על קבצים (JSON או CSV) כדי לבדוק הגדרות עסקיות שנוצרו על ידי AI, לשתף פעולה עם מנהלי נתונים ולעדכן מטא-נתונים בכמות גדולה. מידע נוסף זמין במאמר ייצוא מטא-נתונים.
איך ההקשר נצרך בשירותים של הצד הראשון והצד השלישי
שירותים ואפליקציות פועלים עם Knowledge Catalog בשני תפקידים שונים:
- ספקי מטא-נתונים. שירותים ששולחים מטא-נתונים טכניים, סכימות והגדרות LookML אל Knowledge Catalog (לדוגמה, Looker, Cloud SQL ו-Spanner). ספקי מטא-נתונים מעבירים מטא-נתונים לקטלוג, אבל לא בהכרח משתמשים בהגדרות של מילון המונחים הארגוני בממשקי המשתמש שלהם.
- צרכני הקשר. שירותים, כלים למפתחים וסוכני AI שמאחזרים הגדרות עסקיות, פרופילים תפעוליים וכללי פיקוח מ-Knowledge Catalog כדי לבסס את החשיבה והביצוע שלהם.
לפני שאפליקציות וסוכנים יכולים לצרוך הקשר, צריך להגדיר את המונחים העסקיים הבסיסיים ואת כללי האיכות. למידע נוסף, קראו את המאמרים הגדרת הקשר בסיסי לנתונים ויצירת תהליך עבודה של איכות נתונים באמצעות מדיניות כקוד.
אפליקציות ושירותים של AI צורכים הקשר מ-Knowledge Catalog באמצעות המנגנונים הבאים:
שילובים מובנים מאינטראקציה ישירה (First-Party)
כמה שירותי Google Cloud שולחים שאילתות באופן מקורי ל-Knowledge Catalog כדי לספק חוויות מבוססות-AI שמותאמות להקשר:
- Gemini ב-BigQuery (סוכן בממשק שיחה). כשמזינים הנחיות בשפה טבעית ב-BigQuery Studio, Gemini שולח באופן אוטומטי שאילתות ברקע להגדרות של מילון המונחים הארגוני ב-Knowledge Catalog, לתיאורי עמודות ולקשרים היסטוריים בין שאילתות. כך Gemini מתבסס על המונחים העסקיים של הארגון, ושאילתות ה-SQL שנוצרות משתמשות באיחודים הנכונים של הטבלאות ובהגדרות הנכונות של המדדים.
- סוכן מהנדס מערכות מידע ב-BigQuery. הוא מאתר טבלאות של Apache Iceberg וטבלאות ב-BigQuery ומריץ עליהן שאילתות, מפעיל באופן אוטומטי חיפושים סמנטיים בקטלוג כדי לפתור יחסי תלות בין נכסים, ויוצר מטא-נתונים של קטלוג במהלך ההפעלה של צינור עיבוד הנתונים.
- Gemini ו-Agent Builder. סוכני GenAI ואפליקציות חיפוש בהתאמה אישית שמבוססים על Gemini משתמשים במטא-נתונים של קטלוגים ובכללים עסקיים כדי לבסס את החשיבה של המודל על עובדות מאומתות של הארגון.
- Google Cloud וממשק המשתמש של Business. משתמשי קצה ומנהלי מידע ארגוני יכולים לחקור נכסים באמצעות חיפוש סמנטי בשפה טבעית, לצפות בתרשימים אינטראקטיביים של קשרי נתונים ולנהל מילוני מונחים ארגוניים.
אפליקציות של צד שלישי וסביבות של סוכני AI
שירותים ומערכות אוטונומיות בלי שילובים מובנים צורכים הקשר באמצעות פרוטוקולים פתוחים וממשקי API ייעודיים לאחזור:
Model Context Protocol (MCP)
Model Context Protocol (MCP) הוא תקן פתוח שמאפשר לסוכני AI, לכלי פיתוח ולסביבות פיתוח משולבות (IDE) להתחבר ישירות לכלים של Knowledge Catalog. MCP מספק ממשק סטנדרטי לבדיקת סכימות של טבלאות, חיפוש הגדרות במילון המונחים ואימות של ציוני איכות הנתונים.
ב-Knowledge Catalog יש תמיכה בשתי אפשרויות פריסה של MCP:
- שרת MCP מרוחק. נקודת קצה מנוהלת שמתארחת ב- Google Cloud (או נפרסת ב-Cloud Run) לסוכנים מבוססי-ענן, תהליכי עבודה ללא שרת (serverless) ופלטפורמות עם כמה סוכנים. מידע נוסף זמין במאמר שימוש בשרת MCP מרוחק של Knowledge Catalog.
- ארגז הכלים של MCP מקומי. שרת proxy מקומי של CLI שמשתלב עם סביבות פיתוח משולבות (IDE) של מפתחים (כמו VS Code ו-Cursor) ועם תהליכי עבודה מקומיים של פיתוח. מידע נוסף מופיע במאמר שימוש ב-Knowledge Catalog עם שרת MCP Toolbox מקומי.
אחזור הקשר בפורמט מוגדר מראש באמצעות LookupContext API
ב-Knowledge Catalog יש את ה-method של ה-API LookupContext, שמיועד לצינורות עיבוד נתונים מותאמים אישית של AI ולאפליקציות LLM.
במקום לדרוש מהנציג לבצע כמה קריאות רציפות כדי לבדוק סכימות, לחפש מונחים במילון, לאחזר ציוני איכות הנתונים ולבדוק יומני שאילתות, השיטה LookupContext מאחזרת חבילה מאוחדת ומעוצבת מראש של מטא-נתונים עשירים בבקשה אחת.
היכולות העיקריות של השיטה LookupContext כוללות:
- פורמטים שמתאימים ל-LLM. הפונקציה מחזירה את ההקשר בפורמט
yaml(ברירת המחדל),jsonאוxml, שנועד להוספה ישירה להנחיות המערכת של מודל ה-LLM. - תקציב טוקנים (
context_budget): מאפשר לציין תקציב תווים מוגדר מראש. זו מגבלה גמישה, כלומר ה-API מקצר את המטא-נתונים ומתעדף אותם בצורה חכמה כדי לנסות להתאים אותם לחלון ההקשר של המודל, אבל לא מבטיח שהם לא יחרגו מהמגבלה. - תצוגות מותאמות מיקום שאפשר להגדיר.
- BASIC. מחזירה מטא-נתונים בסיסיים של רשומות, סכימות, תיאורי עמודות, טקסט סקירה כללית והנחיות לנציגים.
- STANDARD. בנוסף למטא-נתונים בסיסיים, עובר על תרשים ההקשר כדי לכלול קשרי איחוד של כמה טבלאות, מונחים ומילים נרדפות מצורפים ממילון המונחים הארגוני ושאילתות לדוגמה מאומתות.
- שאילתות לדוגמה וצירופים שזוהו. כולל תנאים משוערים לאיחוד טבלאות (לדוגמה,
orders.customer_id = customers.id) ושאילתות SQL מאומתות לדוגמה.
מידע נוסף זמין במאמר אחזור הקשר לנכסי נתונים ובחומר העזר בנושא lookupContext REST.
איך ההקשר עוזר למשתמשי קצה ולסוכני AI
Knowledge Catalog מספק הקשר אוניברסלי בתוך Agentic Data Cloud על ידי איחוד של סכימות טכניות, סמנטיקה עסקית ומדדי איכות לשכבת הקשר פעילה. על ידי חשיפת מטא-נתונים אלה דרך ממשקים פתוחים כמו Model Context Protocol (MCP), ממשקי API לאחזור הקשר וחיפוש סמנטי, Knowledge Catalog מסייע גם למשתמשים וגם למערכות אוטונומיות.
המשתמשים לא צריכים לבצע פעולות ידניות כדי להגדיר אמון
בלי שכבה סמנטית מרכזית, צריך לחקור את מסדי הנתונים הבסיסיים ואת היסטוריית השאילתות כדי לענות על שאלות עסקיות בסיסיות. קטלוגים רגילים פועלים כמלאי פסיבי של סכימות, שבהם צריך לחפש באופן ידני הגדרות של מדדים או לוודא שהטבלאות נקיות.
Knowledge Catalog הופך את הניהול הפסיבי הזה למידע פעיל. ב-Knowledge Catalog מוצגים ציוני איכות, תיאורים סמנטיים ואזהרות שימוש ישירות לצד נכסי הנתונים, כך שאתם יכולים לסמוך על הנתונים ולהשתמש בהם בלי לחכות לבדיקות הנדסיות.
התבססות על סוכנים אוטונומיים וניהול דינמי
סוכני AI ומודלים גדולים של שפה (LLM) צריכים כללים דטרמיניסטיים מחמירים כדי לקיים אינטראקציה עם מסדי נתונים. בלי הקשר סמנטי מפורש, הנציגים מניחים הנחות שגויות לגבי שמות העמודות או יוצרים שאילתות SQL פגומות.
בנוסף, ההקשר הפעיל מעביר את ניהול המטא-נתונים מרישום פסיבי לשכבת פיקוח פעילה. כשמגדירים כללים עסקיים, מדדים והוראות לסוכנים ישירות ב-Knowledge Catalog, אפשר לקבוע איך הסוכנים יאחזרו, יעריכו ויפעלו על סמך הנתונים של הארגון.
Knowledge Catalog פותר את הבעיה הזו. הוא מייצא פרופילים מאוחדים של הקשרים פעילים לאפליקציות ה-AI שלכם דרך ממשקים סטנדרטיים כמו Model Context Protocol (MCP) או ה-API של LookupContext. התבססות המודלים על המטא-נתונים האלה מצמצמת את ההזיות, אוכפת את כללי הממשל ועוזרת להבטיח שהפעולות האוטונומיות מבוססות על האמת הארגונית המאומתת.
איך אפליקציות AI משתמשות בקבוצות הקשר
Gemini Enterprise ואפליקציות AI אחרות משתמשות בקבוצות הקשר בשני דפוסים עיקריים:
זיהוי הקשר דינמי באמצעות חיפוש סמנטי: בסביבות של ניתוח נתונים בממשק שיחה או בשירות עצמי, המשתמשים שואלים שאלות אד-הוק בשפה טבעית (לדוגמה, מה היה שיעור השימור נטו הרבעוני שלנו בחשבונות ארגוניים?). כשהמשתמש שולח הנחיה, הנציג שולח שאילתת חיפוש סמנטי ל-Knowledge Catalog כדי לאתר את קבוצת ההקשרים הכי רלוונטית שתואמת לתחום של השאלה. הנציג מוסיף את ההקשר שאוחזר להנחיה הפעילה, וכך הוא יכול ליצור שאילתות SQL מדויקות במחסן הנתונים הבסיסי.
קבוצות הקשר שהוגדרו מראש לאפליקציות ייעודיות: אתם יכולים להגדיר מראש נציג עם הפניה מפורשת לקבוצת הקשר, על ידי ציון ה-URI של המשאב במהלך ההגדרה. קישור של קבוצת הקשר ייעודית מספק ביסוס דטרמיניסטי, שמבטיח שכל האינטראקציות העתידיות ישתמשו באופן עקבי בהגדרות עסקיות מאושרות, בלי תקורה של חיפוש בזמן ריצה. משימות העשרה חוזרות משפרות את ההקשר לאורך זמן, ולכן האפליקציה במורד הזרם מקבלת באופן אוטומטי את השיפורים האלה באיכות בלי צורך בבקשות חוזרות ידניות או בפריסה מחדש של האפליקציה.
Knowledge Catalog מצמצם את ההזיות ואוכף את כללי הפיקוח על ידי ייצוא פרופילים מאוחדים של הקשר פעיל לאפליקציות ה-AI שלכם דרך ממשקים סטנדרטיים כמו Model Context Protocol (MCP) או ה-API של LookupContext.
תיאום תהליכי עבודה של כמה סוכנים עם הקשר משותף
במסגרת של כמה סוכנים (או נחיל), סוכנים נפרדים עם התמחות משתפים פעולה כדי להריץ תהליכי עבודה מורכבים. כשהסוכנים האלה פועלים בסביבות מבודדות בלי מישור הקשר משותף, הם נתקלים בתקרת הקשר – הם עלולים להשתמש בכללים עסקיים סותרים, לא לאתר יחסי תלות רלוונטיים או לשכפל את מאמצי האחזור.
שימוש ב-Knowledge Catalog כמרשם הקשר מרכזי עוזר לתאם ולהתאים לעומס (scaling) נחילים של כמה סוכנים. כשמבססים את קבוצת הסוכנים על Knowledge Catalog, נהנים מהיתרונות הבאים:
סמנטיקה עסקית משותפת. כל הנציגים מתייחסים לאותן משמעויות והגדרות של העסק. לדוגמה, אם סוכן לניתוח נתונים וסוכן לדיווח מאחזרים טבלה שמכילה נתוני מכירות, הם משתמשים באותה הגדרה של מדד כמו
Gross Merchandise Value (GMV)במילון המונחים כדי לשמור על עקביות.רזולוציית תלות דינמית. הסוכנים יכולים להשתמש בקשרי הקשר כדי לגלות משאבים במעלה הזרם ובמורד הזרם באופן פרוגרמטי. כך נציג לפתרון בעיות בצינור עיבוד הנתונים יכול לאתר את מקור הכשל בנתונים בטבלת המקור, ולהעביר את המשימה לנציג תיקון בלי לקודד כללי תלות.
ממשק חיבור מאוחד. באמצעות Model Context Protocol (MCP), אתם חושפים נקודת קצה סמנטית אחת לכל הנחיל. כך לא צריך להגדיר שילובי API בהתאמה אישית לכל נציג בנפרד.
ניהול אבטחה ברמת ההיקף. Knowledge Catalog בודק את השאילתות של הנציג מול תפקידי IAM שהוגדרו מראש. ככה אפשר לוודא שהנציגים מאחזרים רק את ההקשר של המשאבים שיש להם הרשאה מפורשת לגשת אליהם, ולמנוע חשיפה מקרית של נתונים בנחיל.
תרחישים לדוגמה לשימוש בהקשר של נתונים
כדי להבין איך הקשר הנתונים פותר שאילתות מורכבות, נבחן איך Knowledge Catalog מיישם שכבות טכניות, סמנטיות ותפעוליות בפועל:
מסחר אלקטרוני: התאמה אישית של המלצות החיפוש
כדי להתאים בין קמפיינים שיווקיים עונתיים לבין מלאי המוצרים, סוכני החיפוש צריכים להבין איך אימיילים שיווקיים לא מובְנים קשורים לקטלוגים מובְנים של מוצרים ולטבלאות של עסקאות משתמשים. Knowledge Catalog ממפה את הישויות האלה, ומאפשר למודלים של המלצות להציע מוצרים רלוונטיים בזמן אמת.
ייצור: אופטימיזציה של תחזוקת המכונות
כדי להשתמש במודלים של תחזוקה חזויה, צריך לשלב יומני חלקים מובְנים עם מדריכי תיקון לא מובְנים לטכנאים ופידים של חיישנים בזמן אמת. באמצעות מיפוי הקשרים בין מספרי הפריטים לפרקים במדריך, Knowledge Catalog מאפשר למערכות הניתוח לחזות את שחיקת הציוד ולתזמן תיקונים לפני שמתרחשות תקלות.
שירותי בריאות: אימות נתונים של ניסויים קליניים
מרכזי מחקר קליני צריכים לוודא שהנתונים הסטטיסטיים של המטופלים תואמים לכללי המחקר המחמירים, ושרשומות ההסכמה של המטופלים ממופות ישירות למערכי הנתונים של תוצאות הניסוי. Knowledge Catalog ממפה את הקשרים בין ההקשרים כדי לבדוק את צינורות עיבוד הנתונים של ההסכמה, ומתריע לחוקרים על חריגות בפרופיל הנתונים, וכך עוזר לשמור על תקינות הניסוי.
שירותים פיננסיים: הערכת סיכון אשראי
מודלים של חיתום הלוואות משתמשים בדירוגי אשראי של לקוחות, בהיסטוריית עסקאות וביתרות חוב פעילות במערכות מקור נפרדות. ב-Knowledge Catalog יש תרשים מאוחד של מדדי הלוואות, שמאפשר לכלים של חיתום לאשר שהערכות הסיכונים מתבססות על נכסים מאושרים ותואמים.
טלקומוניקציה: אבחון של תפעול הרשת
סוכנים ומערכות אוטונומיות לניהול רשתות מנתחים את התנהגות האותות בזמן אמת, מזהים ירידה בביצועים ומבצעים פעולות תיקון לריפוי עצמי. כשמבססים את הסוכנים האלה על ההקשר של Knowledge Catalog, המערכות יכולות למפות באופן בטוח את הקשרים בין יומנים טכניים לבין אזורי שירות עסקיים.
המאמרים הבאים
סקירה כללית על Knowledge Studio
איך לתזמר הקשר של נתונים מגוונים, ליצור קבוצות של הקשרים ולבסס סוכני AI באמצעות הממשקים של Knowledge Studio.
סקירה כללית על קבוצות הקשר
מידע ולמידה על מאגרי ההקשרים הארוזים של Knowledge Studio, שמשמשים לביסוס בטוח של סוכני ה-AI במורד הזרם.
מידע על משימות העשרה
איך מגדירים תהליכי עבודה לחילוץ מטא-נתונים מבוססי-AI כדי ליצור הקשר של נתונים באופן אוטומטי.
הגדרת הקשר בסיסי לנתונים
ליצור מילון מונחים ארגוני, להגדיר סוגי היבטים בהתאמה אישית ולהעשיר נכסים ב-BigQuery.
התאמת סוכנים באמצעות MCP
איך Model Context Protocol מחבר בין סוכנים לכלים ולמשאבים של Knowledge Catalog.
אחזור הקשר באמצעות LookupContext
לחלץ הקשר בפורמט YAML או JSON עם תקציב טוקנים, כדי להחדיר פרומפטים ישירות ל-LLM.