במאמר הזה מפורטות תשובות לשאלות נפוצות בנושא Google CloudKnowledge Catalog (לשעבר Dataplex Universal Catalog).
סקירה כללית על Knowledge Catalog
מושגים כלליים
שאלות נפוצות על התכונות של Knowledge Catalog.
מה זה Knowledge Catalog?
Knowledge Catalog הוא פתרון חכם לניהול נכסי נתונים ו-AI ב- Google Cloud. הוא מספק מלאי מרכזי שבו אפשר לגלות, לנהל ולפקח על הנתונים במקורות נתונים של Google Cloud כמו BigQuery, Cloud Storage, Pub/Sub ו-Spanner.
Knowledge Catalog משתמש ב-AI כדי להפוך את גילוי הנתונים, העשרת המטא-נתונים ואיכות הנתונים לאוטומטיים. באמצעות קטלוג הנתונים המנוהל, Knowledge Catalog מספק את הבסיס החיוני שסוכני AI צריכים כדי ליצור תוכן באיכות גבוהה.
למה משמש Knowledge Catalog?
Knowledge Catalog פותר את הבעיה של "הפעלה במצב התחלתי (cold start) של נתונים" – הזמן שמתבזבז בניסיון למצוא, להבין ולתת אמון בנתונים לפני שאפשר להשתמש בהם בפועל. השימושים העיקריים שלו כוללים:
איתור נתונים מהיר: במקום לנווט בין מאגרי מידע ארגוניים מורכבים כדי לאתר נתונים, אתם יכולים להשתמש בחיפוש בשפה טבעית (לדוגמה, "הצג את נתוני נטישת הלקוחות העדכניים ביותר") כדי למצוא נכסים במשאביGoogle Cloud באופן מיידי, וכך להגביר את הפרודוקטיביות של צרכני הנתונים.
התבססות על סוכני AI: הוא משמש כ "מקור האמת" ל-AI גנרטיבי או ל-ADK. הקישור של נתונים פיזיים להגדרות עסקיות מבטיח שסוכני AI (כמו אלה שמבוססים על Vertex AI) ישתמשו בנתונים באיכות גבוהה, וכך מפחית באופן משמעותי את ההזיות של ה-AI ומשפר את האמון בתובנות שנוצרות על ידי AI.
משילות מידע אוטומטית: המערכת סורקת את הנתונים באופן אוטומטי כדי לזהות מידע רגיש (כלומר, פרטים אישיים מזהים), עוקבת אחרי מקור הנתונים (שושלת) ובודקת את הדיוק שלהם (איכות נתונים אוטומטית). היכולות האלה עוזרות לשפר את האמינות, האבטחה והתאימות של הנתונים בפחות מאמץ ידני.
גילוי "נתונים אפלים": אפשר לסרוק קבצים לא מובְנים (לדוגמה, קובצי PDF או תמונות ב-Cloud Storage), לחלץ את המידע שבתוכם ולהפוך אותו לניתן לחיפוש ולשאילתות ב-BigQuery, וכך לקבל תובנות מנתונים שלא היו נגישים קודם לכן.
כדי להתחיל לעבוד עם התרחישים האלה, קראו את המאמר תרחישים לדוגמה של Knowledge Catalog.
אילו סוגים של מטא-נתונים נשמרים ב-Knowledge Catalog?
ב-Knowledge Catalog מאוחסנים שלושה סוגים של מטא-נתונים:
מטא-נתונים טכניים: סכימות, שמות של טבלאות ומאפייני מערכת שנאספים באופן אוטומטי.
מטא-נתונים של העסק: הקשר שמוגדר על ידי המשתמש, כמו תיאורי העסק, מונחים במילון המונחים ובעלות.
מטא-נתונים של זמן ריצה: מידע על שושלת נתונים, ציוני איכות נתונים ונתונים סטטיסטיים של פרופיל נתונים.
חיוב על תובנות מנתונים
כאן תוכלו למצוא תשובות לשאלות נפוצות על חיוב מבוסס-אסימונים, מדידת שימוש ואמצעי בקרה אדמיניסטרטיביים לתכונה "תובנות מנתונים" ב-Knowledge Catalog.
מתי אתחיל להיות מחויב על השימוש בתובנות מנתונים?
החיוב הפעיל על תובנות מנתונים יתחיל ב-27 באוקטובר 2026.
איך מחויב השימוש בתובנות מנתונים?
השימוש נמדד באסימוני נתונים. אסימוני נתונים מייצגים את היחידות הבסיסיות של הטקסט והמטא-נתונים שמודל Gemini מעבד. האסימונים האלה מחולקים לשתי קטגוריות:
- טוקנים של קלט: ההקשר, ההוראות וההיסטוריה שנשלחים למודל.
- טוקנים של פלט: התיאורים, הקשרים והשאילתות בשפה טבעית שהמודל מחזיר.
מידע נוסף זמין במאמר התמחור של Data Cloud Agent.
האם חשבונות שירות מקבלים מכסה בחינם לתובנות מנתונים?
לא. חשבונות שירות לא מקבלים מכסה חינמית לכל משתמש. עם זאת, השימוש שלהם נמדד באותו אופן כמו משתמשים רגילים.
איך אפשר למנוע חיוב אוטומטי על תובנות מנתונים?
כדי להימנע מחיובים, בדקו את הסריקות שפועלות והפסיקו להפעיל סריקות חדשות. אדמינים יכולים גם להשבית את Dataplex API בפרויקט הרלוונטי כדי להשבית את היכולת לקבל תובנות מנתונים.
איך אפשר לדעת כמה אשלם על תובנות מנתונים?
Google Cloud מספק מדידה של אסימוני נתונים. המדידה הזו מאפשרת לאדמינים ולבעלי הנציגים לעקוב אחרי צריכת האסימונים שלהם. יכולת המדידה הזו זמינה לפני שהחיוב הפעיל יתחיל באוקטובר 2026.
מעקב אחרי חיובים ועלויות
שאלות נפוצות על מעקב אחרי עלויות המחשוב ושיוך שלהן ב-Knowledge Catalog.
איך עוקבים אחרי עלויות ה-DCU של Knowledge Catalog ומשייכים אותן לאיכות הנתונים, לפרופיל נתונים ולשושלת נתונים?
יחידות המחשוב של DataScan ב-Knowledge Catalog (איכות נתונים אוטומטית ויצירת פרופילים של נתונים) ויחידות המחשוב של נתוני שושלת נתונים (DCU) פועלות במחשוב ללא שרת (serverless) בתשתית בניהול Google, ולא מפרסמות מדדים של סדרות עתיות ב-Cloud Monitoring בקטע dataplex.googleapis.com/*.
כדי לעקוב אחרי העלויות של יחידות ה-DCU של Knowledge Catalog בפרויקטים ובסריקות, להגדיר התראות לגביהן ולשייך אותן, אתם יכולים לייצא את נתוני החיוב ב-Cloud ל-BigQuery ולהריץ שאילתות על תוויות המערכת שמצורפות לרשומות החיוב של Knowledge Catalog:
- לסריקות של איכות הנתונים וסריקות פרופיל נתונים, משתמשים בתוויות של
goog-dataplex-datascan-*(כמוgoog-dataplex-datascan-id,goog-dataplex-datascan-data-source-projectו-goog-dataplex-datascan-data-source-bigquery-table). - לעיבוד של שושלת נתונים, צריך להשתמש בתווית
goog-dataplex-workload-typeעם הערךLINEAGE.
במאמר מעקב אחרי עלויות ה-DCU של Knowledge Catalog ושיוך שלהן באמצעות ייצוא של נתוני החיוב ב-Cloud מפורטות הגדרות של תוויות ושאילתות SQL לדוגמה ב-BigQuery.