מידע על חיפוש ב-Knowledge Catalog

החיפוש ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) מאפשר לכם למצוא משאבים בארגון באמצעות שאילתות בשפה טבעית עם התאמה סמנטית, מילות מפתח ופרדיקטים מובְנים. אתם יכולים לחפש נכסי נתונים ספציפיים, לבדוק מטא-נתונים רלוונטיים במערכות שונות או לאחזר תוצאות ממוקדות לתהליכי עבודה פרוגרמטיים ו-Agentic Workflows.

תרחישים לדוגמה

ברשימה הבאה מתוארים תרחישים נפוצים של חיפוש, כולל תיאורים ושאילתות לדוגמה:

  • חיפוש נכס ממוקד: אפשר למצוא נכס ספציפי על ידי חיפוש מילות מפתח שקשורות לשם הנכס, לעמודות או לתיאור.

    שאילתות לדוגמה

    • retail_transactions_2026
    • customer_id
    • column:customer_id

  • חיפוש נתונים רחב: זיהוי נכסים רלוונטיים בארגון באמצעות שאילתות פתוחות בשפה טבעית או במילות מפתח.

    שאילתות לדוגמה

    • quarterly financial reports
    • ad campaign click through rates tables
    • server health metrics
    • audit logs system=bigquery

  • אחזור נכסים מוגדרים לתהליכי עבודה: ספירת נכסים בתוך מאגר ספציפי, כמו פרויקט, או עם מאפיינים ספציפיים, כמו סוג או מערכת. הגישה הזו משמשת לעיתים קרובות לתהליכי עבודה פרוגרמטיים ו-agentic.

    שאילתות לדוגמה

    • type=table projectid:banking-prod aspect:classification.tier=PII
    • system=spanner projectid:inventory-service (parent=marketing_analytics OR parent=finance_analytics)

איך זה עובד

החיפוש מוסיף באופן אוטומטי לאינדקס את כל ההקשר של נכסי הנתונים שמנוהלים ב-Knowledge Catalog. המצב הזה כולל את האפשרויות הבאות:

  • מטא-נתונים שמועברים באופן אוטומטי ממקורות נתונים של Google Cloud כמו BigQuery ו-Cloud SQL
  • הקשר למשאבים שאתם מטמיעים באמצעות מחברים ושילובים
  • הקשר נוסף שאתם יוצרים למשאבים, למשל ייצוג של הקשר עסקי או תיאור של סמנטיקת נתונים. ההקשר יכול להופיע גם בצורה של היבטים או מונחים עסקיים מקושרים.

במהלך עיבוד השאילתה, החיפוש משלב התאמה סמנטית והתאמה למילות מפתח. בטבלה הבאה מתוארים סוגי השאילתות שאפשר להשתמש בהם בחיפוש ב-Knowledge Catalog, עם תיאורים ושאילתות לדוגמה:

סוג השאילתה Usage דוגמאות
מילת מפתח אחת להתאמה מדויקת ולהתאמה של מחרוזת משנה ברכיבי מטא-נתונים, כמו שם הנכס, התיאור והסכימה. prd_fin_invoices_fct_v02
מילות מפתח חלקיות וקטעי טקסט שעברו טוקניזציה הוא מתאים מחרוזות משנה בתוכן של מטא-נתונים, ומוצא משאבים גם עם מונחים מקוצרים, מילים מופרדות או וריאציות של שמות. fin transactions 2026 (תואם ל-prd_fin_transactions_fy2026_raw)
שאילתות בשפה טבעית משתמש בהתאמה סמנטית בלי לדרוש התאמות מדויקות של שם או עמודה. customer churn prediction features
פרדיקטים מובְנים משלב שאילתות טקסט חופשי עם מסנני פרדיקטים מפורשים כדי לצמצם את תוצאות החיפוש. audit logs system=bigquery
תחביר מורחב לחיפוש מדויק, מצומצם להיקף ספציפי. התחביר המורחב משמש לרוב בתרחישים פרוגרמטיים ובתרחישים שקשורים לסוכנים. מידע נוסף זמין במאמר תחביר החיפוש. (system:bigquery OR system:spanner) AND column:credit_card_number aspect:classification.tier=PII -projectid:sandbox-project

יש כמה דרכים לגשת לחיפוש ב-Knowledge Catalog:

היקף החיפוש

תוצאות החיפוש ב-Knowledge Catalog מכבדות את ההרשאות שיש לכם על המשאבים התואמים במערכות המקור.

לדוגמה, אם יש לכם גישה לקריאת מטא-נתונים של אובייקט ב-BigQuery, האובייקט הזה יופיע בתוצאות החיפוש שלכם ב-Knowledge Catalog. אם יש לכם גישה לטבלה ב-BigQuery אבל לא למערך הנתונים שמכיל את הטבלה, הטבלה עדיין תופיע כצפוי בחיפוש ב-Knowledge Catalog.

כברירת מחדל, החיפוש מוגבל לארגון שלכם. התוצאות כוללות רק משאבים מאותו ארגון של הפרויקט שבו אתם מחפשים.

תוצאות החיפוש כוללות רק את המשאבים ששייכים לאותו היקף של VPC Service Controls כמו הפרויקט שבו מתבצע החיפוש. כשמשתמשים במסוףGoogle Cloud , זה הפרויקט שנבחר במסוף.

כדי להרחיב את היקף תוצאות החיפוש מעבר למשאבים שבתוך היקף השירות של VPC Service Controls בפרויקט, אתם יכולים להשתמש בכללי תעבורת נתונים נכנסת (ingress) ויוצאת (egress) של VPC Service Controls. הכללים האלה מאפשרים להחליף נתונים באופן פרטי ויעיל בארגון. אפשר להגדיר כללי תעבורת נתונים נכנסת ויוצאת באמצעות מסוףGoogle Cloud או באמצעות קובצי JSON או YAML. כדי להתאים את הכלל לדרישות הספציפיות שלכם, תוכלו להיעזר בדוגמה הבאה ל-YAML ובמסמכי התיעוד של VPC Service Controls.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

במאמר תפקידי IAM ב-Knowledge Catalog מוסבר אילו תפקידים בניהול הזהויות והרשאות הגישה (IAM) נדרשים כדי להשתמש בחיפוש ב-Knowledge Catalog.

בידוד של תוצאות החיפוש לפי סביבה באמצעות VPC Service Controls

כדי לבודד את תוצאות החיפוש ב-Knowledge Catalog בין סביבות כמו פיתוח, בדיקה וייצור, הגדירו היקפי VPC Service Controls נפרדים לכל סביבה. מקצים את הפרויקטים שמכילים את נכסי הנתונים ואת הפרויקטים שמשמשים לביצוע חיפושים להיקף של הסביבה המתאימה. חיפושים שמבוצעים מפרויקט בתוך היקף מסוים מחזירים רק תוצאות של נכסים שנמצאים באותו היקף.

מגבלות על שליפת מידע בחיפוש

החיפוש ב-Knowledge Catalog מותאם לגילוי חוקר במקום לאחזור מלאי מקיף, כך ששאילתות החיפוש לא מבטיחות אחזור מלא. יכול להיות ששאילתה לא תכלול תוצאות תואמות, ושהתוצאות שיוחזרו יהיו שונות בשאילתות חוזרות.

הסיבות לאובדן הזיכרון

כשאתם מחפשים, Knowledge Catalog בודק באופן דינמי את ההרשאות שלכם בהתאם למגבלת בקרת הגישה של 600 הגבלות (כללי הערכת הרשאות). אם בדיקת הגישה חורגת מהמגבלה הזו, המערכת מפסיקה את הבדיקה מוקדם כדי שהחיפושים יהיו מהירים. במקרים כאלה, יכול להיות שהחיפוש לא יכלול נכסים תואמים.

סביר להניח שתגיעו למגבלה הזו אם אחד מהתנאים הבאים מתקיים:

  • תפקידי IAM שהוקצו ישירות למאות משאבים נפרדים.
  • חברות בקבוצות Google רבות, שכל אחת מהן מעניקה גישה למשאבים נפרדים.
  • חברויות בקבוצות Google שיש להן גישה ישירה למאות משאבים נפרדים.

פתרון בעיות שקשורות למגבלות שליפה ולתוצאות חסרות

כדי לפתור בעיות בשליפה או לאחזר מטא-נתונים מלאים, בחרו את הגישה שמתאימה ליעד שלכם:

  • כדי לתקן תוצאות חיפוש חסרות או לא עקביות: צריך לצמצם את מספר בדיקות הגישה הכולל כדי לא לחרוג מהמגבלה של 600 הגבלות. תנו גישה רק למשאבים שאתם צריכים, והסירו את הגישה ממשאבים או מקבוצות Google שבהם אתם לא צריכים הרשאות. אפשר גם להקצות תפקידים ברמת הפרויקט או התיקייה במקום במשאבים ספציפיים.
  • כדי לאחזר מלאי מובטח ומלא של מטא-נתונים: אל תשתמשו בחיפוש. במקום זאת, מייצאים מטא-נתונים ל-Cloud Storage ושולחים שאילתות לגבי מערך הנתונים המלא באמצעות BigQuery.

המאמרים הבאים