חיפוש מקורות מידע

אפשר להשתמש בחיפוש בקטלוג האוניברסלי של Dataplex כדי למצוא Google Cloud משאבים מתוך BigQuery, כמו מערכי נתונים וטבלאות של BigQuery.

החיפוש ב-Dataplex Universal Catalog תומך בשאילתות חיפוש בשפה טבעית (שנקראות גם שאילתות חיפוש סמנטיות), שמאפשרות לכם לחפש משאבים בשפה יומיומית.

בדומה לחיפוש מילות מפתח, חיפוש בשפה טבעית מתמקד באיתור משאבים על ידי ניתוח המטא-נתונים שמשויכים למשאבים בארגון. חיפוש Google מביא בחשבון מגוון רחב של מטא-נתונים שמתארים את המשאבים, כולל מטא-נתונים שאתם יוצרים.

חיפוש בשפה טבעית מתמקד בשיפור השליפה מהזיכרון ולא בדיוק.

למידע נוסף על חיפוש נתונים בטבלה ב-BigQuery, אפשר לעיין במאמר מבוא לחיפוש ב-BigQuery.

הרשמה לגרסת טרום-השקה

כדי להירשם לגרסת טרום-השקה, איש הקשר האחראי לחשבון Google שלכם צריך לשלוח בקשה באמצעות טופס ההרשמה. אחרי שתשלחו את הטופס, צוות BigQuery ייצור איתכם קשר כדי להסביר מה השלבים הבאים.

לפני שמתחילים

לפני שמשתמשים בחיפוש בשפה טבעית ב-BigQuery כדי לחפשGoogle Cloud משאבים, צריך לבצע את המשימות שבקטע הזה.

התפקידים הנדרשים

כדי לחפש משאבים, צריך לפחות אחד מתפקידי ה-IAM הבאים ב-Dataplex Universal Catalog בפרויקט שמשמש לחיפוש: Dataplex Catalog Admin,‏ Dataplex Catalog Editor או Dataplex Catalog Viewer. ההרשאות בתוצאות החיפוש נבדקות בנפרד מהפרויקט שנבחר.

תוצאות החיפוש ב-BigQuery מוגבלות בהתאם להרשאות ה-IAM שלכם במשאבים הבסיסיים. כדי לחפש משאב ב-BigQuery, צריכות להיות לכם הרשאות גישה למשאב המתאים. מידע נוסף מופיע בקטע היקף החיפוש במסמך הזה.

לדוגמה, כדי לחפש מערכי נתונים, טבלאות, תצוגות ומודלים של BigQuery, אתם צריכים הרשאות מתאימות לגישה למקורות המידע האלה. מידע נוסף זמין במאמר הרשאות ב-BigQuery. ברשימה הבאה מפורטות ההרשאות המינימליות הנדרשות:

  • כדי לחפש טבלה, צריך הרשאה bigquery.tables.get לטבלה הזו.
  • כדי לחפש מערך נתונים, צריך הרשאה מסוג bigquery.datasets.get למערך הנתונים הזה.

התפקיד BigQuery Metadata Viewer (צפייה במטא-נתונים של BigQuery) (roles/bigquery.metadataViewer) כולל את ההרשאות bigquery.tables.get ו-bigquery.datasets.get, ומאפשר לחפש כל משאב ב-BigQuery.

להסבר על מתן תפקידים, ראו איך מנהלים את הרשאות הגישה.

יכול להיות שתוכלו לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

הפעלת ה-API

כדי להשתמש בחיפוש, צריך לוודא שהפעלתם את Dataplex API. ‫Dataplex API מופעל כברירת מחדל בכל הפרויקטים החדשים של Google Cloud עם BigQuery. אם Dataplex API לא מופעל בפרויקט, אפשר לעיין במאמר בנושא הפעלת Dataplex Universal Catalog.

  1. במסוף Google Cloud , עוברים לדף Search ב-BigQuery.

    לחיפוש Google

  2. בשדה החיפוש, מזינים את השאילתה בשפה טבעית ומקישים על Enter. הנה כמה שאילתות לדוגמה:

    • Show me the datasets that contain taxi information
    • Find data on vaccine distribution across different countries
    • Get tables with historical temperature data for major world cities
    • Search for hurricane tracking and storm activity datasets
    • Population data by country

  3. כדי לסנן את החיפוש, לוחצים על מסננים. אלה המסננים שזמינים:

    • היקף: חיפוש בכל הארגון (ברירת מחדל), בפרויקט הנוכחי או רק במשאבים המסומנים בכוכב. מידע נוסף מופיע בקטע היקף החיפוש במסמך הזה.
    • ‫Systems: Google Cloud השירות שאליו המשאב משתייך, כמו BigQuery. מערכת Dataplex Universal Catalog מכילה קבוצות של רשומות.
    • ‫Projects: הפרויקטים שבהם יתבצע החיפוש.
    • סוג: סוג המשאב, כמו חיבור ל-BigQuery, קטגוריה של Cloud Storage או מסד נתונים. בהתאם לסוג המשאב, אפשר גם לסנן לפי סוג משנה, כמו סוג החיבור או ניב SQL.
    • בחירת מיקומים: המיקומים שבהם יתבצע החיפוש.
    • בחירת מערכי נתונים: האפשרות הזו מגבילה את תוצאות החיפוש למשאבי BigQuery ששייכים למערכי הנתונים שנבחרו ב-BigQuery. בשדה Type to filter (הקלדה לסינון), מזינים את השם של מערך הנתונים.
    • הערות: סוגי ההיבטים של Dataplex Universal Catalog שמשויכים למשאב שאתם מחפשים. כדי לסנן לפי ערכי היבטים, לוחצים על סינון לפי ערכי הערות ואז בוחרים את הערכים.

    כדי להסיר מסנן, לוחצים על ניקוי ליד המסנן הספציפי שרוצים להסיר. אם רוצים להסיר את כל המסננים, לוחצים על ניקוי המסננים.

    מידע נוסף על ההערכה של מסננים מופיע בקטע מסננים במאמר הזה.

  4. אופציונלי: כדי לראות מידע נוסף על משאב, לוחצים על שם המשאב בתוצאות החיפוש.

    סיכום המשאב ייפתח בחלונית מפוצלת. מבצעים אחת מהפעולות הבאות:

    • כדי לפתוח את המשאב בשירות שאליו הוא משויך, לוחצים על פתיחה ב-PRODUCT_NAME ליד המשאב. לדוגמה, כדי לפתוח מערך נתונים ב-BigQuery ב-BigQuery Studio, לוחצים על Open in Studio (פתיחה ב-Studio). האפשרויות הזמינות תלויות במשאב.
    • כדי לראות את המטא-נתונים של Dataplex Universal Catalog שמשויכים למשאב, לוחצים על Open in Dataplex Catalog (פתיחה ב-Dataplex Catalog) של המשאב.
    • אם יש לכם תוצאות חיפוש חשובות שאתם רוצים להוסיף לסימנייה, אתם יכולים לסמן אותן בכוכב. לוחצים על הוספה למועדפים ליד המשאב. אפשר לראות את המשאבים המסומנים בכוכב ב-BigQuery Studio.
    • כדי לסגור את סיכום המשאבים בחלונית המפוצלת, לוחצים על סגירה.

לחלופין, אפשר לחפש משאבים באמצעות Gemini Cloud Assist.

מסננים

בעזרת מסננים אפשר לצמצם את תוצאות החיפוש.

כשמספקים מסננים בכמה קטעים, המערכת מעריכה את המסננים באמצעות האופרטור הלוגי AND. תוצאות החיפוש מכילות מקורות שתואמים לפחות לתנאי אחד מכל קטע שנבחר. לדוגמה, אם בוחרים במערכת BigQuery ובסוג המשאב dataset, תוצאות החיפוש יכללו מערכי נתונים של BigQuery אבל לא מערכי נתונים של Vertex AI.

אם בוחרים כמה מסננים בקטע אחד, המערכת תשתמש בהם לפי האופרטור הלוגי OR. לדוגמה, אם בוחרים את סוג המשאב dataset ואת סוג המשאב table, תוצאות החיפוש יכללו גם מערכי נתונים וגם טבלאות.

טווח החיפוש

בפרויקטים ששייכים לארגון, החיפוש מתבצע בהיקף של הארגון הזה. Google Cloud

תוצאות החיפוש תואמות להרשאות שיש לכם לגבי המשאבים. לדוגמה, אם יש לכם גישת קריאה למטא-נתונים של BigQuery למשאב מסוים, המשאב הזה יופיע בתוצאות החיפוש. אם יש לכם גישה לטבלה ב-BigQuery אבל לא למערך הנתונים שמכיל את הטבלה הזו, הטבלה עדיין תופיע בתוצאות החיפוש כמו שציפיתם.

תוצאות החיפוש כוללות רק את המשאבים ששייכים לאותו גבול גזרה של VPC Service Controls כמו הפרויקט שבו מתבצע החיפוש. כשמשתמשים במסוף Google Cloud , זה הפרויקט שנבחר במסוף.

המאמרים הבאים