איך בודקים נכסי נתונים ב-Knowledge Studio

תצוגה מקדימה

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בשלב טרום-GA, בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. אתם יכולים לקרוא מידע נוסף בקטע תיאור שלבי ההשקה.

גרסת טרום-השקה (Preview) של Knowledge Studio
‫Knowledge Studio זמין כרגע בגרסת טרום-השקה (Preview) עם גישה מוגבלת. כדי לראות את תרשים ההקשר, ליצור קבוצות הקשר ולהפעיל תהליכי עבודה של העשרה, קודם צריך לבקש הרשאה לארגון.

בקשת גישה לגרסת טרום-השקה (Preview)

במאמר הזה מוסבר איך משתמשים ב-Knowledge Studio כדי למצוא נכסי נתונים רלוונטיים ולשוחח עליהם, לבחון באופן חזותי איך נכסי הנתונים האלה מקושרים ולמצוא תשובות לגבי נכסי הנתונים באמצעות שפה טבעית. ב-Knowledge Studio יש ממשק צ'אט לשיחה עם תרשים הקשר אינטראקטיבי, שעוזר לכם לחקור ולנווט באופן אינטואיטיבי בכל סביבת הנתונים.

המסמך הזה מיועד למנתחי נתונים, למנתחים עסקיים ולמנהלי מידע ארגוני שרוצים לשלוח שאילתות לגבי המטא-נתונים של הארגון שלהם באמצעות שפה טבעית, ולנווט באופן חזותי בין הקשרים של נכסי הנתונים שלהם בתרשים הקשר.

איך פועל ניתוח הנתונים

בממשק New chat יש את היכולות הבאות לניתוח נתונים אינטראקטיבי:

• ממשק בשפה טבעית: אפשר לשאול שאלות באנגלית על מאגר הנתונים (לדוגמה, "אילו טבלאות מכילות מדדים של שיעור נטישת לקוחות באירופה?").

• צ'אט מבוסס-Gemini: הסוכן מבוסס על Gemini, מנתח את השאלות שלכם בשפה טבעית, מריץ כלי חיפוש וחיפוש מטא-נתונים ב-Knowledge Catalog, מנסח תוכניות חקירה בכמה שלבים ומציג את ההתקדמות שלו בפירוט של תהליך החשיבה שאפשר לכווץ.

• כלי להמחשה חזותית של תרשים ההקשר: ניווט אינטראקטיבי בין הקשרים של מערכי נתונים, טבלאות, שאילתות ומונחים עסקיים. בתרשים החזותי מוצגים הצמתים הפעילים והקישורים הראשוניים שמרכיבים את קבוצת ההקשר של סשן המחקר. לוחצים על צמתים כדי לבדוק סכימות מפורטות של עמודות, לעיין ברשימות של חלוניות צמתים פעילות או לסנן את התרשים לפי סוג הנכס.

• הרצת BigQuery code assist: כדי לאמת את הקשרים בין הנתונים, אתם יכולים להריץ שאילתות SQL שנוצרו ישירות במחסן הנתונים שלכם, מתוך ממשק הכלי "ניתוחים".

תרשים ההקשר ממחיש קשרים סמנטיים בין ישויות עסקיות, הגדרות של מילון מונחים ונתיבי הצטרפות מאומתים. הוא לא כלי להצגת הרצה של צינור עיבוד נתונים תפעולי של ETL. כדי לבדוק את שלבי הטרנספורמציה של צינור עיבוד הנתונים, את משימות זמן הריצה או את תהליכי הנתונים התפעוליים (כמו צינורות עיבוד הנתונים של Dataflow), אפשר להציג את שושלת הנתונים של Knowledge Catalog. מידע נוסף זמין במאמר שימוש בשושלת נתונים.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

1. מוודאים שנכסי הנתונים קיימים. ‫Knowledge Catalog מעבד באופן אוטומטי מטא-נתונים מבניים ותפעוליים משירותי הליבה של Google Cloud , בלי צורך בהגדרה ידנית. בארגונים עם מאגרי ידע מותאמים אישית, כלי פיקוח של צד שלישי או מערכות מקומיות, Knowledge Catalog מספק מנגנוני הטמעה גמישים:
   • הטמעת מקורות בהתאמה אישית
   • סקירה כללית על ניהול מטא-נתונים
2. אופציונלי: מוודאים שמילוני המונחים והמונחים העסקיים (כמו הגדרות של מדדי KPI עסקיים) מוגדרים ב-Knowledge Catalog ומקושרים לנכסי הנתונים הבסיסיים. מידע נוסף זמין במאמר ניהול מילון המונחים הארגוני.
3. מפעילים את ממשקי ה-API הנדרשים:

   נדרש לניתוח נתונים בסיסי:

   • <!-- Dataplex API (): Required for opening Knowledge Studio, searching the catalog, and exploring the context graph and glossaries. -->‫Dataplex API ‏(dataplex.googleapis.com): נדרש כדי לפתוח את Knowledge Studio, לחפש בקטלוג ולעיין בתרשים ההקשר ובמילוני המונחים.

   נדרש לכל תכונה (מופעלת בפרויקט):

   • ‫BigQuery API‏ (bigquery.googleapis.com): כדי לעיין במערכי נתונים ובטבלאות של BigQuery, לבדוק משימות של שאילתות ולהריץ שאילתות SQL.
   • ‫Data Lineage API‏ (datalineage.googleapis.com): לעיון בשושלת נתונים במעלה הזרם ובמורד הזרם ולבדיקת תהליכי שושלת.
   • ‫Gemini Data Analytics API‏ (geminidataanalytics.googleapis.com): לשימוש בניתוח נתוני השיחות ב-BigQuery וליצירת תובנות לגבי התפלגות הנתונים.
   • ‫Google Documents API ‏ (docs.googleapis.com): לקריאת מסמכי Google Docs שמקושרים בהנחיות בצ'אט.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לכם כדי לחקור נכסי נתונים ואת תרשים ההקשר ב-Knowledge Studio, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM בפרויקט:

• חיפוש בקטלוג הליבה ועיון בתרשים ההקשר:
  • צפייה ב-Dataplex Catalog (roles/dataplex.catalogViewer)
  • Service Usage Consumer (roles/serviceusage.serviceUsageConsumer)
• עיון במטא-נתונים של BigQuery והרצת שאילתות SQL:
  • BigQuery Metadata Viewer (roles/bigquery.metadataViewer)
  • BigQuery Data Viewer (roles/bigquery.dataViewer)
  • BigQuery Job User (roles/bigquery.jobUser)
• שימוש בניתוח נתוני השיחות ב-BigQuery:
  • Gemini for Google Cloud Data Agent Stateless User (roles/geminidataanalytics.dataAgentStatelessUser)
  • BigQuery Data Viewer (roles/bigquery.dataViewer)
  • BigQuery Job User (roles/bigquery.jobUser)
• שושלת נתוני הגלישה:
  • צפייה בשושלת נתונים (roles/datalineage.viewer)
  • BigQuery Resource Viewer (roles/bigquery.resourceViewer)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

הערה:

• התפקיד Dataplex Viewer‏ (roles/dataplex.viewer) לא נותן הרשאות קריאה וחיפוש בקטלוג. מוודאים שיש לכם את התפקיד צפייה ב-Dataplex Catalog‏ (roles/dataplex.catalogViewer).
• כדי לבדוק שאילתות SQL מתהליכי שושלת שנוצרו על ידי משימות BigQuery שהופעלו על ידי משתמשים אחרים, צריך את התפקיד האופציונלי צפייה במשאבים של BigQuery (roles/bigquery.resourceViewer).
• כדי לאפשר לסוכן לקרוא מסמכי Google Docs שמקושרים בצ'אט, אתם צריכים גישת צפייה ב-Google Drive למסמך Google Docs הרלוונטי.

הקצאת תפקידים לחשבון המשתמש

אם יש לכם את ההרשאות הנדרשות לניהול הזהויות והרשאות הגישה (IAM) בפרויקט, אתם יכולים להקצות את התפקידים האלה לחשבון המשתמש שלכם. כדי להקצות תפקידים, משתמשים בפקודה gcloud projects add-iam-policy-binding:

לפני השימוש בנתוני הפקודה הבאים, צריך להחליף את הנתונים הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫USER_EMAIL: כתובת האימייל של חשבון המשתמש (לדוגמה, [e-mail]).

מריצים את הפקודה הבאה:

‫Linux,‏ macOS או Cloud Shell

הערה: חשוב לוודא שהפעלתם את Google Cloud CLI עם אימות ופרויקט, על ידי הרצת הפקודה gcloud init או הפקודות gcloud auth login ו- gcloud config set project.

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="user:USER_EMAIL" \
    --role="roles/dataplex.catalogViewer"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="user:USER_EMAIL" \
    --role="roles/serviceusage.serviceUsageConsumer"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="user:USER_EMAIL" \
    --role="roles/bigquery.metadataViewer"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="user:USER_EMAIL" \
    --role="roles/bigquery.dataViewer"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="user:USER_EMAIL" \
    --role="roles/bigquery.jobUser"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="user:USER_EMAIL" \
    --role="roles/geminidataanalytics.dataAgentStatelessUser"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="user:USER_EMAIL" \
    --role="roles/datalineage.viewer"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="user:USER_EMAIL" \
    --role="roles/bigquery.resourceViewer"

‏Windows (PowerShell)

הערה: חשוב לוודא שהפעלתם את Google Cloud CLI עם אימות ופרויקט, על ידי הרצת הפקודה gcloud init או הפקודות gcloud auth login ו- gcloud config set project.

gcloud projects add-iam-policy-binding PROJECT_ID `
    --member="user:USER_EMAIL" `
    --role="roles/dataplex.catalogViewer"

gcloud projects add-iam-policy-binding PROJECT_ID `
    --member="user:USER_EMAIL" `
    --role="roles/serviceusage.serviceUsageConsumer"

gcloud projects add-iam-policy-binding PROJECT_ID `
    --member="user:USER_EMAIL" `
    --role="roles/bigquery.metadataViewer"

gcloud projects add-iam-policy-binding PROJECT_ID `
    --member="user:USER_EMAIL" `
    --role="roles/bigquery.dataViewer"

gcloud projects add-iam-policy-binding PROJECT_ID `
    --member="user:USER_EMAIL" `
    --role="roles/bigquery.jobUser"

gcloud projects add-iam-policy-binding PROJECT_ID `
    --member="user:USER_EMAIL" `
    --role="roles/geminidataanalytics.dataAgentStatelessUser"

gcloud projects add-iam-policy-binding PROJECT_ID `
    --member="user:USER_EMAIL" `
    --role="roles/datalineage.viewer"

gcloud projects add-iam-policy-binding PROJECT_ID `
    --member="user:USER_EMAIL" `
    --role="roles/bigquery.resourceViewer"

Windows‏ (cmd.exe)

הערה: חשוב לוודא שהפעלתם את Google Cloud CLI עם אימות ופרויקט, על ידי הרצת הפקודה gcloud init או הפקודות gcloud auth login ו- gcloud config set project.

gcloud projects add-iam-policy-binding PROJECT_ID ^
    --member="user:USER_EMAIL" ^
    --role="roles/dataplex.catalogViewer"

gcloud projects add-iam-policy-binding PROJECT_ID ^
    --member="user:USER_EMAIL" ^
    --role="roles/serviceusage.serviceUsageConsumer"

gcloud projects add-iam-policy-binding PROJECT_ID ^
    --member="user:USER_EMAIL" ^
    --role="roles/bigquery.metadataViewer"

gcloud projects add-iam-policy-binding PROJECT_ID ^
    --member="user:USER_EMAIL" ^
    --role="roles/bigquery.dataViewer"

gcloud projects add-iam-policy-binding PROJECT_ID ^
    --member="user:USER_EMAIL" ^
    --role="roles/bigquery.jobUser"

gcloud projects add-iam-policy-binding PROJECT_ID ^
    --member="user:USER_EMAIL" ^
    --role="roles/geminidataanalytics.dataAgentStatelessUser"

gcloud projects add-iam-policy-binding PROJECT_ID ^
    --member="user:USER_EMAIL" ^
    --role="roles/datalineage.viewer"

gcloud projects add-iam-policy-binding PROJECT_ID ^
    --member="user:USER_EMAIL" ^
    --role="roles/bigquery.resourceViewer"

אתם יכולים להריץ את הפקודות האלה ב-Cloud Shell או בטרמינל מקומי שבו הותקן והופעל Google Cloud CLI.

פתיחת הממשק של כלי הניתוחים

במסוף Google Cloud , נכנסים לדף Knowledge Studio (גרסת טרום-השקה (Preview)).

מעבר אל Knowledge Studio

בממשק מוצגים הרכיבים הבאים:

• סרגל צד: מאפשר להתחיל סשן חדש של חקירה (שיחה חדשה), לחפש סשנים קודמים של צ'אט או לעבור בין הממשקים שיחה חדשה, קבוצות הקשר והעשרות.

• חלון צ'אט שיחתי: כולל שדה מרכזי להזנת הנחיות, עם בורר מודלים והצעות לפרומפטים, כמו אילו נתונים יש לי ב-Knowledge Catalog?.

• הצגת חלונית התרשים : פתיחה או סגירה של החלונית תרשים הקשר.

הערה: אם פותחים את חלונית התרשים לפני שבוחרים נכס נתונים, החלונית ריקה ומוצגת בה ההודעה: No graph in this conversation yet.

חיפוש נכסי נתונים באמצעות שפה טבעית

1. כדי לחפש נכסי נתונים, בשדה ההנחיה של ממשק New chat, מזינים שאלה או לוחצים על אחת מההצעות לפרומפט (לדוגמה, What data do I have in Knowledge Catalog?‎).

   ‫Gemini מנתח את הבקשה, מפעיל כלי גילוי פנימיים ומציג תוצאות מובנות בחלונית הצ'אט.

   בהתאם לשאילתה, התשובה של הנציג בצ'אט יכולה לכלול:

   • רכיבי הרחבה של נכסים תואמים: סיכומים בכרטיסים אינטראקטיביים של נכסי הנתונים שנמצאו, מקובצים לפי סוג (למשל טבלאות או מילוני מונחים).
   • סיכומי טקסט: תיאור של קבוצות הנתונים, הטבלאות ומאגרי המונחים העיקריים שנמצאו.
   • הנחיות להמשך: הנציג מציע את השלבים הבאים, כמו בדיקת דומיינים ספציפיים או סכימות של טבלאות.

   

   תרשים 1. התשובה בצ'אט כוללת נכסים תואמים, סיכומים של מערכי נתונים והנחיות להמשך. (כדי להגדיל את התמונה, אפשר ללחוץ עליה.)

2. אופציונלי: כדי לבדוק את שלבי החשיבה של הנציג ואת הקריאות הפנימיות לכלים, מרחיבים את הקטע Thinking בתשובה בצ'אט. בקטע הזה מופיע הסבר מילולי על אסטרטגיית החיפוש הרב-שלבית של הנציג, כולל איך הוא מתקדם משאילתות גילוי רחבות למסנני נכסים ממוקדים. ברשימה הבאה מפורטות חלק מהפעולות הפנימיות שהסוכן יכול לבצע כדי לענות על הבקשות שלכם:

   • חיפוש בקטלוג: שליחת שאילתות ל-Knowledge Catalog עם אילוצים מדויקים של הפרויקט, באמצעות התאמה סמנטית והתאמה למילות מפתח (לדוגמה, סינון לפי type=dataset או type=context-set). מידע נוסף על המנגנונים הבסיסיים זמין במאמר חיפוש נכסי נתונים.

   • אחזור מטא-נתונים: אחזור סכימות, תיאורים ושושלת נתונים של רשומות תואמות. בטבלאות ב-BigQuery, הוא גם מאחזר מילוני מונחים ארגוניים מקושרים וטבלאות שקשורות מבחינה מבנית. למידע נוסף על ה-API הבסיסי, ראו אחזור הקשר לנכסי נתונים.

   • עיבוד ממשק המשתמש: עיצוב המטא-נתונים שאוחזרו ככרטיסים אינטראקטיביים בחלונית הצ'אט.

הגדרת היקף החיפוש וההסבר

כדי לעזור ל-Gemini לתת את התשובות הכי מדויקות ולצמצם את זמן ההמתנה לתשובה, אתם יכולים להגביל את סביבת היעד של הסוכן ואת מורכבות החשיבה הרציונלית באמצעות התפריטים הנפתחים שמתחת לתיבת הפרומפט בצ'אט:

• ‫Explore data across: מגביל את פעולות החיפוש הפנימיות של הסוכן לפרויקט אחד או יותר ב- Google Cloud .

  כדאי לבחור באפשרות הזו אם יש לכם הרבה נתונים ב-Knowledge Catalog ואתם יודעים בדיוק באילו פרויקטים נמצאים נכסי הנתונים שאתם מחפשים. סינון לפי פרויקטים מאיץ משמעותית את החיפוש ומונע מהנציג להזות או להחזיר טבלאות עם שמות דומים מסביבות בדיקה או מסביבות Staging. אם אינכם יודעים היכן מיקום אחסון הנתונים, השאירו את ההגדרה All projects.

• רמת החשיבה: קובעת עד כמה הסוכן ינתח לעומק את ההנחיה שלכם, כלומר כמה הוא יבחן את אפשרויות השאילתה ויחזור על תוצאות החיפוש לפני שהוא ישיב לכם.

  כדאי לבחור באפשרות הזו כשצריך לאזן בין מהירות התגובה לבין יסודיות החיפוש. * נמוכה: לחיפושים מהירים, ישירים ופשוטים של מילות מפתח, כשהשם של הנכס ידוע. * בחר בינוני עבור זרימות עבודה אופייניות של חקירה שבהן הסוכן עשוי להזדקק לבצע שאילתת מעקב אחת או שתיים. * בחר גבוה עבור שאלות מורכבות, מעורפלות או דו-משמעיות שבהן הסוכן חייב לבצע אסטרטגיית חיפוש רב-שלבית, להעריך את התוצאות הראשוניות ולחדד את השאילתות שלו לפני החזרת תשובה סופית.

הפעלת סוכני ניתוח נתונים ייעודיים

כברירת מחדל, הצ'אט שמבוסס על Gemini מגביל את השאילתות למטא-נתונים מבניים ולקטלוגים תיאוריים. אם השאלה שלכם דורשת ניתוח נתונים מעמיק או הרצת שאילתות על נתונים בטבלה, אתם יכולים להפעיל סוכני ניתוח נתונים ייעודיים על ידי הוספת תיוגים ספציפיים ישירות להנחיה בצ'אט.

ברשימה הבאה מוצגים סוכני הניתוח הנתמכים והיכולות שלהם:

• ‫@BqJobs: מפעיל את הסוכן BigQuery Query Job. כשמוסיפים את התפקיד הזה, הצ'אט שמבוסס על Gemini מקבל הרשאה להריץ הצהרות SQL ישירות בטבלאות שלכם. השתמשו באזכור הזה כשאתם רוצים שהסוכן יענה על השאלה שלכם באמצעות שליחת שאילתה לנתונים, ולא רק על ידי בדיקת המטא-נתונים.

• קישורים למסמכי Google: אם מדביקים קישור למסמך Google בצ'אט, הנציג יכול לקרוא את תוכן המסמך. אתם צריכים גישת צפייה ב-Google Drive למסמך המקושר, ו-Google Drive API צריך להיות מופעל בפרויקט.

• ‫@BqCA: הפעלת הסוכן BigQuery Conversational Analytics. כשמפעילים את האפשרות הזו, השאלות האנליטיות (לדוגמה, לגבי מגמות, צבירות או תהליכי עבודה מורכבים של בינה עסקית) מועברות יחד עם ההקשר של הטבלה לסוכן משנה ייעודי, שיכול לבצע הסקת מסקנות מתקדמת ב-SQL בכמה שלבים.

במאמר ניתוח נתונים של שיחות ב-BigQuery מפורט מידע נוסף על היכולות, ההרשאות הנדרשות והתמחור של סוכני המשנה האלה.

המחשת קשרים סמנטיים

תרשים ההקשר פועל כ-Canvas אינטראקטיבי שבו אפשר לראות משאבי אחסון טכניים ואת הקשרים שלהם לסמנטיקה עסקית לוגית.

עיון בחיבורי הנתונים

כדי לחקור ולהרחיב באופן פעיל קשרים סמנטיים בלוח הגרף, קודם צריך לטעון את הגרף.

כדי לטעון תרשים הקשר ראשוני מתוצאות הצ'אט, לוחצים על כרטיס רשומה כלשהו במשבצת Matching assets. בחלונית Context graph מוצג תרשים טופולוגי אינטראקטיבי של נכס הנתונים והישויות שמקושרות אליו.

לדוגמה, כדי להבין איך תרשים הקשר ממפה לוגיקה עסקית לאחסון נתונים, נבחן את התרשים של szelwico_curated_retail_analytics שמוצג באיור 2.

איור 2. תרשים הקשר לדוגמה שמציג את הקשר בין נתונים תפעוליים לבין כללים עסקיים אנליטיים של קמעונאות. (אפשר ללחוץ על התמונה כדי להגדיל אותה).

התרשים הזה משמש כמחסן נתונים לצורכי דיווח וניתוח של רשת תחנות דלק וחנויות נוחות.

התרשים מאחד נכסי נתונים טכניים וכללים עסקיים לתצוגה אחת:

• טבלאות עובדות עיקריות: צמתים כחולים של BigQuery מייצגים נתונים של עסקאות, כמו מכירות דלק יומיות (fact_daily_station_fuel_sales) וביצועים של מועדון הלקוחות (fact_loyalty_promo_attribution).
• טבלאות מאפיינים: צמתים כחולים נוספים מייצגים טבלאות מאפיינים מועשרות, כמו תחנות (dim_stations_enriched) וציי רכב של לקוחות (dim_customers_and_fleets).
• לוגיקה עסקית מנוהלת: צמתים צהובים מייצגים מונחים במילון שמגדירים כללי חישוב מחמירים לנתונים. לדוגמה, הצומת Friday Golden Pump 20% Discount מגדיר איך לחשב את החיוב נטו אחרי הנחה לחברי מועדון.
• קשרים: הקווים בין הצמתים ממחישים איך הטבלאות מתחברות, למשל איך טבלת המאפיינים של התחנה מתחברת לטבלת העובדות של מכירות הדלק היומיות.

לוח תרשים ההקשר

ב-canvas של תרשים ההקשר יש את האזורים העיקריים הבאים בממשק המשתמש, שבעזרתם אפשר לחקור את הטופולוגיה של הנתונים:

• כותרת אזור העריכה: בתפריט הכותרת העליונה מוצגים מספר הצמתים הפעילים והכותרת של קבוצת ההקשר, ויש בו אפשרויות פריסה ורינדור:
  • שדה החיפוש של הרשומות: מזינים מילות מפתח בשדה Search entries by name, dataset, or description כדי לחפש ולהוסיף באופן ידני נכסי נתונים חדשים ישירות לפריסת לוח הציור.
  • סמל המסך המלא: לוחצים על הסמל כדי להרחיב את אזור התצוגה של הלוח כך שימלא את כל המסך.
  • אפשרויות לצפייה בתרשים: לוחצים על סמל האפשרויות הנוספות () כדי לפתוח תפריט לניהול העיבוד. הוא כולל את המתגים הבאים:
    • התמקדות בצמתים בלבד: הסתרת החיבורים שמסביב כדי להדגיש רק את הצמתים בהקשר.
    • הצגת קצוות: הצגה או הסתרה של כל קווי הקשרים בין הקצוות כדי לפשט ולהאיץ תרשימים צפופים.
    • הדגשת קונטיינרים: הדגשת קבוצות מבניות של מסדי נתונים, כמו מערכי נתונים או מילוני מונחים, שהצמתים נמצאים בתוכם.
    • הצגת סייר: החלפת מצב החשיפה של סייר סרגל הצד של רשימת הצמתים.
    • פתיחת מקרא התרשים: הצגת הגדרות לאוצר המילים החזותי של התרשים.
• מסנני תרשים: לוחצים על הסמל Graph controls () כדי לפתוח את החלונית Filters, שבה אפשר לשלוט בצפיפות התרשים על ידי סינון החיבורים. הוא כולל את קטגוריות הסינון הבאות:
  • ‫Types: סינון צמתים לפי סוג הישות (למשל Tables & views,‏ Glossary terms,‏ Data products או Context).
  • קשרים: סינון הקצוות הצבעוניים שמחברים בין הצמתים לפי סוג הקשר (למשל Schema join,‏ Related,‏ Definition,‏ Context או Packages).
  • Lineage: שליטה בחשיפה של קצוות שושלת הנתונים, כולל מתגים ל-Upstream (שושלת שזורמת לצומת) ול-Downstream (שושלת שזורמת מצומת).
  • ‫Isolated nodes: אפשר לבחור להציג את כל הצמתים (All), להסתיר צמתים לא מקושרים (Hide) או להציג רק צמתים מבודדים (Only).
  • עומק הדילוג: בוחרים צומת עוגן בלוח הציור כדי למדוד ממנו את המרחק, ואז בוחרים מרחק מספרי (כמו 1, 2, 3 או הכול) כדי לסנן את הצמתים שנמצאים רחוק יותר מהעוגן.
• פקדי מרחק התצוגה של אזור העריכה: בפינה הימנית התחתונה של אזור העריכה יש פקדי תצוגה לניהול הרינדור של אזור התצוגה:
  • פקדי מרחק התצוגה: משתמשים בלחצנים הגדלת מרחק התצוגה () והקטנת מרחק התצוגה () כדי לשנות את קנה המידה של התרשים.
  • התאמה למסך: אפשר להשתמש בסמל כדי לשנות את הגודל של פריסת התרשים כך שיתאים לאזור התצוגה.

הסבר על הרכיבים החזותיים בתרשים

בתרשים ההקשר, סוגים שונים של נכסי נתונים והקשרים ביניהם מיוצגים באמצעות צבעים, סמלים וסגנונות קצוות ספציפיים. כדי לראות את ההגדרות של אוצר המילים החזותי של התרשים, לוחצים על סמל האפשרויות הנוספות () ובוחרים באפשרות Open graph legend.

מצבי הצומת

בצמתים מוצגים תגים שמציינים את המצב הנוכחי שלהם באזור העריכה:

• נבחרה: הרשומה שאתם בודקים. שאר התרשים מתעמעם כדי שהקשרים שלו יבלטו.
• במוקד הסוכן: חלק מהמוקד שלכם – קבוצת העבודה שאתם והסוכן חוקרים.
• הרחבה: המערכת טוענת את הרשומות שקשורות לרשומה הזו, כמו שושלת, איחודים ומונחים במילון, ומוסיפה אותן לתרשים.

קודי צבעים של מקורות נתונים

הצבע של הצומת מציין את מקור הנתונים או את סוג הישות:

• כחול: BigQuery (טבלאות, תצוגות, מערכי נתונים).
• כחול-ירוק: ‏Lakehouse (קטלוגים, מרחבי שמות, טבלאות, תצוגות).
• צהוב: מילון מונחים, קטלוג או Knowledge Catalog (מילוני מונחים, מונחים, קטלוגים).
• חום: מסד נתונים או אחסון (Spanner, ‏ AlloyDB, ‏ Cloud Storage).
• ורוד: dbt (מודלים, מודלים סמנטיים, בדיקות, פקודות מאקרו, חשיפות).
• כתום: מוצר נתונים.
• אדום: הקשר (קבוצות הקשרים).
• ירוק: Looker (פרויקטים, מודלים, תצוגות ו-Explores של LookML).
• אפור: נכסים בהתאמה אישית (קבוצות של רשומות בהתאמה אישית וסוגי רשומות שלא נתמכים).

קצוות של קשרים

הקווים שמחברים בין הצמתים מייצגים קשרים סמנטיים. אפשר לסנן את הקצוות האלה באמצעות החלונית Filters (כפי שמתואר בקטע בחינת החיבורים בין הנתונים):

• צירוף סכימה: קצוות כחולים שממפים נתיבי צירוף מאומתים של כמה טבלאות, מפתחות ראשיים ומפתחות זרים.
• הגדרה: קצוות כתומים שמחברים בין עמודות בטבלה הבסיסית לבין מונחים מאושרים במילון המונחים הארגוני ונוסחאות של מדדי KPI.
• הקשר: קצוות אפורים שמשייכים הקשר מיוחד לנכס נתונים מסוים.
• חבילות: קצוות אפורים שמראים אילו נכסי נתונים מקובצים במוצר נתונים ספציפי.

הוספת רשומות באופן ידני לתרשים ההקשר

במקום להסתמך רק על פקודות בצ'אט, אתם יכולים להזין באופן ידני נכסי נתונים ספציפיים בתרשים ההקשר ישירות מממשק ה-Canvas. האפשרות הזו שימושית כשאתם כבר יודעים אילו משאבים אתם רוצים לקשר ולהציג.

כדי לחפש נכסים ספציפיים ולהוסיף אותם לתרשים:

1. כדי לחפש רשומות, לוחצים על השדה Search entries by name, dataset, or description שנמצא ישירות בכותרת של אזור העריכה.
2. אופציונלי: כדי לשנות את פרויקט היעד, בתפריט הנפתח Project בוחרים פרויקט ב- Google Cloud (כברירת מחדל, האפשרות מוגדרת ל-All projects).
3. מזינים מילת מפתח, שם של מערך נתונים או תיאור של רשומה.
4. כדי להציב צומת בלוח הציור, לוחצים על הרשומה הרצויה מהרשימה הנפתחת של תוצאות החיפוש התואמות. התרשים מתעדכן כדי להציג את הצומת החדש, וממפה באופן אוטומטי את כל הקשרים הסמנטיים או המבניים הקיימים.

איור 3. השדה חיפוש רשומות שנמצא בכותרת של אזור העריכה. (כדי להגדיל את התמונה, אפשר ללחוץ עליה.)

בדיקת החיבורים של צומת ספציפי

כדי לראות פרטי מטא-נתונים, להרחיב קשרים או לגשת לפעולות נוספות בצומת ספציפי בקנבס הפעיל, אתם יכולים לבצע פעולות ישירות בצומת באמצעות לחיצות שונות בעכבר.

כדי לבצע פעולה בצומת ספציפי, משתמשים באחת מהשיטות הבאות:

• הצגת מטא-נתונים: כדי לפתוח חלונית צדדית שבה מוצגים מטא-נתונים מפורטים (כמו צמתים מחוברים) של הנכס שנבחר, לוחצים לחיצה אחת על הצומת.

  

  איור 4. חלונית צדדית עם פרטי המטא-נתונים של הצומת. (כדי להגדיל את התמונה, אפשר ללחוץ עליה.)

• פתיחת אפשרויות נוספות: כדי לגשת לפעולות נוספות כמו מעקב אחרי שושלת או הסרת הצומת, לוחצים לחיצה ימנית על הצומת כדי לפתוח את תפריט ההקשר שלו. בתפריט הזה אפשר לבחור את הפעולות הבאות:

  

  איור 5. תפריט ההקשר של צומת. (אפשר ללחוץ על התמונה כדי להגדיל אותה).

  • ‫Expand: מאחזרת ומציגה את החיבורים השכנים המיידיים לפי סוג הקשר.
  • הסרה מההתמקדות של הסוכן: הסרת הצומת מקבוצת העבודה שאתם והסוכן בוחנים.
  • העתקת מזהה הרשומה: מעתיקה את המזהה הייחודי של הנכס.
  • שושלת במעלה הזרם: מעקב והרחבה של שושלת הנתונים שזורמים אל הצומת.
  • שושלת במורד הזרם: מעקב אחר שושלת הנתונים שיוצאת מהצומת והרחבה שלה.
  • הסרה מהתרשים: הסרת הצומת מהקנבס הפעיל.

• הרחבת קשרים: כדי להרחיב את כל הקשרים בבת אחת (כך שיוצגו כל הטבלאות, התצוגות ומונחי המילון המקושרים), לוחצים לחיצה כפולה על הצומת. בצומת מוצג תג כיווץ (-) שמציין שהחיבורים שלו מורחבים. כדי לכווץ את הקשרים, לוחצים לחיצה כפולה על הצומת שוב.

שליחת שאילתה והרחבת ההקשר הפעיל

הצ'אט שמבוסס על Gemini שומר על ההקשר של השיחה בין ההנחיות. מכיוון שתרשים ההקשר הפעיל נשמר בזיכרון העבודה, אתם יכולים לשאול שאלות המשך, להרחיב את התרשים או ליצור שאילתות בלי לחזור על פרטים קודמים.

לשאול שאלות על נכסים בהקשר הרלוונטי

כששואלים על נכסים שכבר נמצאים בלוח, הסוכן בודק ישירות את תרשים ההקשר בזיכרון בלי להפעיל מחדש את כלי הגילוי.

כדי לשאול שאלה לגבי נכס ב-Canvas:

1. בשדה ההנחיה, מזינים שאלה לגבי מונחים עסקיים מקושרים או מטא-נתונים של נכס בלוח הציור, ולוחצים על Send. לדוגמה:

   Are there any glossaries connected to TABLE_NAME?
   

   מחליפים את TABLE_NAME בשם של טבלה או נכס נתונים שנטענו בתרשים ההקשר (לדוגמה, customers).

   הנציג בודק את תרשים ההקשר הפעיל בזיכרון ומחזיר סיכום שיחה של מונחים מחוברים ממילון המונחים הארגוני וקשרים בין עמודות, בלי לשלוח שאילתה חוזרת לקטלוג.

2. אופציונלי: כדי לענות על שאלות באמצעות ידע חיצוני, הוסיפו לפרומפט קישור למסמך Google Docs חיצוני. הסוכן יכול לקרוא את תוכן המסמך ולהשתמש בידע החיצוני הזה כדי לענות על השאלות שלכם.

מעבר והרחבה של התרשים הסמנטי

כשמבקשים לחקור קשרים חדשים או עמוקים יותר מעבר לתרשים הפעיל, הנציג מחליף באופן דינמי את אסטרטגיית הכלים שלו כדי לגלות קשרים כמו איחוד סכימות, הגדרות במילון המונחים או מסמכי תיעוד סמנטיים בהתאמה אישית.

כדי לעקוב אחרי קשרים החוצה מישות או ממושג עסקי:

1. בשדה ההנחיה, מזינים בקשה למעקב אחר קשרים כלפי חוץ ולוחצים על Send. לדוגמה:

   Show how my data is connected to GLOSSARY_TERM
   

   מחליפים את GLOSSARY_TERM בשם של מונח ממילון המונחים הארגוני בקטלוג (לדוגמה, Customer Value).

   הנציג עובר על קצוות של תרשים סמנטי – כמו קישורים מבוססי-שאילתה מסוג schema-join, קישורים מסוג definition למילוני מונחים או packages למוצרי נתונים – ומוסיף את הטבלאות החדשות שהתגלו ללוח הציור. התרשים מתמקד בצומת של מונח המילון החדש שנחקר, מציג את הקישורים הסמנטיים שלו ומעדכן את המונה Active nodes.

יצירת SQL ובדיקת התפלגויות

בזמן שאתם בודקים נכסים בממשק הצ'אט, אתם יכולים לבצע ניתוח מעמיק ישירות על הנתונים שלכם באמצעות ניתוח נתונים בשיחה ב-BigQuery.

כדי ליצור שאילתה ולבדוק את התפלגות הנתונים באמצעות ההקשר הפעיל:

1. בשדה ההנחיה, מבקשים מהסוכן לכתוב שאילתה באמצעות הצמתים שמוצגים ולוחצים על Send. לדוגמה:

   Generate a query to calculate average customer balance by region
   using the active tables.
   

   הסוכן משתמש בתרשים ההקשר הפעיל כבסיס ליצירת SQL מותאם להקשר שמכיל מפתחות איחוד מאומתים (כמו customer_id ו-region_id).

2. אופציונלי: כדי להעריך את התפלגות הנתונים, אפשר לבקש מהנציג סיכומים סטטיסטיים.

   הנציג יכול להריץ שאילתות ולהציג תרשימים של התפלגות נתונים בחלון הצ'אט, כדי לעזור לכם להעריך את התפלגות הנתונים לפני שאתם כותבים קוד בהתאמה אישית.

ניהול היסטוריית הצ'אטים

‫Knowledge Studio שומר באופן אוטומטי את סשני המחקר שלכם, ומאפשר לכם לחפש, להמשיך או למחוק שיחות קודמות ישירות מחלונית הניווט.

כדי לראות או לנהל את היסטוריית השיחות:

1. בחלונית הניווט של Knowledge Studio, מוודאים שהקטע Recent מורחב.
2. כדי למצוא שיחה ספציפית מהעבר, בשדה חיפוש בשיחות מזינים מילות מפתח שקשורות לשאלות או להקשר של השיחה הקודמת.
3. כדי להמשיך סשן של בדיקה, לוחצים על שם השיחה ברשימה. הפעולה הזו משחזרת את שרשור הצ'אט הקודם.
4. כדי למחוק שיחה קודמת, מצביעים על שם הצ'אט ברשימה ולוחצים על סמל המחיקה .

המאמרים הבאים

מושג

העשרת ההקשר באמצעות Knowledge Studio

איך לתזמר הקשר של נתונים מגוונים, ליצור קבוצות של הקשרים ולבסס סוכני AI באמצעות הממשקים של Knowledge Studio.

מושג

מידע על הקשר הנתונים

איך ההקשר הפעיל הופך מטא-נתונים פסיביים למידע שסוכני AI יכולים להסתמך עליו כדי למנוע הזיות.

משימה

יצירת תובנות שנוצרו על ידי AI לגבי נתונים מובְנים

כריית יומני שאילתות כדי ליצור באופן אוטומטי תיאורי עמודות, סיכומי טבלאות והמלצות לצירופים.

Discovery

חיפוש מקורות מידע

חיפוש ועיון במשאבים בקטלוג ב-Google Cloud ובמערכות של צד שלישי באמצעות שפה טבעית.

מושג

מידע על משימות העשרה

איך מגדירים תהליכי עבודה לחילוץ מטא-נתונים מבוססי-AI כדי ליצור הקשר של נתונים באופן אוטומטי.

שילוב AI

התאמת סוכנים באמצעות MCP

מחברים סוכני AI וכלים למפתחים ל-Knowledge Catalog באמצעות Model Context Protocol.