ניהול משאבי Datastream באמצעות Knowledge Catalog

אתם יכולים לחפש ולנהל את המשאבים של Datastream באמצעות Knowledge Catalog, פלטפורמה לאחסון, לניהול ולגישה למטא-נתונים. אתם יכולים להשתמש ב-Knowledge Catalog כדי:

• חיפוש, ניתוח והבנה של המטא-נתונים של Datastream.
• עיון במשאבי Datastream, כמו מקורות נתונים, פרופילי חיבורים והגדרות קישוריות.
• שיפור הניראות התפעולית לצורך פתרון בעיות וניהול צינורות עיבוד נתונים.
• הגדרת מנגנונים תקופתיים וכמעט בזמן אמת להטמעה עקבית של מטא-נתונים, עם סנכרון בזמן אמת ובאצווה. למידע נוסף, קראו את המאמר מצבי סנכרון.

מודלים של Knowledge Catalog

המשאבים של Datastream מיוצגים ב-Knowledge Catalog בקבוצת רשומות שמורה בבעלות Knowledge Catalog ובסוגי רשומות ספציפיים.

ישות של Knowledge Catalog	מזהה המשאב
קבוצת רשומות	@datastream
סוג הרשומה	datastream-stream
סוג הרשומה	datastream-connection-profile
סוג הרשומה	datastream-private-connection

סוגי גילוי מטא-נתונים

גילוי המטא-נתונים של Knowledge Catalog הוא תהליך אוטומטי שסורק מקורות נתונים מחוברים, כמו Datastream, כדי לזהות נכסי נתונים ולחלץ את המטא-נתונים הטכניים שלהם ל-Knowledge Catalog.

התהליך הזה משתמש בסנכרון בזמן אמת ובסנכרון תקופתי כדי לשמור על עקביות בין הקטלוג לבין המערכת המקורית. ב-Datastream, כברירת מחדל מתבצע גילוי של מטא-נתונים לכל הסטרימים, פרופילי החיבור והגדרות הקישוריות הפרטית:

סוג המשאב	אחזור מטא-נתונים
מקורות נתונים	שם מיקום מדינה (לדוגמה, RUNNING, PAUSED, FAILED) אסטרטגיית מילוי חוסרים (backfill) שמות של פרופילי חיבור במקור וביעד הגדרות המקור והיעד
פרופילי חיבורים	שם מיקום סוג (לדוגמה, MYSQL, ORACLE, BIGQUERY) אפשרות קישוריות שם המארח, היציאה והשם של מסד הנתונים
הגדרות של חיבור מבודד	שם מדינה שיטת הקישוריות (לדוגמה, Private Service Connect או קישור בין רשתות VPC שכנות) פרטי רשת VPC ורשת משנה

הערה: ב-Knowledge Catalog, המשאבים ב-Datastream ובשירותים אחרים של Google Cloud נקראים נכסים.

מצבי סנכרון

כדי לשמור על העקביות של Knowledge Catalog עם מערכת המקור, Datastream משתמש במצבי הסנכרון הבאים.

• סנכרון בזמן אמת: במצב הזה, Datastream מפרסם אירועים בנושאי Pub/Sub כשמתרחשים שינויים במטא-נתונים. כך Knowledge Catalog יכול לקבל עדכונים כמעט בזמן אמת על ידי הרשמה לנושאים האלה.
• סנכרון באצווה: במצב הזה, Datastream מפרסם מדי פעם ייצוא מלא של מטא-נתונים (נקודות ביקורת) לקטגוריות ייעודיות של Cloud Storage, שמהן Knowledge Catalog מטמיע את הנתונים.

חיפוש לפי מילות מפתח ובשפה טבעית

ב-Knowledge Catalog אפשר לחפש באמצעות מילות מפתח ובשפה טבעית.

• חיפוש לפי מילות מפתח מאפשר לכם למצוא משאבים באמצעות מילות מפתח ספציפיות, מסננים ותחביר מוגדר. לדוגמה, אפשר להזין system=Datastream AND type=Stream כדי לראות את כל הסטרימינג של Datastream.
• חיפוש בשפה טבעית משתמש ב-AI כדי להבין שאילתות סמנטיות. הוא מאפשר למצוא משאבים באמצעות שפה יומיומית, בלי צורך בתחביר מורכב. לדוגמה, אפשר להזין שאילתות כמו List all Datastream streams with BigQuery destination.

מידע נוסף זמין במאמר תחביר החיפוש של Knowledge Catalog.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. מפעילים את Dataplex API בפרויקט.

   הפעלת Dataplex API

2. מוודאים שיש לכם את ההרשאות הנדרשות.

התפקידים שצריך ב-IAM

בקטע הזה מתוארים התפקידים וההרשאות שנדרשים כדי לחפש משאבים ולגשת לתוצאות החיפוש.

התפקידים הנדרשים כדי לגשת לתוצאות החיפוש

כדי לחפש ולראות מטא-נתונים של Datastream ב-Knowledge Catalog, לחשבונות המשתמשים צריכות להיות הרשאות לצפייה במשאבי Datastream, כולל ההרשאה dataplex.projects.search.

כדי לתת לחשבונות משתמשים, קבוצות או חשבונות שירות את ההרשאות האלה, צריך להקצות להם את התפקיד Datastream Viewer (roles/datastream.viewer) ב-IAM בפרויקט שמכיל את המשאבים של Datastream.

פעולה ב-Knowledge Catalog	משאב Datastream	התפקידים או ההרשאות הנדרשים
חיפוש משאבים של Datastream	מקורות נתונים	datastream.streams.get
	פרופילי חיבורים	datastream.connectionProfiles.get
	הגדרות של חיבור מבודד	datastream.privateConnections.get

במאמר ניהול הגישה תוכלו לקרוא מידע נוסף על מתן תפקידים. מידע נוסף על תפקידי IAM ב-Datastream זמין במאמר תפקידים והרשאות ב-IAM ל-Datastream.

התפקידים שנדרשים כדי לחפש רשומות

כדי לחפש רשומות, צריך לפחות אחד מ תפקידי ה-IAM הבאים בפרויקט שמשמש לחיפוש:

• אדמין של Dataplex Catalog (roles/dataplex.catalogAdmin)
• עריכה ב-Dataplex Catalog‏ (roles/dataplex.catalogEditor)
• צפייה בקטלוג Dataplex‏ (roles/dataplex.catalogViewer)

ההרשאות בתוצאות החיפוש נבדקות בנפרד מהפרויקט שנבחר. מידע נוסף זמין במאמר חיפוש נכסי נתונים באמצעות Knowledge Catalog.

חיפוש נכסים ב-Datastream

אתם יכולים להשתמש בדף החיפוש של Knowledge Catalog במסוף Google Cloud כדי לחפש נכסים של Datastream.

1. עוברים לדף החיפוש ב-Knowledge Catalog.

   מעבר לחיפוש

2. בקטע בחירת פלטפורמת חיפוש, בוחרים באפשרות Knowledge Catalog.

3. בחלונית Filters, לוחצים על Systems ובוחרים באפשרות Datastream.

4. זה שינוי אופציונלי. ב-Type aliases, אתם יכולים לסנן את תוצאות החיפוש לפי סוג ספציפי של נכס Datastream. לשם כך, בוחרים אחד או יותר מהכינויים הבאים:

   • מקור נתונים: כדי לחפש מקורות נתונים של Datastream.
   • ‫Connection profile: כדי לחפש פרופילי חיבור של Datastream.
   • ‫Connection: כדי לחפש הגדרות של קישוריות פרטית ב-Datastream.

שימוש בשאילתות כדי לבצע חיפוש לפי מילות מפתח

אתם יכולים להשתמש בשדה החיפוש ב-Knowledge Catalog כדי לבצע שאילתות חיפוש של מילות מפתח. לדוגמה, אפשר להזין system=Datastream AND type=Stream כדי לראות את כל הסטרימינג של Datastream.

מידע נוסף זמין במאמר תחביר החיפוש של Knowledge Catalog.

כדי לראות את כל הנכסים של Datastream, מזינים system=Datastream.

אחר כך אתם יכולים להזין מילות מפתח ספציפיות. לדוגמה, כדי להציג את כל הסטרימינג של Datastream:

system=Datastream AND type=Stream

כדי לראות את כל פרופילי החיבור, מזינים את השאילתה הבאה:

system=Datastream AND type=ConnectionProfile

אפשר גם להשתמש בסוגריים ובאופרטורים הלוגיים AND ו-OR לביטויים מורכבים. מידע נוסף על הביטויים שאפשר להשתמש בהם בשדה החיפוש זמין במאמר תחביר החיפוש של Knowledge Catalog.

אתם יכולים להזין ישירות בשדה החיפוש שאילתות חיפוש של נכסים ספציפיים ב-Datastream. הפורמט של מחרוזת השאילתה הוא:

type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"

מחליפים את מה שכתוב בשדות הבאים:

• ‫QUERY_STRING: השתמשו ברשימה הבאה כדי לזהות מחרוזת שאילתה על סמך סוג נכס Datastream שאתם רוצים לשלוח אליו שאילתה:

  • datastream-stream
  • datastream-connection-profile
  • datastream-private-connection

דוגמה לשאילתה:

type="projects/dataplex-types/locations/global/entryTypes/datastream-stream"

תמחור

אין חיוב על אחסון מטא-נתונים טכניים של Datastream ב-Knowledge Catalog. התמחור של Standard Knowledge Catalog חל על קריאות ל-API ועל העשרת מטא-נתונים עסקיים נוספים. מידע נוסף זמין ב דף התמחור של Knowledge Catalog.

המאמרים הבאים

• מידע על ניהול מטא-נתונים ב-Knowledge Catalog
• מידע ולמידה על תפקידים בניהול זהויות והרשאות גישה (IAM) ב-Knowledge Catalog