ניהול משאבי Datastream באמצעות Knowledge Catalog

תצוגה מקדימה

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאי שירות הכלליים" בתנאים הספציפיים של השירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

אתם יכולים לחפש ולנהל את משאבי Datastream באמצעות Knowledge Catalog, פלטפורמה לאחסון, לניהול ולגישה למטא-נתונים. אפשר להשתמש ב-Knowledge Catalog כדי:

• גילוי, ניתוח והבנה של המטא-נתונים של Datastream.
• עיון במשאבי Datastream, כמו סטרימינג, פרופילי חיבור והגדרות קישוריות.
• שיפור השקיפות התפעולית לצורך פתרון בעיות וניהול של צינורות עיבוד נתונים.
• הקמת מנגנונים תקופתיים וכמעט בזמן אמת להטמעה עקבית של מטא-נתונים עם סנכרון בזמן אמת ובאצווה. מידע נוסף זמין במאמר בנושא מצבי סנכרון.

יצירת מודלים ב-Knowledge Catalog

המשאבים של Datastream ממודלים ב-Knowledge Catalog בקבוצת רשומות שמורה ובסוגים ספציפיים של רשומות, שנמצאים בבעלות של Knowledge Catalog.

ישות Knowledge Catalog	מזהה המשאב
קבוצת רשומות	@datastream
סוג הרשומה	datastream-stream
סוג הרשומה	datastream-connection-profile
סוג הרשומה	datastream-private-connection

סוגים של גילוי מטא-נתונים

גילוי המטא-נתונים ב-Knowledge Catalog הוא תהליך אוטומטי שסורק מקורות נתונים מקושרים – כמו Datastream – כדי לזהות נכסי נתונים ולחלץ את המטא-נתונים הטכניים שלהם אל Knowledge Catalog.

התהליך הזה מבוסס על סנכרון בזמן אמת וסנכרון תקופתי, כדי לשמור על עקביות הקטלוג עם מערכת המקור. ב-Datastream, כברירת מחדל מתבצעת גילוי של מטא-נתונים של כל הזרמים, פרופילי החיבור והגדרות הקישוריות הפרטית:

סוג המשאב	מטא-נתונים שאוחזרו
מקורות נתונים	שם מיקום מדינה (לדוגמה, RUNNING, ‏ PAUSED, ‏ FAILED) אסטרטגיית מילוי חוסרים שמות פרופילי החיבור של המקור והיעד הגדרות המקור והיעד
פרופילי קישור	שם מיקום סוג (לדוגמה, MYSQL, ‏ ORACLE, ‏ BIGQUERY) אפשרות קישוריות שם המארח, היציאה ושם מסד הנתונים
הגדרות קישוריות פרטיות	שם מדינה שיטת הקישוריות (לדוגמה, Private Service Connect או קישור בין רשתות VPC שכנות) פרטים על רשת VPC ורשת משנה

הערה: במאגר הידע, המשאבים ב-Datastream ובשירותים אחרים של Google Cloud מוגדרים כנכסים.

מצבי סנכרון

כדי לשמור על עקביות בין Knowledge Catalog לבין מערכת המקור, Datastream משתמש במצבי הסנכרון הבאים.

• סנכרון בזמן אמת: במצב הזה, Datastream מפרסם אירועים בנושאי Pub/Sub כשמתרחשים שינויים במטא-נתונים. כך, Knowledge Catalog יכול לקבל עדכונים כמעט בזמן אמת באמצעות הרשמה לנושאים האלה.
• סנכרון באצווה: במצב הזה, Datastream מפרסם מעת לעת ייצואים מלאים של מטא-נתונים (נקודות ביקורת) לקטגוריות ייעודיות ב-Cloud Storage, שמתוכן Knowledge Catalog מבצע הטמעה של הנתונים.

חיפוש מילות מפתח וחיפוש בשפה טבעית

Knowledge Catalog תומך בחיפושים לפי מילות מפתח ולפי שפה טבעית.

• חיפוש מילות מפתח מאפשר לכם למצוא משאבים באמצעות מילות מפתח ספציפיות, מסננים ותחביר מוגדר. לדוגמה, אפשר להזין system=Datastream AND type=Stream כדי לראות את כל הסטרימינג של Datastream.
• חיפוש בשפה טבעית (גרסת Preview) משתמש ב-AI כדי להבין שאילתות סמנטיות. הוא מאפשר לכם למצוא משאבים באמצעות שפה יומיומית, בלי שתצטרכו להשתמש בתחביר מורכב. לדוגמה, אפשר להזין שאילתות כמו List all Datastream streams with BigQuery destination.

מידע נוסף זמין במאמר בנושא תחביר החיפוש ב-Knowledge Catalog.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. מפעילים את Dataplex API בפרויקט.

   הפעלת Dataplex API

2. בודקים שיש לכם את ההרשאות הנדרשות.

התפקידים שצריך ב-IAM

בקטע הזה מתוארים התפקידים וההרשאות שנדרשים כדי לחפש משאבים ולגשת לתוצאות החיפוש.

התפקידים שנדרשים כדי לגשת לתוצאות החיפוש

כדי לחפש ולהציג מטא-נתונים של Datastream ב-Knowledge Catalog, לגורמים המורשים צריכות להיות הרשאות להצגת משאבי Datastream, כולל ההרשאה dataplex.projects.search.

כדי להעניק את ההרשאות האלה לגורמים כמו משתמשים, קבוצות או חשבונות שירות, צריך להקצות להם את תפקיד ה-IAM‏ Datastream Viewer (roles/datastream.viewer) בפרויקט שמכיל את משאבי Datastream.

פעולה ב-Knowledge Catalog	משאב Datastream	תפקידים או הרשאות נדרשים
חיפוש מקורות מידע של Datastream	מקורות נתונים	datastream.streams.get
	פרופילי קישור	datastream.connectionProfiles.get
	הגדרות קישוריות פרטיות	datastream.privateConnections.get

מידע נוסף על מתן תפקידים זמין במאמר ניהול הגישה. מידע נוסף על תפקידי IAM ב-Datastream זמין במאמר תפקידים והרשאות ב-IAM ל-Datastream.

התפקידים שנדרשים כדי לחפש רשומות

כדי לחפש רשומות, צריך להיות לכם לפחות אחד מ תפקידי ה-IAM הבאים בפרויקט שמשמש לחיפוש:

• אדמין של Dataplex Catalog (roles/dataplex.catalogAdmin)
• עריכה ב-Dataplex Catalog (roles/dataplex.catalogEditor)
• Dataplex Catalog Viewer (roles/dataplex.catalogViewer)

ההרשאות בתוצאות החיפוש נבדקות בנפרד מהפרויקט שנבחר. מידע נוסף זמין במאמר בנושא חיפוש נכסי נתונים באמצעות Knowledge Catalog.

חיפוש נכסים של מקורות נתונים

אפשר להשתמש בדף החיפוש של Knowledge Catalog ב Google Cloud מסוף כדי לחפש נכסי Datastream.

1. עוברים לדף חיפוש ב-Knowledge Catalog.

   מעבר אל חיפוש

2. בקטע Choose search platform (בחירת פלטפורמת חיפוש), בוחרים באפשרות Knowledge Catalog (קטלוג הידע).

3. בחלונית Filters, לוחצים על Systems ואז בוחרים באפשרות Datastream.

4. זה שינוי אופציונלי. בקטע Type aliases (כינויי סוגים), אפשר לסנן את תוצאות החיפוש לפי סוג ספציפי של נכס Datastream. כדי לעשות זאת, בוחרים אחד או יותר מהכינויים הבאים:

   • מקור נתונים: כדי לחפש מקורות נתונים של Datastream.
   • פרופיל קישור: כדי לחפש פרופילים של קישורי Datastream.
   • Connection: to search for Datastream private connectivity configurations.

שימוש בשאילתות לביצוע חיפוש מילות מפתח

אפשר להשתמש בשדה החיפוש ב-Knowledge Catalog כדי להריץ שאילתות של חיפוש מילות מפתח. לדוגמה, אפשר להזין system=Datastream AND type=Stream כדי לראות את כל הסטרימינג של מקורות הנתונים.

מידע נוסף זמין במאמר בנושא תחביר החיפוש ב-Knowledge Catalog.

כדי להציג את כל הנכסים של Datastream, מזינים את הפקודה system=Datastream.

אחר כך תוכלו להזין מילות מפתח ספציפיות. לדוגמה, כדי להציג את כל מקורות הנתונים של Datastream:

system=Datastream AND type=Stream

כדי לראות את כל פרופילי החיבור, מזינים את השאילתה הבאה:

system=Datastream AND type=ConnectionProfile

אפשר להשתמש גם בסוגריים ובאופרטורים הלוגיים AND ו-OR לביטויים מורכבים. מידע נוסף על הביטויים שאפשר להשתמש בהם בשדה החיפוש זמין במאמר תחביר החיפוש ב-Knowledge Catalog.

אתם יכולים להזין ישירות בשדה החיפוש שאילתות חיפוש של נכסי Datastream ספציפיים. הפורמט של מחרוזת השאילתה הוא:

type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"

מחליפים את מה שכתוב בשדות הבאים:

• ‫QUERY_STRING: משתמשים ברשימה הבאה כדי לזהות מחרוזת שאילתה על סמך סוג נכס Datastream שרוצים לשלוח לגביו שאילתה:

  • datastream-stream
  • datastream-connection-profile
  • datastream-private-connection

דוגמה לשאילתה:

type="projects/dataplex-types/locations/global/entryTypes/datastream-stream"

תמחור

אין תשלום על אחסון מטא-נתונים טכניים של Datastream ב-Knowledge Catalog. התמחור הרגיל של Knowledge Catalog חל על קריאות ל-API ועל העשרה נוספת של מטא-נתונים עסקיים. מידע נוסף מופיע ב דף המחירון של Knowledge Catalog.

המאמרים הבאים

• מידע נוסף על ניהול מטא-נתונים בקטלוג הידע
• מידע ולמידה על תפקידים בניהול זהויות והרשאות גישה (IAM) ב-Knowledge Catalog