ניהול משאבים באמצעות Data Catalog

בדף הזה מוסבר איך אפשר לחפש ולנהל את משאבי Spanner באמצעות Data Catalog.

שימו לב:‏ Data Catalog יצא משימוש ועכשיו אפשר להשתמש ב-Knowledge Catalog. ‫Knowledge Catalog משולב גם עם Spanner, ומציע יכולות דומות. אתם יכולים להשתמש ב-Knowledge Catalog כדי להעשיר את הנתונים שלכם בהיבטים, שהם המקבילה לתגים של Data Catalog. מידע נוסף זמין במאמר בנושא ניהול היבטים והוספת מטא-נתונים.

‫Data Catalog הוא שירות מנוהל של ניהול מטא-נתונים שאפשר להתאים לעומס, והוא חלק מ-Knowledge Catalog. הוא מחלק אוטומטית לקטלוג את המטא-נתונים הבאים לגבי מופעי Spanner, מסדי נתונים, טבלאות, עמודות ותצוגות:

• שם ושם שמוגדר במלואו
• מיקום (אזור)
• תאריך היצירה ותאריך השינוי האחרון
• סכימה (לטבלאות ולתצוגות)
• תיאור

המטא-נתונים של Spanner מסתנכרנים אוטומטית עם Data Catalog במרווחי זמן קבועים, בדרך כלל כל כמה שעות. אתם יכולים להשתמש ב-Data Catalog כדי לגלות את המטא-נתונים של Spanner ולהבין אותם. אפשר להשתמש ב-Data Catalog כדי לבצע את הפעולות הבאות:

• ניתוח, כולל תלות והתאמה לתרחיש שימוש
• ניהול שינויים
• העברת נתונים (פייפליינים)
• התפתחות הסכימה

באמצעות Data Catalog, אתם יכולים לאצור מטא-נתונים על ידי צירוף תגים לרשומות של מטא-נתונים ב-Spanner. לכל תג יכולים להיות כמה שדות מטא-נתונים, והוא יכול להתבסס על תבנית ליצירת תג מוגדרת מראש או מותאמת אישית.

לדוגמה, אפשר לצרף את התג הבא לעמודה שמכילה מספר תעודת זהות, שהוא פרט אישי מזהה (PII):

pii:true
pii_type:SSN

כשמעבירים מופע שמשתמש בתגים, התגים לא מועברים אוטומטית למופע היעד. במקום זאת, צריך לייצא תגים ממופע המקור לפני שמזיזים את המופע, ולייבא את התגים למופע היעד. מידע נוסף זמין במאמר בנושא ייצוא וייבוא של תגים.

מידע נוסף על Data Catalog זמין במאמר מהו Data Catalog.

הערה: ב-Data Catalog, המשאבים ב-Spanner ובשירותים אחרים של Google Cloud מוגדרים כנכסים. בדף הזה, אנחנו מתייחסים למשאבי Spanner – מופעים, מסדי נתונים, טבלאות ותצוגות – כאל נכסי Spanner. אנחנו משתמשים גם במונח נכסים כדי להתייחס למשאבים ולמטא-נתונים של המשאבים בקטלוג הנתונים.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. מפעילים את Data Catalog API בפרויקט.

   הפעלת Data Catalog API

2. בודקים את ההרשאות.

   כדי לחפש תגים ולצרף אותם לנכסי Spanner, צריך תפקידים והרשאות מסוימים בניהול הזהויות והרשאות הגישה (IAM). פרטים נוספים זמינים במאמר ההרשאות והתפקידים הנדרשים ב-IAM ל-Data Catalog.

יצירת תבניות תגים

תבניות תגים הן מבנים שאפשר לעשות בהם שימוש חוזר כדי ליצור במהירות תגים חדשים. התבניות עוזרות לכם להימנע מכפילויות בעבודה ומתגים לא שלמים. אפשר ליצור כמה תבניות תגים שרוצים.

מידע נוסף זמין במאמר בנושא תגים ותבניות תגים.

צירוף תגים לנכסי Spanner

הוספת תגים לנכסי Spanner מאפשרת לכם:

• מוסיפים מטא-נתונים של העסק לנכסים.
• חיפוש נכסים לפי מטא-נתונים של העסק ומטא-נתונים מותאמים אישית אחרים.

מידע נוסף זמין במאמר בנושא תגים ותבניות תגים.

חיפוש נכסי Spanner

משתמשים בדף החיפוש של Knowledge Catalog ב Google Cloud מסוף כדי לחפש נכסי Spanner.

1. עוברים לדף החיפוש של Knowledge Catalog.

   מעבר אל חיפוש

2. בחלונית המסננים, בקטע מערכות, בוחרים באפשרות Spanner.

   ב-Knowledge Catalog מוצגים כל נכסי Spanner הידועים.

3. אופציונלי: כדי לצמצם את החיפוש, מבצעים אחת מהפעולות הבאות:

   • משתמשים בחיפוש עם מסננים בדף חיפוש. מסמנים את תיבות הסימון בקטעים סוגי נתונים, פרויקטים ותגים.

   • בשדה החיפוש, מוסיפים פרמטר חיפוש אחרי system=cloud_spanner. מפרידים בין הפרמטרים באמצעות רווחים.

   לדוגמה, כדי להציג רק מסדי נתונים, מזינים את הטקסט הבא בשדה החיפוש ולוחצים על Enter.

    system=cloud_spanner type=database
   

   הערה: כדי לחפש מכונות Spanner, משתמשים ב-type=service. כדי לחפש הגדרות של מופע, משתמשים בפקודה instance_config=configuration-name.

   אפשר להשתמש גם בסוגריים ובאופרטורים הלוגיים and ו-or לביטויים מורכבים. מידע נוסף על הביטויים שאפשר להשתמש בהם בשדה החיפוש זמין במאמר תחביר החיפוש ב-Data Catalog.

4. בטבלת התוצאות, לוחצים על שם הנכס כדי לראות את המטא-נתונים של הנכס.

5. אופציונלי: מבצעים אחת מהפעולות הבאות:

   • לוחצים על הוספת סקירה כללית כדי להוסיף תיאור בפורמט טקסט עשיר של הנכס.
   • לוחצים על צירוף תגים כדי להוסיף תג לנכס.
   • כדי לראות את העמודות בטבלה, לוחצים על הכרטיסייה SCHEMA.
   • כדי לראות את מסדי הנתונים של החברים במופע (SERVICE), לוחצים על הכרטיסייה ENTRY LIST (רשימת רשומות) ואז על VIEW CHILD ENTRIES IN SEARCH (הצגת רשומות צאצא בחיפוש). (אם הכרטיסייה ENTRY LIST לא מופיעה, המשמעות היא שאין מסדי נתונים במופע).

דוגמה לתהליך עבודה – פירוט ממופע לעמודות

בדוגמה הזו של תהליך העבודה, מתחילים בחיפוש מופע של Spanner, אחר כך צופים במסד נתונים של חבר, אחר כך צופים בטבלה במסד הנתונים הזה, ואז צופים בעמודות בטבלה.

1. עוברים לדף החיפוש של Knowledge Catalog.

   מעבר אל חיפוש

2. בחלונית המסננים, בקטע מערכות, בוחרים באפשרות Spanner.

3. כדי לראות את כל מופעי Spanner ב-Data Catalog, מסמנים את התיבה Service בקטע Data types, או מזינים את הטקסט הבא בשדה החיפוש ולוחצים על Enter.

   system=cloud_spanner type=service
   

4. בוחרים שם של מכונה.

5. בדף Spanner service details, לוחצים על הכרטיסייה ENTRY LIST ואז על VIEW CHILD ENTRIES IN SEARCH.

   ב-Knowledge Catalog מוצגים מסדי הנתונים במופע.

   הערה: אם אין כרטיסייה בשם ENTRY LIST, חוזרים לדף Search ובוחרים מופע אחר.

6. בדף Spanner database details, לוחצים על הכרטיסייה ENTRY LIST ואז על VIEW CHILD ENTRIES IN SEARCH.

   ב-Knowledge Catalog מוצגות הטבלאות במסד הנתונים.

7. בוחרים שם של טבלה, ואז בדף פרטי טבלת Spanner לוחצים על סכימה כדי לראות את העמודות של הטבלה.

8. אופציונלי: כדי להוסיף תג לעמודה, לוחצים על סימן הפלוס בקטע תגי עמודות.

הערה: בתרשים הזרימה הזה מוצגת התרחבות ממופע לטבלה. אפשר לעבור ישירות לרשימת טבלאות באמצעות החלונית Filters או על ידי הזנת system=cloud_spanner,type=table בשדה החיפוש.

ייצוא וייבוא של תגים

כשמעבירים מופע של Spanner, תהליך ההעברה מוחק את תגי המופע שיצרתם ב-Data Catalog. כדי לשמור את התגים, צריך לבצע את הפעולות הבאות:

• שליחת שאילתה לגבי התגים שמשויכים למופע.
• מעתיקים את פרטי התגים.
• יוצרים את התגים במופע שהועבר.

הנתונים ב-Spanner מסתנכרנים כל 6 שעות. יכול להיות שיחלפו כ-6 שעות עד ששינויים במטא-נתונים של נכסי Spanner כמו מופעים, מסדי נתונים, טבלאות, תצוגות או עמודות יתעדכנו בקטלוג הנתונים.

ייצוא תגים מהגדרת מופע המקור

כדי להציג את התגים של מופע (רשומה או קבוצת רשומות), משתמשים בפקודה gcloud data-catalog tags list של Google Cloud CLI באופן הבא:

curl \
'https://datacatalog.googleapis.com/v1/projects/PROJECT/locations/LOCATION/entryGroups/ENTRY_GROUP/tags?key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --compressed

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT: הפרויקט שמכיל את התגים.
• LOCATION: המיקום של התגים.
• ‫API_KEY: מחרוזת ייחודית שמאפשרת לכם לגשת ל-API.
• ACCESS_TOKEN: אסימון הגישה שהאפליקציה משתמשת בו כדי לבצע אימות לשירות.

ייבוא תגים להגדרת היעד

לפני שמבצעים את התהליך הזה, צריך לעשות את הפעולות הבאות:

• העברת המכונה.
• עדכון של Data Catalog עם מטא-נתונים.

כדי להעתיק תג, יוצרים את התגים במכונה שהועברה באמצעות הפקודה gcloud data-catalog tags create באופן הבא:

curl --request POST \
'https://datacatalog.googleapis.com/v1/entries:lookup?fullyQualifiedName=FQN&location=LOCATION&project=PROJECT&key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --header 'Content-Type: application/json' \
  --data '{"column":"myColumnName","name":"myTagName","template":"myTemplateName","fields":{"myDoubleField":{"doubleValue":0}}}' \
  --compressed

מחליפים את מה שכתוב בשדות הבאים:

• ‫FQN: שם מוגדר במלואו (FQN) של המשאב. יש שני סוגים של שמות דומיין מלאים:

  למשאבים לא אזוריים: {SYSTEM}:{PROJECT}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  למשאבים אזוריים: {SYSTEM}:{PROJECT}.{LOCATION_ID}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  דוגמה לטבלת DPMS:

  dataproc_metastore:{PROJECT_ID}.{LOCATION_ID}.{INSTANCE_ID}.{DATABASE_ID}.{TABLE_ID}

• ‫LOCATION: המיקום שבו מתבצע החיפוש.

• ‫PROJECT: הפרויקט שבו מתבצע החיפוש.

• ‫API_KEY: מחרוזת ייחודית שמאפשרת לכם לגשת ל-API.

• ACCESS_TOKEN: אסימון הגישה שהאפליקציה משתמשת בו כדי לבצע אימות לשירות.

ההרשאות והתפקידים שנדרשים ב-IAM בשביל Data Catalog

בטבלה הבאה מפורטים התפקידים וההרשאות ב-IAM שנדרשים לפעולות השונות ב-Data Catalog.

הערה: Data Catalog לא תומך בבקרת גישה מדויקת ב-Spanner.

פעולה ב-Data Catalog	משאב Spanner	תפקידים או הרשאות שנדרשים
יצירת תבנית ליצירת תג	לא רלוונטי	roles/datacatalog.tagTemplateCreator
חיפוש משאבי Spanner	Instance	spanner.instances.get
	מסד נתונים	spanner.databases.get
	טבלה	spanner.databases.get
	תצוגות	spanner.databases.get
הצגת תגים שגלויים לכולם	Instance	spanner.instances.get
	מסד נתונים	spanner.databases.get
	טבלה	spanner.databases.get
	תצוגות	spanner.databases.get
הצגת תגים פרטיים	מכונות	datacatalog.tagTemplates.getTag + spanner.instances.get
	מסדי נתונים	datacatalog.tagTemplates.getTag + spanner.databases.get
	Tables	datacatalog.tagTemplates.getTag + spanner.databases.get
	תצוגות	datacatalog.tagTemplates.getTag + spanner.databases.get
צירוף תג למשאב Spanner באמצעות תבנית ליצירת תג	מכונות	datacatalog.tagTemplates.use + spanner.instances.updateTag
	מסדי נתונים	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Tables	datacatalog.tagTemplates.use + spanner.databases.updateTag
	תצוגות	datacatalog.tagTemplates.use + spanner.databases.updateTag

ההרשאה spanner.instances.UpdateTag כלולה בתפקיד הבא:

• roles/spanner.admin

ההרשאה spanner.databases.UpdateTag כלולה בתפקידים הבאים:

• roles/spanner.admin
• roles/spanner.databaseAdmin
• roles/spanner.databaseUser

מידע נוסף מופיע במאמר בנושא תפקידים מוגדרים מראש.

המאמרים הבאים

• מה זה Data Catalog
• תפקידים לחיפוש Google Cloud משאבים
• מידע על בקרת גישה פרטנית