איך יוצרים רשת נתונים

אתם יכולים להשתמש ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) כדי ליצור ארכיטקטורת רשת נתונים. במדריך למתחילים הזה נסביר איך להשתמש בתכונות של Knowledge Catalog, כמו אגם, אזורים ונכסים, כדי לבנות רשת נתונים.

Data mesh היא גישה ארגונית וטכנית שמבזרת את הבעלות על הנתונים בין בעלי נתונים בדומיין. הבעלים האלה מספקים את הנתונים כמוצר בצורה סטנדרטית, ומאפשרים תקשורת בין חלקים שונים בארגון כדי להפיץ מערכי נתונים במיקומים שונים. מידע נוסף על ארכיטקטורות של רשת נתונים

מטרות

במדריך הזה, אתם משתמשים בישויות של Knowledge Catalog כדי ליצור ארכיטקטורת רשת נתונים:

  • יוצרים אגם של Knowledge Catalog שמשמש כדומיין של רשת הנתונים.
  • מוסיפים לאגם אזורים שמייצגים צוותים בודדים בכל דומיין, ומספקים חוזי נתונים מנוהלים.
  • מצרפים נכסים שממופים לנתונים שמאוחסנים ב-Cloud Storage.

עלויות

במסמך הזה משתמשים ברכיבים הבאים של Google Cloud, והשימוש בהם כרוך בתשלום:

כדי להעריך את ההוצאות בהתאם לתחזית השימוש שלכם, אתם יכולים להיעזר במחשבון העלויות.

משתמשים חדשים של Google Cloud ? יכול להיות שאתם זכאים לתקופת ניסיון בחינם.

כשמסיימים את המשימות שמתוארות במסמך הזה אפשר למחוק את המשאבים שיצרתם כדי להימנע מחיובים נוספים. מידע נוסף זמין בקטע הסרת המשאבים.

לפני שמתחילים

  1. בדף לבחירת הפרויקט במסוף Google Cloud , בוחרים פרויקט ב- Google Cloud או יוצרים אותו.

    תפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

    כניסה לדף לבחירת הפרויקט

  2. מוודאים שהחיוב מופעל בפרויקט Google Cloud .

  3. מפעילים את Dataplex API.

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק 'שימוש בשירות'' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    להפעלת ה-API

  4. יוצרים שירות Dataproc Metastore.

יצירת קטגוריה של Cloud Storage

אתם צריכים קטגוריה של Cloud Storage כדי לאחסן את נכסי הנתונים של רשת הנתונים.

כדי ליצור קטגוריה של Cloud Storage, פועלים לפי ההוראות ליצירת קטגוריה של Cloud Storage. כשעושים את זה, חשוב לשים לב לנקודות הבאות:

  • נותנים שם לקטגוריה.
  • בקטע Location type, בוחרים באפשרות Region ובתפריט בוחרים באפשרות us-central1 (Iowa).

יצירת דומיין

  1. במסוף Google Cloud , עוברים לדף Lakes ב-Knowledge Catalog.

    כניסה לדף Lakes

  2. כדי ליצור אגם חדש שמשמש כרשת נתונים, לוחצים על יצירה.

  3. בשדה שם מוצג, מזינים My data mesh.

  4. בשדה אזור, בוחרים באפשרות us-central1.

  5. בוחרים את שירות Dataproc Metastore שיצרתם והגדרתם קודם בתור המאגר המשויך.

  6. לוחצים על יצירה.

יצירת אזורים באגם

אחרי שיוצרים דומיין באמצעות יצירת אגם של Knowledge Catalog, אפשר לארח חוזי נתונים מנוהלים וצוותים נפרדים בדומיין באמצעות אזורים. יש שני סוגים של אזורים:

  • אזורי נתונים גולמיים משמשים בדרך כלל לאחסון נתונים בכל פורמט ממקורות חיצוניים ב-Cloud Storage. אזורים גולמיים שימושיים לנתונים שנדרש עיבוד נוסף שלהם לפני שהם מוכנים לשימוש.

  • אזורים מנוהלים משמשים לנתונים מובְנים ב-Cloud Storage שצריכים להיות בפורמטים מסוימים של קבצים, והם מאורגנים בפריסת ספריות שתואמת ל-Hive. הם הכי שימושיים לנתונים שמוכנים לצריכה ולניתוח.

לכל דומיין (לדוגמה, sales, ‏ customers, ‏ products) צריכים להיות לפחות אזור גולמי ואזור מנוהל.

אזורים נוספים משמשים לניהול חוזי נתונים בין צוותים או כדי לספק פירוט מדויק יותר לצוותים בדומיין נתון. לדוגמה, ניהול מלאי במסגרת תחום המוצר. בעלי הנתונים יכולים לנהל את הנתונים בדומיין שלהם ולגשת אליהם.

  1. במסוף Google Cloud , עוברים לתצוגה Manage של Knowledge Catalog.

  2. לוחצים על השם של האגם (My data mesh) שרוצים להוסיף לו אזור.

  3. בכרטיסייה אזורים, לוחצים על הוספת אזור.

  4. בשדה שם מוצג, מזינים My sub domain. Knowledge Catalog יוצר באופן אוטומטי מזהה לאזור שלכם.

  5. בשדה Type, בוחרים באפשרות Raw zone.

  6. לוחצים על יצירה.

צירוף נכסים לאזורים

מצרפים נכסי נתונים לאזור. נכס נתונים, משאבי האחסון שמכילים את הנתונים שלכם, יכול להיות קטגוריה של Cloud Storage או מערך נתונים ב-BigQuery. זה השלב האחרון ביצירת ארכיטקטורת רשת נתונים.

  1. בתצוגה ניהול של Knowledge Catalog, לוחצים על האגם שיצרתם (My data mesh).

  2. בכרטיסייה אזורים, לוחצים על האזור (My sub domain) שאליו רוצים להוסיף את הנכס.

  3. בכרטיסייה נכסים, לוחצים על הוספת נכסים.

  4. לוחצים על הוספת נכס.

  5. בשדה Type, בוחרים באפשרות קטגוריה של Cloud Storage.

  6. בשדה שם מוצג , מזינים Data mesh asset. ‫Knowledge Catalog יוצר בשבילכם מזהה נכס באופן אוטומטי.

  7. בשדה Bucket (מאגר), לוחצים על Browse (עיון).

    1. בוחרים את הדלי מהרשימה.
    2. לוחצים על בחירה.

  8. לוחצים על Done (סיום) ואז על Continue (המשך).

  9. לוחצים על המשך כדי לאשר את ההגדרות המתקדמות שמוגדרות כברירת מחדל.

  10. לוחצים על שליחה.

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים בנפרד.

מחיקת הפרויקט

  1. במסוף Google Cloud , נכנסים לדף Manage resources.

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת ארכיטקטורת רשת הנתונים

  1. במסוף Google Cloud , עוברים לתצוגה Manage של Knowledge Catalog.

  2. לוחצים על View more (הצגת פרטים נוספים) לצד האגם שרוצים למחוק, ואז לוחצים על Delete (מחיקה).

  3. כדי לאשר את הפעולה, מזינים delete ולוחצים על מחיקת האגם.

המאמרים הבאים