הגדרת פריסה חוצת-פרויקטים

אתם יכולים להגדיר פריסה של Dataproc Metastore בכמה פרויקטים כדי להפריד בין המשאבים הבאים:

• שירות Dataproc Metastore.
• אשכול Dataproc שמצורף לשירות Dataproc Metastore.
• הרשת שבה נעשה שימוש באשכול Dataproc.

לפני שמתחילים

• מפעילים את Dataproc Metastore בפרויקט.
• יצירת שירות Dataproc Metastore.
• הסבר על דרישות הרשת שספציפיות לפרויקט.

תפקידים נדרשים

כדי לקבל את ההרשאות שדרושות ליצירת Dataproc Metastore ואשכול Dataproc, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• כדי להעניק שליטה מלאה במשאבי Dataproc Metastore: עורך של Dataproc Metastore (roles/metastore.editor) בפרויקט של מאגר המטא-נתונים.

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

מידע נוסף על תפקידים והרשאות ספציפיים ב-Dataproc Metastore זמין במאמר ניהול גישה באמצעות IAM.

מידע על פריסות חוצות-פרויקטים

פריסה של Dataproc Metastore בין פרויקטים יכולה לכלול את ההגדרות הבאות:

• שני פרויקטים:

  • פרויקט אחד מכיל את אשכול Dataproc (פרויקט האשכול).
  • פרויקט שני מכיל את שירות Dataproc Metastore ואת הרשת (פרויקט Metastore ופרויקט רשת).

• שני פרויקטים:

  • פרויקט אחד מכיל את אשכול Dataproc.
  • פרויקט שני מכיל את שירות Dataproc Metastore ואת הרשת (פרויקט Metastore ופרויקט רשת).

• שני פרויקטים:

  • פרויקט אחד מכיל את אשכול Dataproc ואת שירות Dataproc Metastore (פרויקט האשכול ופרויקט Metastore).
  • פרויקט שני מכיל את הרשת (פרויקט הרשת).

• שלושה פרויקטים:

  • פרויקט אחד מכיל את אשכול Dataproc (פרויקט האשכול).
  • פרויקט שני מכיל את שירות Dataproc Metastore (פרויקט Metastore).
  • פרויקט שלוש מכיל את הרשת (פרויקט רשת).

הדיאגרמה הבאה מספקת סקירה כללית של תצורות הפרויקט האפשריות שבהן אפשר להשתמש.

הרשאות בין פרויקטים

לפני שמגדירים הרשאות בין פרויקטים, צריך לקבוע אם זה נחוץ להגדרה שלכם:

צריך להגדיר הרשאות נוספות בין פרויקטים

• אם אשכול Dataproc ושירות Dataproc Metastore נמצאים בפרויקטים נפרדים.

• אם שירות Dataproc Metastore והרשת נמצאים בפרויקטים נפרדים.

הגדרת הרשאות בין פרויקטים

אם פרויקט האשכול ופרויקט מאגר המטא-נתונים נמצאים בפרויקטים נפרדים, צריך להעניק את התפקידים הבאים:

• ‫roles/metastore.user לחשבון סוכן השירות של Dataproc בפרויקט של האשכול (שנכלל במדיניות IAM של פרויקט ה-Metastore). ההגדרה הזו חלה על פרוטוקולי נקודות הקצה Thrift ו-gRPC.

אם פרויקט הרשת ופרויקט מאגר המטא-נתונים נמצאים בפרויקטים נפרדים, צריך להעניק את התפקידים הבאים:

• ‫roles/metastore.serviceAgent אל סוכן השירות של פרויקט ה-metastore (שנכלל במדיניות ה-IAM של פרויקט הרשת). ההגדרה הזו רלוונטית רק לפרוטוקול של נקודת הקצה Thrift.

המסוף

כדי למצוא את מספר הפרויקט:

1. עוברים לכרטיסייה IAM ואדמין הגדרות.

2. ברשימת הפרויקטים בחלק העליון של הדף, בוחרים את הפרויקט שבו רוצים להשתמש כדי ליצור את אשכול Dataproc.

3. רושמים את מספר הפרויקט.

מגדירים את ההרשאות:

1. עוברים לכרטיסייה IAM.

2. ברשימת הפרויקטים בחלק העליון של הדף, בוחרים את פרויקט ה-metastore.

3. לוחצים על הוספה.

4. מזינים את חשבון השירות בשדה New Principals.

5. בתפריט Roles (תפקידים), בוחרים באפשרות Dataproc Metastore > Dataproc Metastore Viewer.

6. לוחצים על הוספה.

אחרי שמשלימים את השלבים הקודמים, אפשר ליצור אשכול Dataproc שמצורף לשירות Dataproc Metastore. שימו לב: כדי לעשות את זה, הגדרת הרשת או רשת המשנה של אשכול Dataproc צריכה להיות זהה להגדרת הרשת או רשת המשנה של Dataproc Metastore.

הערה: אם אתם משתמשים ברשת VPC ששייכת לפרויקט אחר מהשירות, אתם צריכים לציין את שם המשאב היחסי המלא ב-gcloud metastore services create SERVICE.

לדוגמה:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

המאמרים הבאים

• מדריך למתחילים לפריסת Dataproc Metastore
• סקירה כללית על Dataproc Metastore
• סקירה כללית של Dataproc