שחזור Dataproc Metastore מגיבוי

בדף הזה מוסבר איך לשחזר שירות Dataproc Metastore מגיבוי.

גיבוי הוא תמונת מצב של הגדרות התצורה והמטא-נתונים שמאוחסנים בשירות Dataproc Metastore. אתם יכולים להשתמש בתכונת השחזור כדי להגדיר במהירות שירות חדש של Dataproc Metastore עם הנתונים שנשמרו קודם בגיבוי.

לפני שמתחילים

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לשחזור שירות Dataproc Metastore מגיבוי, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

  • כדי להעניק שליטה מלאה במשאבי Dataproc Metastore כדי להשלים גיבוי, צריך להשתמש באחת מהאפשרויות הבאות:
  • כדי להשתמש באובייקט Cloud Storage שבו מאוחסנות גיבויים מתוזמנים: Cloud Storage Object User (roles/storage.objectUser) on the Dataproc Metastore service agent

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות לשחזור שירות Dataproc Metastore מגיבוי. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לשחזר שירות Dataproc Metastore מגיבוי, נדרשות ההרשאות הבאות:

  • כדי לשחזר שירות מטא-נתונים: metastore.services.restore, metastore.backups.use
  • כדי להשתמש באובייקט של Cloud Storage:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

במאמר סקירה כללית על IAM ב-Dataproc Metastore יש מידע נוסף על תפקידים והרשאות ספציפיים ב-Dataproc Metastore.

מידע על שחזור מגיבוי

כשמשחזרים שירות מגיבוי, אפשר לבחור באחת מהאפשרויות הבאות:

  • שחזור כל המטא-נתונים וההגדרות האישיות שנשמרו בגיבוי.

  • שחזור כל המטא-נתונים, אבל לא שחזור הגדרות התצורה שנשמרו בגיבוי. במקום זאת, השירות שומר על הגדרות התצורה הנוכחיות.

    הגדרות התצורה כוללות פרמטרים של Dataproc Metastore, כמו שם השירות, מספר היציאה והגדרות הרשת. מטא-נתונים כוללים את כל המידע על מסד הנתונים והטבלה שמאוחסן בשירות Dataproc Metastore.

לתשומת ליבכם

  • במהלך פעולת שחזור, אי אפשר לעדכן את השירות – למשל, אי אפשר לשנות את הגדרות התצורה. עם זאת, עדיין תוכלו להשתמש בשירות לפעולות רגילות, כמו גישה למטא-נתונים שלו מאשכולות Dataproc או מאשכולות בניהול עצמי שמצורפים אליו.

  • תוויות של Dataproc Metastore לא משוחזרות.

  • הנתונים שמאוחסנים בספריית מחסן הנתונים לא משוחזרים.

  • שחזור מגיבוי לא משחזר או מחליף מדיניות IAM עם הרשאות מפורטות.

  • כדי לשחזר מגיבוי מתוזמן, הגיבוי צריך להיות בקטגוריה של Cloud Storage.

שחזור מגיבוי

כדי לשחזר שירות Dataproc Metastore מגיבוי, פועלים לפי השלבים הבאים.

  • אם אתם משתמשים במסוף Google Cloud , אתם יכולים לשחזר רק מטא-נתונים מגיבוי שנוצר באותו פרויקט ובאותו אזור כמו השירות החדש שלכם.

  • אם משתמשים ב-Google Cloud CLI או ב-Dataproc Metastore APIs, אפשר לשחזר מטא-נתונים מגיבוי שנוצר בפרויקט ובאזור אחרים (גיבוי בין שירותים).

המסוף

  1. במסוף Google Cloud , פותחים את הדף Dataproc Metastore:

    פתיחת Dataproc Metastore

  2. בדף Dataproc Metastore, לוחצים על שם השירות שרוצים לשחזר מגיבוי.

    ייפתח הדף פרטי השירות.

    דף פרטי השירות
    איור 1. דף הפרטים של שירות Dataproc Metastore

  3. כדי לראות את הגיבויים, לוחצים על הכרטיסייה גיבוי/שחזור.

  4. בוחרים את הגיבוי שרוצים להשתמש בו. כדי לעשות את זה, לוחצים על סמל התפריט ובוחרים באפשרות שחזור.

    ייפתח הדף שחזור.

    אפשר גם לשחזר את השירות בדף פרטי הגיבוי. כדי לעשות זאת, לוחצים על שם הגיבוי ואז על שחזור.

  5. בוחרים את פעולת השחזור המתאימה:

    • שחזור נתונים של metastore. שחזור כל המטא-נתונים, אבל לא שחזור הגדרות התצורה שנשמרו בגיבוי
    • שחזור נתונים של metastore והגדרת השירות. שחזור של כל המטא-נתונים וכל הגדרות התצורה שנשמרו בגיבוי.

  6. כדי לעדכן את השירות, לוחצים על שחזור.

    חוזרים לדף Dataproc Metastore ומוודאים שהגיבוי של השירות בוצע בהצלחה.

    כשהשחזור מסתיים, Dataproc Metastore חוזר אוטומטית למצב פעיל, בלי קשר להצלחת השחזור.

‫CLI של gcloud

  1. כדי לשחזר שירות Dataproc Metastore, מריצים את הפקודה הבאה gcloud metastore services restore:

    gcloud metastore services restore SERVICE  \
    --project=PROJECT_ID \
    --location=LOCATION \
    --backup=BACKUP \
    --restore-type=RESTORE_TYPE \
    --backup-location=BACKUP_LOCATION

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫SERVICE: השם של שירות Dataproc Metastore.
    • ‫PROJECT_ID: מזהה הפרויקט שבו נמצא שירות Dataproc Metastore. Google Cloud
    • ‫LOCATION: האזור שבו נמצא שירות Dataproc Metastore. Google Cloud
    • ‫BACKUP: אופציונלי: המזהה של קובץ הגיבוי שמשחזרים ממנו. הערך הזה יכול להיות מזהה הגיבוי, כתובת URL מלאה או השם היחסי בפורמט הבא: projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}.
    • ‫RESTORE_TYPE: סוג פעולת השחזור שרוצים לבצע. הערכים הקבילים כוללים metadata-only או full. ערך ברירת המחדל הוא metadata-only.
    • ‫BACKUP_LOCATION: אופציונלי: המיקום ב-Cloud Storage של הגיבוי המתוזמן. לדוגמה: gs://my-bucket/path/to/location.

  2. מוודאים שפעולת השחזור בוצעה בהצלחה.

    כשהשחזור מסתיים, Dataproc Metastore חוזר אוטומטית למצב פעיל, בלי קשר להצלחת השחזור.

REST

פועלים לפי ההוראות ל-API כדי לשחזר מטא-נתונים בשירות באמצעות APIs Explorer.

כשהשחזור מסתיים, Dataproc Metastore חוזר באופן אוטומטי למצב פעיל, בלי קשר להצלחת השחזור.

צפייה בהיסטוריית השחזורים

כדי לראות את היסטוריית השחזור של שירות Dataproc Metastore במסוף Google Cloud :

  1. במסוף Google Cloud , פותחים את הדף Dataproc Metastore.

  2. בסרגל הניווט, לוחצים על גיבוי/שחזור.

    היסטוריית השחזורים מופיעה בטבלה בקטע שחזור.

    בהיסטוריה מוצגים עד 25 השחזורים האחרונים שביצעתם.

    מחיקה של שירות Dataproc Metastore מוחקת גם את כל היסטוריית השחזור שמשויכת אליו.

פתרון בעיות נפוצות

המאמרים הבאים