יצירת משימת ייצוא מתוזמנת למופע Looker (Google Cloud Core)‎

בדף הזה מוסבר איך להגדיר משימת ייצוא מתוזמנת למופע של Looker (Google Cloud core). ייצוא מתוזמן מתבצע כל 24 שעות, החל משעת התחלה שאתם מגדירים. הייצוא נשמר בקטגוריה של Cloud Storage. ייצוא מתוזמן לא יוצר זמן השבתה למופע Looker (Google Cloud core).

ייצוא מתוזמן כולל את כל הנתונים, ההגדרות והתוכן ממופע, עם החריגים הבאים:

  • הנתונים ב-BigQuery לא מיוצאים.

  • הנתונים של Secret Manager לא מיוצאים.

  • דוחות של Data Studio לא מיוצאים.

  • ההגדרות במסוף Google Cloud , שצריך להגדיר במסוף Google Cloud לכל מופע, לא מיוצאות. Google Cloud עם זאת, ההגדרות בחלונית Admin ב-Looker באפליקציית Looker (Google Cloud core) מיוצאות.

  • טוקנים של OAuth שמאוחסנים במופע לא מיוצאים. אם נעשה שימוש ב-OAuth לחיבורים נפרדים למסד נתונים, אחרי הייבוא כל משתמש יצטרך להתחבר מחדש ולרענן את האסימונים שלו לכל חיבור למסד נתונים שמשתמש ב-OAuth.

  • אם מייצאים ומייבאים למופע של Looker (Google Cloud core) שמשתמש בהגדרת רשת שונה מזו של המופע שממנו בוצע הייצוא, יכול להיות שתצטרכו להגדיר את החיבורים לשירותים חיצוניים בצורה שונה.

  • אם מייצאים מופע בפרויקט אחד Google Cloud למופע בפרויקט אחר, צריך להגדיר ב-IAM הרשאות כדי לתת למשתמשים גישה למופע בפרויקט החדש.

תהליך הייצוא המתוזמן נמשך דקות עד שעות, בהתאם לגודל המופע. בזמן שתהליך ייצוא מתוזמן פועל, פעולות ייבוא וייצוא חד-פעמי לא זמינים.

אחרי שמגדירים משימת ייצוא מתוזמנת, אפשר להגדיר סקריפט לייבוא של הנתונים המיוצאים למופע גיבוי על בסיס יומי.

תפקיד נדרש

כדי לקבל את ההרשאות שדרושות ליצירת משימת ייצוא מתוזמנת ל-Looker (Google Cloud core), צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט שבו נוצר המופע:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

לפני שמתחילים

  1. יוצרים קטגוריה של Cloud Storage כדי לאחסן את ארטיפקט הייצוא.
  2. יוצרים מפתח הצפנה בניהול הלקוח (CMEK) ב-Cloud Key Management Service. הפעולה הזו נדרשת כדי להצפין את הנתונים לייצוא המתוזמן, גם אם המופע שלכם לא משתמש ב-CMEK. מפתח ה-CMEK צריך להיות באזור אחר ממופע Looker (Google Cloud core), או שהוא צריך להיות מפתח גלובלי.
  3. מאתרים את חשבון השירות של מופע Looker (Google Cloud core).
  4. מקצים לחשבון השירות של המופע את ההרשאות והתפקידים הנדרשים הבאים בניהול זהויות והרשאות גישה (IAM):
    • מקצים את התפקיד roles/storage.objectAdmin בקטגוריה של Cloud Storage שבה מאוחסן הייצוא.
    • נותנים את ההרשאה roles/cloudkms.cryptoKeyEncrypterDecrypter למפתח ה-CMEK שמשמש להצפנת הנתונים.
    • אפשרות אחרת היא ליצור תפקיד בהתאמה אישית עם ההרשאות הבאות:
      • storage.objects.create
      • storage.objects.delete
      • cloudkms.cryptoKeyVersions.useToEncrypt
      • cloudkms.cryptoKeyVersions.useToDecrypt

הגדרת משימת ייצוא מתוזמנת

אפשר להגדיר משימת ייצוא מתוזמנת באמצעות מסוף Google Cloud או gcloud.

console

  1. נכנסים לדף Instances של Looker (Google Cloud core) במסוף Google Cloud .

    כניסה לדף Looker instances

  2. לוחצים על השם של המכונה שרוצים לתזמן עבורה עבודת ייצוא.

  3. לוחצים על הכרטיסייה ייצוא.

  4. מרחיבים את הקטע Schedule export job (תזמון משימת ייצוא) ומזינים את הפרטים הבאים:

    1. שעת התחלה: השעה ביום בזמן המקומי (HH:MM) שבה יתבצע הייצוא היומי.
    2. קטגוריה של Cloud Storage: ה-URI של הקטגוריה של Cloud Storage, לדוגמה: gs://bucket-name/export-path.
    3. מפתח Cloud KMS: בוחרים את המפתח של Cloud Key Management Service שישמש להצפנת נתוני המופע.

  5. לוחצים על הגדרת לוח זמנים.

gcloud

  1. כדי להגדיר ייצוא תקופתי, מריצים את הפקודה הבאה של gcloud:
gcloud looker instances update INSTANCE_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --periodic-export-gcs-uri="gs://BUCKET_NAME/EXPORT_PATH" \
    --periodic-export-kms-key="KMS_KEY_NAME" \
    --periodic-export-start-time="TIME"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫INSTANCE_NAME: השם של מופע Looker (Google Cloud core).
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫REGION: האזור שבו נמצאת המכונה.
  • ‫BUCKET_NAME: השם של קטגוריית Cloud Storage.
  • ‫EXPORT_PATH: הנתיב בתוך הדלי של ארטיפקט הייצוא.
  • ‫KMS_KEY_NAME: שם המשאב המלא של מפתח ה-CMEK.
  • ‫TIME: השעה ביום לפי שעון UTC (בפורמט HH:MM) שבה יתבצע הייצוא היומי.

אימות הגדרות הייצוא

אחרי שמגדירים לוח זמנים, אפשר לראות את ההגדרה של משימת הייצוא המתוזמנת בדף Instance details.

  1. נכנסים לדף Instances של Looker (Google Cloud core) במסוף Google Cloud .

    כניסה לדף Looker instances

  2. לוחצים על השם של המופע.

  3. בדף פרטי המופע, אפשר לראות את ההגדרה של תזמון הייצוא, שכוללת את שעת ההתחלה המתוזמנת בכל יום בשעון המקומי. שעת ההתחלה כוללת קישור לדף ייצוא של המופע.

הפסקה של ייצוא תקופתי

כדי להפסיק ייצוא תקופתי, צריך לנקות את שדות ההגדרה.

console

  1. נכנסים לדף Instances במסוף Google Cloud .

    כניסה לדף Looker instances

  2. לוחצים על השם של המכונה.

  3. לוחצים על הכרטיסייה ייצוא.

  4. בקטע הגדרת לוח זמנים לייצוא תקופתי, מוחקים את הערכים בשדות Cloud Storage bucket (קטגוריה של Cloud Storage), Customer-managed encryption key (מפתח הצפנה בניהול הלקוח) ו-Time (שעה).

  5. לוחצים על ניקוי לוח הזמנים.

gcloud

  1. כדי להפסיק ייצוא תקופתי, מריצים את הפקודה הבאה gcloud:
gcloud looker instances update INSTANCE_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --clear-periodic-export-config

מחליפים את מה שכתוב בשדות הבאים:

  • ‫INSTANCE_NAME: השם של מופע Looker (Google Cloud core).
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫REGION: האזור שבו נמצאת המכונה.

המאמרים הבאים