יצירת משימת ייצוא מתוזמנת למופע Looker (Google Cloud Core)‎

אתם יכולים להגדיר משימת ייצוא מתוזמנת למופע של Looker (Google Cloud core) כדי לגבות באופן קבוע את הנתונים, ההגדרות והתוכן שלו. ייצוא מתוזמן מתבצע כל 24 שעות, החל משעת התחלה שאתם מגדירים. הנתונים המיוצאים מאוחסנים בקטגוריה של Cloud Storage, והתהליך לא יוצר זמן השבתה למופע של Looker (Google Cloud core).

ייצוא מתוזמן כולל את כל הנתונים, ההגדרות והתוכן ממופע, עם החריגים הבאים:

  • הנתונים ב-BigQuery לא מיוצאים.

  • הנתונים של Secret Manager לא מיוצאים.

  • דוחות של Data Studio לא מיוצאים.

  • לא מיוצאות Google Cloud הגדרות של המסוף, שצריך לבצע במסוף Google Cloud לכל מופע. עם זאת, ההגדרות בחלונית Admin ב-Looker באפליקציית Looker (Google Cloud core) מיוצאות.

  • טוקנים מסוג OAuth שמאוחסנים במופע לא מיוצאים. אם משתמשים ב-OAuth לחיבורים נפרדים למסד נתונים, אחרי הייבוא כל משתמש יצטרך להתחבר מחדש ולרענן את הטוקנים שלו לכל חיבור למסד נתונים שמשתמש ב-OAuth.

  • אם מייצאים ומייבאים למופע של Looker (Google Cloud core) שמשתמש בהגדרת רשת שונה מזו של המופע שממנו בוצע הייצוא, יכול להיות שתצטרכו להגדיר את החיבורים לשירותים חיצוניים בצורה שונה.

  • אם מייצאים מופע בפרויקט אחד Google Cloud למופע בפרויקט אחר, צריך להגדיר ב-IAM הרשאות כדי לתת למשתמשים גישה למופע בפרויקט החדש.

תהליך הייצוא המתוזמן נמשך בין דקות לשעות, בהתאם לגודל המופע. בזמן שתהליך ייצוא מתוזמן פועל, פעולות ייבוא וייצוא חד-פעמי לא זמינים.

אחרי שמגדירים משימת ייצוא מתוזמנת, אפשר להגדיר סקריפט לייבוא של הנתונים המיוצאים למופע גיבוי על בסיס יומי.

התפקיד הנדרש

כדי לקבל את ההרשאות שדרושות ליצירת משימת ייצוא מתוזמנת ל-Looker (Google Cloud core), צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט שבו נוצר המופע:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

לפני שמתחילים

  1. יוצרים קטגוריה של Cloud Storage כדי לאחסן את ארטיפקט הייצוא.
  2. יוצרים מפתח הצפנה בניהול הלקוח (CMEK) ב-Cloud Key Management Service. הפעולה הזו נדרשת כדי להצפין את הנתונים לייצוא המתוזמן, גם אם המופע שלכם לא משתמש ב-CMEK. מפתח ה-CMEK צריך להיות באזור אחר מזה של מופע Looker (ליבת Google Cloud), או שהוא צריך להיות מפתח גלובלי.
  3. מאתרים את חשבון השירות של מופע Looker (Google Cloud core).
  4. מקצים לחשבון השירות של המופע את ההרשאות והתפקידים הנדרשים הבאים בניהול זהויות והרשאות גישה (IAM):
    • מקצים את התפקיד roles/storage.objectAdmin בקטגוריה של Cloud Storage שבה מאוחסן הייצוא.
    • נותנים את ההרשאה roles/cloudkms.cryptoKeyEncrypterDecrypter למפתח ה-CMEK שמשמש להצפנת הנתונים.
    • אפשרות אחרת היא ליצור תפקיד בהתאמה אישית עם ההרשאות הבאות:
      • storage.objects.create
      • storage.objects.delete
      • cloudkms.cryptoKeyVersions.useToEncrypt
      • cloudkms.cryptoKeyVersions.useToDecrypt

הגדרת משימת ייצוא מתוזמנת

אפשר להגדיר משימת ייצוא מתוזמנת באמצעות מסוף Google Cloud או gcloud.

console

  1. נכנסים לדף Instances של Looker (Google Cloud core) במסוף Google Cloud .

    כניסה לדף Looker instances

  2. לוחצים על השם של המכונה שרוצים לתזמן עבורה עבודת ייצוא.

  3. לוחצים על הכרטיסייה ייצוא.

  4. מרחיבים את הקטע Schedule export job (תזמון משימת ייצוא) ומזינים את הפרטים הבאים:

    1. שעת התחלה: השעה ביום בזמן המקומי (HH:MM) שבה יתבצע הייצוא היומי.
    2. קטגוריה של Cloud Storage: ה-URI של הקטגוריה של Cloud Storage, לדוגמה: gs://bucket-name/export-path.
    3. מפתח Cloud KMS: בוחרים את המפתח של Cloud Key Management Service שישמש להצפנת נתוני המופע.

  5. לוחצים על הגדרת לוח זמנים.

gcloud

  1. כדי להגדיר ייצוא תקופתי, מריצים את הפקודה הבאה של gcloud:
gcloud looker instances update INSTANCE_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --periodic-export-gcs-uri="gs://BUCKET_NAME/EXPORT_PATH" \
    --periodic-export-kms-key="KMS_KEY_NAME" \
    --periodic-export-start-time="TIME"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫INSTANCE_NAME: השם של מופע Looker (Google Cloud core).
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫REGION: האזור שבו נמצאת המכונה.
  • ‫BUCKET_NAME: השם של קטגוריית Cloud Storage.
  • ‫EXPORT_PATH: הנתיב בתוך הדלי של ארטיפקט הייצוא.
  • ‫KMS_KEY_NAME: שם המשאב המלא של מפתח ה-CMEK.
  • ‫TIME: השעה ביום לפי שעון UTC (בפורמט HH:MM) שבה יתבצע הייצוא היומי.

אימות הגדרות הייצוא

אחרי שמגדירים לוח זמנים, אפשר לראות את ההגדרה של משימת הייצוא המתוזמנת בדף Instance details.

  1. נכנסים לדף Instances של Looker (Google Cloud core) במסוף Google Cloud .

    כניסה לדף Looker instances

  2. לוחצים על השם של המופע.

  3. בדף פרטי האירוע, אפשר לראות את ההגדרה של תזמון הייצוא, שכוללת את שעת ההתחלה המתוזמנת בכל יום בשעון המקומי. השעה ההתחלתית כוללת קישור לדף Export של המופע.

הפסקה של ייצוא תקופתי

כדי להפסיק ייצוא תקופתי, צריך לנקות את שדות ההגדרה.

console

  1. נכנסים לדף Instances במסוף Google Cloud .

    כניסה לדף Looker instances

  2. לוחצים על השם של המכונה.

  3. לוחצים על הכרטיסייה ייצוא.

  4. בקטע הגדרת לוח זמנים לייצוא תקופתי, מוחקים את הערכים בשדות Cloud Storage bucket (קטגוריה של Cloud Storage), Customer-managed encryption key (מפתח הצפנה בניהול הלקוח) ו-Time (שעה).

  5. לוחצים על ניקוי לוח הזמנים.

gcloud

  1. כדי להפסיק ייצוא תקופתי, מריצים את הפקודה הבאה gcloud:
gcloud looker instances update INSTANCE_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --clear-periodic-export-config

מחליפים את מה שכתוב בשדות הבאים:

  • ‫INSTANCE_NAME: השם של מופע Looker (Google Cloud core).
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫REGION: האזור שבו נמצאת המכונה.

המאמרים הבאים