יצירה וניהול של תוויות

אתם יכולים להחיל תוויות משתמש על אשכולות ומשימות של Dataproc כדי לקבץ את המשאבים האלה לצורך סינון ורישום בהמשך. אתם משייכים תוויות למשאבים כשהמשאב נוצר, בזמן יצירת האשכול או שליחת העבודה. אחרי שמקשרים משאב לתווית, התווית מועברת לפעולות שמתבצעות במשאב – יצירה, עדכון, תיקון או מחיקה של אשכול; שליחה, עדכון, ביטול או מחיקה של משימה – וכך אפשר לסנן ולרשום אשכולות, משימות ופעולות לפי תווית.

אפשר גם להוסיף תוויות למשאבי Compute Engine שמשויכים למשאבי אשכול, כמו מכונות וירטואליות ודיסקים.

מהן תוויות?

תווית היא צמד מפתח/ערך שאפשר להקצות לאשכולות ולמשימות של Dataproc. הם עוזרים לכם לארגן את המשאבים האלה ולנהל את העלויות בקנה מידה נרחב, ברמת הפירוט שאתם צריכים. אפשר לצרף תוויות לכל משאב כדי לסנן את המשאבים לפי תוויות. המידע על התוויות מועבר למערכת החיוב, כך שתוכלו לפרט את החיובים לפי תוויות. בעזרת דוחות החיוב המובנים, אפשר לסנן ולקבץ את העלויות לפי תוויות משאבים. אפשר גם להשתמש בתוויות כדי לשלוח שאילתות לייצוא של נתוני חיוב.

הדרישות לגבי תוויות

התוויות שמוחלות על משאב צריכות לעמוד בדרישות הבאות:

  • כל אשכול או משימה יכולים לכלול עד 32 תוויות.
  • כל תווית צריכה להיות צמד מפתח/ערך.
  • האורך המינימלי של המפתחות הוא תו אחד, והאורך המקסימלי הוא 63 תווים. המפתחות לא יכולים להיות ריקים. הערכים יכולים להיות ריקים, והאורך המקסימלי שלהם הוא 63 תווים.
  • המפתחות והערכים יכולים להכיל רק אותיות קטנות, ספרות, קווים תחתונים ומקפים. כל התווים צריכים להיות בקידוד UTF-8, ומותר להשתמש בתווים בינלאומיים. המפתחות צריכים להתחיל באות קטנה או בתו בינלאומי.
  • החלק של המפתח בתווית חייב להיות ייחודי בתוך משאב יחיד. עם זאת, אפשר להשתמש באותו מפתח עם כמה משאבים.

המגבלות האלה חלות על המפתח והערך של כל תווית, ועל אשכול או משימה ספציפיים של Dataproc שיש להם תוויות. אין הגבלה על מספר התוויות שאפשר להחיל על כל המשאבים בפרויקט.

שימושים נפוצים בתוויות

ריכזנו כאן כמה תרחישי שימוש נפוצים בתוויות:

  • תוויות של צוותים או מרכזי עלויות: אפשר להוסיף תוויות לפי צוות או מרכז עלויות כדי להבחין בין אשכולות ומשימות של Dataproc שנמצאים בבעלות של צוותים שונים (לדוגמה, team:research ו-team:analytics). אפשר להשתמש בסוג הזה של תוויות לצורך הנהלת חשבונות או תקצוב.

  • תוויות של רכיבים: לדוגמה, component:redis,‏ component:frontend,‏ component:ingest ו-component:dashboard.

  • תוויות של סביבה או שלב: לדוגמה, environment:production ו-environment:test.

  • תוויות של מדינות: לדוגמה, state:active,‏ state:readytodelete ו-state:archive.

  • תוויות בעלות: משמשות לזיהוי הצוותים שאחראים על הפעולות, לדוגמה: team:shopping-cart.

אנחנו לא ממליצים ליצור מספר גדול של תוויות ייחודיות, למשל עבור חותמות זמן או ערכים נפרדים לכל קריאה ל-API. הבעיה בגישה הזו היא שאם הערכים משתנים לעיתים קרובות או אם יש מפתחות שמבלגנים את הקטלוג, קשה לסנן את המשאבים ולדווח עליהם בצורה יעילה.

תוויות ותגים

אפשר להשתמש בתוויות כאנוטציות שאפשר להריץ עליהן שאילתות לגבי משאבים, אבל אי אפשר להשתמש בהן כדי להגדיר תנאים במדיניות. תגים מאפשרים להגדיר תנאי לאישור או לדחייה של כללי מדיניות אם תג ספציפי מצורף או לא מצורף למשאב, וכך מספקים שליטה פרטנית בכללי המדיניות. מידע נוסף מופיע במאמר סקירה כללית על תגים.

יצירה ושימוש בתוויות Dataproc

כל העובדים הראשיים והמשניים החדשים יקבלו את התוויות החדשות.

פקודת gcloud

אפשר לציין תווית אחת או יותר להחלה על אשכול או על משימה של Dataproc בזמן היצירה או השליחה באמצעות Google Cloud CLI.

gcloud dataproc clusters create args --labels environment=production,customer=acme
gcloud dataproc jobs submit args --labels environment=production,customer=acme

אחרי שיוצרים אשכול או משימה של Dataproc, אפשר לעדכן את התוויות שמשויכות למשאב הזה באמצעות Google Cloud CLI.

gcloud dataproc clusters update args --update-labels environment=production,customer=acme
gcloud dataproc jobs update args --update-labels environment=production,customer=acme

באופן דומה, אפשר להשתמש ב-Google Cloud CLI כדי לסנן משאבי Dataproc לפי תווית באמצעות ביטוי סינון בפורמט הבא: labels.<key=value>.

gcloud dataproc clusters list \
    --region=region \
    --filter="status.state=ACTIVE AND labels.environment=production"
gcloud dataproc jobs list \
    --region=region \
    --filter="status.state=ACTIVE AND labels.customer=acme"

מידע נוסף על כתיבת ביטוי סינון זמין במאמרי העזרה של ה-API של Dataproc בנושא clusters.list ו-jobs.list.

API ל-REST

אפשר לצרף תוויות לאשכולות או למשימות של Dataproc באמצעות Dataproc API בארכיטקטורת REST. אפשר להשתמש בממשקי ה-API‏ clusters.create ו-jobs.submit כדי לצרף תוויות לאשכול או לעבודה בזמן היצירה או השליחה. אפשר להשתמש בממשקי ה-API‏ clusters.patch ו-jobs.patch כדי לערוך תוויות אחרי שנוצר אשכול. הנה גוף JSON של בקשת cluster.create שכולל צירוף של התווית key1:value לאשכול. 

{
  "clusterName":"cluster-1",
  "projectId":"my-project",
  "config":{
    "configBucket":"",
    "gceClusterConfig":{
      "networkUri":".../networks/default",
      "zoneUri":".../zones/us-central1-f"
    },
    "masterConfig":{
      "numInstances":1,
      "machineTypeUri":"..../machineTypes/n1-standard-4",
      "diskConfig":{
        "bootDiskSizeGb":500,
        "numLocalSsds":0
      }
    },
    "workerConfig":{
      "numInstances":2,
      "machineTypeUri":"...machineTypes/n1-standard-4",
      "diskConfig":{
        "bootDiskSizeGb":500,
        "numLocalSsds":0
      }
    }
  },
  "labels":{
    "key1":"value1"
  }
}

אפשר להשתמש בממשקי ה-API‏ clusters.list ו-jobs.list כדי להציג רשימה של אשכולות או משימות שתואמים למסנן שצוין, באמצעות הפורמט הבא: labels.<key=value>.

לפניכם בקשת GET לדוגמה של Dataproc API‏ clusters.list שמציינת מסנן של תווית key=value. המתקשר מוסיף את project, את region, מסנן label-key, את label-value ואת api-key. הערה: בקשת הדוגמה הזו מחולקת לשתי שורות כדי שיהיה קל יותר לקרוא אותה.

GET https://dataproc.googleapis.com/v1/projects/project/regions/region/clusters?
filter=labels.label-key=label-value&key=api-key

מידע נוסף על כתיבת ביטוי סינון זמין במאמרי העזרה של ה-API של Dataproc בנושא clusters.list ו-jobs.list.

המסוף

אתם יכולים לציין קבוצה של תוויות להוספה לאשכול או לעבודה של Dataproc בזמן היצירה או השליחה באמצעות Google Cloud המסוף.

  • מוסיפים תוויות לאשכול מהקטע Labels (תוויות) בחלונית Customize cluster (התאמה אישית של האשכול) בדף Create a cluster (יצירת אשכול) ב-Dataproc.
  • מוסיפים תוויות למשימה מהדף Dataproc Submit a job.

אחרי שיוצרים או שולחים אשכול או משימה של Dataproc, אפשר לעדכן את התוויות שמשויכות לאשכול או למשימה. כדי לעדכן תוויות, לוחצים על תיבת הסימון של אשכול או משימה ברשימה, ואז לוחצים על SHOW INFO PANEL. זוהי דוגמה מהדף Dataproc→List clusters.

אחרי שחלונית המידע מוצגת, אפשר לעדכן את התוויות של אשכול או משימה ב-Dataproc. הדוגמה הבאה מראה איך מעדכנים תוויות באשכול Dataproc.

אפשר גם לעדכן תוויות של כמה פריטים בפעולה אחת. בדוגמה הזו, התוויות מתעדכנות עבור כמה משימות Dataproc בו-זמנית.

תוויות מאפשרות לכם לסנן את משאבי Dataproc שמוצגים בדפים [Dataproc→List clusters](Dataproc→רשימת אשכולות) (https://console.cloud.google.com/dataproc/clusters) ו-[Dataproc→List jobs](Dataproc→רשימת משימות) (https://console.cloud.google.com/dataproc/jobs). בחלק העליון של הדף, אפשר להשתמש בתבנית החיפוש `labels.=` כדי לסנן משאבים לפי תווית.

תוויות שהוחלו באופן אוטומטי

כשיוצרים או מעדכנים אשכול, Dataproc מחיל באופן אוטומטי כמה תוויות על האשכול ועל משאבי האשכול. לדוגמה, כשיוצרים אשכול, Dataproc מחיל תוויות על מכונות וירטואליות, על דיסקים לאחסון מתמיד ועל מאיצים. לתוויות שמוחלות באופן אוטומטי יש קידומת מיוחדת goog-dataproc.

התוויות הבאות goog-dataproc מוחלות אוטומטית על משאבי Dataproc. כל ערך שתספקו לתוויות השמורות goog-dataproc בזמן יצירת האשכול יבטל את הערכים שסופקו באופן אוטומטי. לכן לא מומלץ לספק ערכים משלכם לתוויות האלה.

תווית תיאור
goog-dataproc-cluster-name שם האשכול שהמשתמש הגדיר
goog-dataproc-cluster-uuid מזהה אשכול ייחודי
goog-dataproc-location נקודת קצה אזורית של אשכול ב-Dataproc

אפשר להשתמש בתוויות האלה שמוחלות באופן אוטומטי בדרכים רבות, כולל:

המאמרים הבאים