יצירה וניהול של תוויות

אתם יכולים להוסיף תוויות משתמש לאשכולות ולמשימות של Managed Service for Apache Spark כדי לקבץ את המשאבים האלה, ואז לסנן אותם ולהציג אותם ברשימה. אתם משייכים תוויות למשאבים כשהמשאב נוצר, בזמן יצירת האשכול או שליחת המשימה. אחרי שמשייכים משאב לתווית, התווית מופצת לפעולות שמבוצעות במשאב – יצירה, עדכון, תיקון או מחיקה של אשכול; שליחה, עדכון, ביטול או מחיקה של משימה – וכך אפשר לסנן ולפרט אשכולות, משימות ופעולות לפי תווית.

אפשר גם להוסיף תוויות למשאבים של Compute Engine שמשויכים למשאבי אשכול, כמו מכונות וירטואליות ודיסקים.

מהן תוויות?

תווית היא צמד מפתח/ערך שאפשר להקצות לאשכולות ולמשימות של Managed Service for Apache Spark. הם עוזרים לכם לארגן את המשאבים האלה ולנהל את העלויות בקנה מידה נרחב, ברמת הפירוט שאתם צריכים. אפשר לצרף תווית לכל משאב כדי לסנן את המשאבים לפי תוויות. המידע על התוויות מועבר למערכת החיוב, כך שאתם יכולים לפרק את החיובים לפי התוויות. בעזרת דוחות החיוב המובנים, אתם יכולים לסנן ולקבץ את העלויות לפי תוויות המשאבים. אפשר גם להשתמש בתוויות כדי לשלוח שאילתות על ייצוא של נתוני חיוב.

הדרישות לגבי תוויות

התוויות שמוסיפים למשאב צריכות לעמוד בדרישות הבאות:

  • לכל אשכול או משימה יכולות להיות עד 32 תוויות.
  • כל תווית חייבת להיות צמד מפתח/ערך.
  • המפתחות צריכים להיות באורך של תו אחד לפחות ו-63 תווים לכל היותר, והם לא יכולים להיות ריקים. הערכים יכולים להיות ריקים, והאורך המקסימלי שלהם הוא 63 תווים.
  • המפתחות והערכים יכולים להכיל רק אותיות קטנות, ספרות, קווים תחתונים ומקפים. כל התווים צריכים להיות בקידוד UTF-8, ואפשר להשתמש בתווים בינלאומיים. המפתחות צריכים להתחיל באות קטנה או בתו בינלאומי.
  • חלק המפתח של התווית חייב להיות ייחודי במשאב אחד. עם זאת, אתם יכולים להשתמש באותו מפתח עם כמה משאבים.

המגבלות האלה חלות על המפתח והערך של כל תווית, ועל כל אשכול או משימה ב-Managed Service for Apache Spark שיש להם תוויות. אין הגבלה על מספר התוויות שאפשר להוסיף לכל המשאבים בפרויקט.

שימושים נפוצים בתוויות

הנה כמה תרחישים נפוצים לשימוש בתוויות:

  • תוויות של צוות או מרכז עלות: מוסיפים תוויות לפי צוות או מרכז עלות כדי להבחין בין אשכולות ומשימות של Managed Service for Apache Spark שבבעלות צוותים שונים (לדוגמה, team:research ו-team:analytics). אפשר להשתמש בסוג התווית הזה לחשבונאות עלויות או לתקצוב.

  • תוויות של רכיבים: לדוגמה, component:redis,‏ component:frontend,‏ component:ingest ו-component:dashboard.

  • תוויות של סביבה או שלב: לדוגמה, environment:production ו-environment:test.

  • תוויות של מדינות: לדוגמה, state:active,‏ state:readytodelete ו-state:archive.

  • תוויות בעלות: משמשות לזיהוי הצוותים שאחראים על הפעולות, לדוגמה: team:shopping-cart.

אנחנו לא ממליצים ליצור מספר גדול של תוויות ייחודיות, כמו חותמות זמן או ערכים נפרדים לכל קריאה ל-API. הבעיה בגישה הזו היא שכאשר הערכים משתנים לעיתים קרובות או עם מפתחות שיוצרים עומס בקטלוג, קשה לסנן את המשאבים ולדווח עליהם בצורה יעילה.

תוויות ותגים

אפשר להשתמש בתוויות כהערות שניתן לשלוח לגביהן שאילתות למשאבים, אבל אי אפשר להשתמש בהן כדי להגדיר תנאים בכללי מדיניות. התגים מאפשרים להגדיר תנאי לאישור או לדחייה של כללי מדיניות אם תג ספציפי מצורף או לא מצורף למשאב, וכך מספקים שליטה מפורטת בכללי המדיניות. לסקירה כללית על התגים

יצירה ושימוש בתוויות של Managed Service for Apache Spark

המסוף

אפשר לציין קבוצה של תוויות שרוצים להוסיף לאשכול או למשימה בזמן יצירת האשכול או שליחת המשימה באמצעות מסוף Google Cloud .

  • הוספת תוויות לאשכול מהדף Create cluster: לוחצים על Additional configuration כדי להרחיב את הקטע, עורכים את Customization & Other ומוסיפים תוויות בקטע Labels.
  • אפשר להוסיף תוויות למשימה בדף Submit a job, בקטע Job execution and properties > Labels.

אחרי שיוצרים אשכול או מגישים משימה, אפשר לעדכן את התוויות שמשויכות לאשכול או למשימה. כדי לעדכן תוויות, לוחצים על תיבת הבחירה של אשכול או משימה שמופיעים ברשימה, ואז לוחצים על SHOW INFO PANEL. זאת דוגמה מהדף Managed Service for Apache Spark→List clusters.

פקודת gcloud

אתם יכולים לציין תווית אחת או יותר שתוחל על אשכול או על משימה של Managed Service for Apache Spark בזמן היצירה או השליחה, באמצעות Google Cloud CLI.

gcloud dataproc clusters create args --labels environment=production,customer=acme
gcloud dataproc jobs submit args --labels environment=production,customer=acme

אחרי שיוצרים אשכול או משימה ב-Managed Service for Apache Spark, אפשר לעדכן את התוויות שמשויכות למשאב הזה באמצעות Google Cloud CLI.

gcloud dataproc clusters update args --update-labels environment=production,customer=acme
gcloud dataproc jobs update args --update-labels environment=production,customer=acme

באופן דומה, אתם יכולים להשתמש ב-Google Cloud CLI כדי לסנן את המשאבים של Managed Service for Apache Spark לפי תווית, באמצעות ביטוי סינון בפורמט הבא: labels.<key=value>.

gcloud dataproc clusters list \
    --region=region \
    --filter="status.state=ACTIVE AND labels.environment=production"
gcloud dataproc jobs list \
    --region=region \
    --filter="status.state=ACTIVE AND labels.customer=acme"

מידע נוסף על כתיבת ביטוי סינון מופיע במאמרי העזרה של Dataproc API בנושא clusters.list ו-jobs.list.

‫API בארכיטקטורת REST

אפשר לצרף תוויות לאשכולות או למשימות באמצעות Dataproc API בארכיטקטורת REST. אפשר להשתמש בממשקי ה-API‏ clusters.create ו-jobs.submit כדי להוסיף תוויות לאשכול או למשימה בזמן היצירה או השליחה. אפשר להשתמש בממשקי ה-API‏ clusters.patch ו-jobs.patch כדי לערוך תוויות אחרי שיוצרים אשכול. זהו גוף ה-JSON של בקשת cluster.create שמצרפת את התווית key1:value לאשכול. 

{
  "clusterName":"cluster-1",
  "projectId":"my-project",
  "config":{
    "configBucket":"",
    "gceClusterConfig":{
      "networkUri":".../networks/default",
      "zoneUri":".../zones/us-central1-f"
    },
    "masterConfig":{
      "numInstances":1,
      "machineTypeUri":"..../machineTypes/n1-standard-4",
      "diskConfig":{
        "bootDiskSizeGb":500,
        "numLocalSsds":0
      }
    },
    "workerConfig":{
      "numInstances":2,
      "machineTypeUri":"...machineTypes/n1-standard-4",
      "diskConfig":{
        "bootDiskSizeGb":500,
        "numLocalSsds":0
      }
    }
  },
  "labels":{
    "key1":"value1"
  }
}

אפשר להשתמש בממשקי ה-API‏ clusters.list ו-jobs.list כדי להציג רשימה של אשכולות או משימות שתואמים למסנן שצוין, בפורמט הבא: labels.<key=value>.

הנה דוגמה לבקשת GET של HTTPS של clusters.list ב-Dataproc API, שמציינת מסנן תוויות של key=value. המתקשר מוסיף את project, region, מסנן label-key ו-label-value, ו-api-key. שימו לב שהבקשה לדוגמה מחולקת לשתי שורות כדי שיהיה קל יותר לקרוא אותה.

GET https://dataproc.googleapis.com/v1/projects/project/regions/region/clusters?
filter=labels.label-key=label-value&key=api-key

מידע נוסף על כתיבת ביטוי סינון מופיע במאמרי העזרה של Dataproc API בנושא clusters.list ו-jobs.list.

אחרי שחלונית המידע מוצגת, אפשר לעדכן את התוויות של האשכול או המשימה. בדוגמה הבאה מוצג עדכון של תוויות לאשכול של Managed Service for Apache Spark.

אפשר גם לעדכן תוויות של כמה פריטים בפעולה אחת. בדוגמה הזו, התוויות מתעדכנות בכמה משימות של Managed Service for Apache Spark בו-זמנית.

תוויות מאפשרות לסנן את המשאבים שמוצגים בדפים List clusters ו-List jobs. בחלק העליון של הדף, אתם יכולים להשתמש בתבנית החיפוש labels.= כדי לסנן משאבים לפי תווית.

תוויות שנוספות באופן אוטומטי

כשיוצרים או מעדכנים אשכול, Managed Service for Apache Spark מחיל באופן אוטומטי כמה תוויות על האשכול ועל המשאבים שלו. לדוגמה, כשיוצרים אשכול, Managed Service for Apache Spark מחיל תוויות על מכונות וירטואליות, דיסקים לאחסון מתמיד ומאיצים. לתוויות שנוספות באופן אוטומטי יש קידומת מיוחדת: goog-dataproc.

התוויות הבאות של goog-dataproc מוחלות באופן אוטומטי על משאבים של Managed Service for Apache Spark. כל ערך שתספקו לתוויות השמורות של goog-dataproc בזמן יצירת האשכול יחליף את הערכים שסופקו באופן אוטומטי. לכן לא מומלץ לספק ערכים משלכם לתוויות האלה.

תווית תיאור
goog-dataproc-cluster-name שם האשכול שהמשתמש הגדיר
goog-dataproc-cluster-uuid מזהה האשכול הייחודי
goog-dataproc-location נקודת קצה של אשכול אזורי ב-Managed Service for Apache Spark

אתם יכולים להשתמש בתוויות האלה שנוספות באופן אוטומטי בהרבה דרכים, כולל:

המאמרים הבאים