ניהול משאבי Dataflow באמצעות אילוצים בהתאמה אישית

Google Cloud מדיניות הארגון מאפשרת לכם שליטה מרוכזת ופרוגרמטית על המשאבים של הארגון. אדמינים של מדיניות הארגון יכולים להגדיר מדיניות ארגונית, שהיא קבוצה של הגבלות שנקראות אילוצים, שחלות על משאבים ב-Google Cloud ועל משאבים שנגזרים מהם בGoogle Cloud היררכיית המשאבים. אפשר לאכוף את מדיניות הארגון ברמת הארגון, התיקייה או הפרויקט.

השירות Organization Policy מספק מגבלות מוגדרות מראש לשירותים שונים שלGoogle Cloud . עם זאת, אם אתם רוצים שליטה מפורטת יותר בשדות הספציפיים שמוגבלים במדיניות הארגון, אתם יכולים גם ליצור מדיניות ארגונית בהתאמה אישית.

יתרונות

אפשר להשתמש במדיניות ארגונית בהתאמה אישית כדי לאפשר או לדחות יצירה של משימות Dataflow עם תנאים שמבוססים על מאפייני משאבים נתמכים, כמו שם המשימה, הסוג ואפשרויות השירות.

העברה בירושה של מדיניות

כברירת מחדל, מדיניות הארגון עוברת בירושה לצאצאים של המשאבים שבהם אתם אוכפים את המדיניות. לדוגמה, אם אוכפים מדיניות בתיקייה, Google Cloud המדיניות נאכפת בכל הפרויקטים בתיקייה. מידע נוסף על ההתנהגות הזו ועל שינוי שלה זמין במאמר בנושא כללי הערכה היררכיים.

תמחור

שירות מדיניות הארגון, כולל מדיניות ארגון מוגדרת מראש ומותאמת אישית, מוצע ללא תשלום.

מגבלות

• אפשר להגדיר אילוצים בהתאמה אישית למשאבי Dataflow Job רק באמצעות מסוף Google Cloud או Google Cloud CLI.

• אפשר לאכוף אילוצים מותאמים אישית רק על שיטת CREATE למשאבי Dataflow Job.

• אילוצים מותאמים אישית חדשים שנאכפים לא חלים על משאבים קיימים.

לפני שמתחילים

מידע נוסף על מדיניות הארגון, על אילוצים ועל אופן הפעולה שלהם זמין במאמר מבוא לשירות Organization Policy.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לניהול מדיניות הארגון, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ Organization policy administrator (אדמין של מדיניות הארגון) ‏(roles/orgpolicy.policyAdmin) בארגון. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות לניהול מדיניות הארגון. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לנהל את מדיניות הארגון, נדרשות ההרשאות הבאות:

• orgpolicy.constraints.list
• orgpolicy.policies.create
• orgpolicy.policies.delete
• orgpolicy.policies.list
• orgpolicy.policies.update
• orgpolicy.policy.get
• orgpolicy.policy.set

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

יצירת אילוץ בהתאמה אישית

אילוץ בהתאמה אישית מוגדר בקובץ YAML לפי המשאבים, השיטות, התנאים והפעולות שנתמכים על ידי השירות שבו אתם אוכפים את מדיניות הארגון. התנאים להגבלות המותאמות אישית מוגדרים באמצעות Common Expression Language ‏ (CEL). מידע נוסף על יצירת תנאים באילוצים מותאמים אישית באמצעות CEL זמין בקטע על CEL במאמר יצירה וניהול של אילוצים מותאמים אישית.

כדי ליצור קובץ YAML לאילוץ בהתאמה אישית:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

מחליפים את מה שכתוב בשדות הבאים:

• ‫ORGANIZATION_ID: מזהה הארגון, למשל 123456789.

• ‫CONSTRAINT_NAME: השם שרוצים לתת לאילוץ החדש בהתאמה אישית. אילוץ מותאם אישית חייב להתחיל ב-custom., ויכול לכלול רק אותיות גדולות, אותיות קטנות או מספרים. לדוגמה, custom.denyPrimeJobs. האורך המקסימלי של השדה הזה הוא 70 תווים, לא כולל הקידומת – לדוגמה, organizations/123456789/customConstraints/custom.

• ‫RESOURCE_NAME: השם (לא ה-URI) של משאב ה-REST של Dataflow API שמכיל את האובייקט והשדה שרוצים להגביל. לדוגמה, dataflow.googleapis.com/Job.

• ‫CONDITION: תנאי CEL שנכתב על סמך ייצוג של משאב שירות נתמך. האורך המקסימלי של השדה הוא 1,000 תווים. מידע נוסף על המשאבים שאפשר לכתוב תנאים לגביהם זמין במאמר משאבים נתמכים. לדוגמה, "resource.environment.serviceOptions.exists(value, value=='enable_prime')".

• ‫ACTION: הפעולה שיש לבצע אם התנאי condition מתקיים. הערכים הנתמכים הם ALLOW ו-DENY.

• ‫DISPLAY_NAME: שם קריא לאנשים של האילוץ. האורך המקסימלי של השדה הוא 200 תווים.

• ‫DESCRIPTION: תיאור ידידותי למשתמש של האילוץ, שיוצג כהודעת שגיאה אם תהיה הפרה של המדיניות. האורך המקסימלי של השדה הוא 2,000 תווים.

מידע נוסף על יצירת אילוץ בהתאמה אישית זמין במאמר הגדרת אילוצים בהתאמה אישית.

הגדרת אילוץ בהתאמה אישית

המסוף

כדי ליצור אילוץ בהתאמה אישית:

1. במסוף Google Cloud , נכנסים לדף מדיניות הארגון.

   מעבר למדיניות הארגון

2. בכלי לבחירת פרויקטים, בוחרים את הפרויקט שרוצים להגדיר לו את מדיניות הארגון.
3. לוחצים על Custom constraint (הגבלה מותאמת אישית).
4. בתיבה שם לתצוגה, מזינים שם שאנשים יכולים לקרוא למגבלה. השם הזה משמש בהודעות שגיאה, ואפשר להשתמש בו לצורך זיהוי וניפוי באגים. אל תשתמשו בפרטים אישיים מזהים (PII) או במידע אישי רגיש בשמות לתצוגה, כי השם הזה עלול להיחשף בהודעות שגיאה. השדה הזה יכול להכיל עד 200 תווים.
5. בתיבה Constraint ID (מזהה ההגבלה), מזינים את המזהה שרוצים להגדיר להגבלה החדשה בהתאמה אישית. אילוץ מותאם אישית יכול להכיל רק אותיות (כולל אותיות גדולות וקטנות) או מספרים, למשל custom.denyPrimeJobs. השדה הזה יכול להכיל עד 70 תווים, לא כולל הקידומת (custom.), לדוגמה, organizations/123456789/customConstraints/custom. אל תכללו פרטים אישיים מזהים (PII) או נתונים רגישים במזהה האילוץ, כי הם עלולים להיחשף בהודעות שגיאה.
6. בתיבה Description, מזינים תיאור של האילוץ שכתוב בצורה שקריאה לאנשים. התיאור הזה משמש כהודעת שגיאה כשמתבצעת הפרה של המדיניות. לכלול פרטים על הסיבה להפרת המדיניות ואיך לפתור אותה. אל תכללו בתיאור פרטים אישיים מזהים (PII) או מידע אישי רגיש, כי הם עלולים להיחשף בהודעות שגיאה. השדה הזה יכול להכיל עד 2,000 תווים.
7. בתיבה Resource type, בוחרים את השם של משאב REST‏ Google Cloud שמכיל את האובייקט והשדה שרוצים להגביל – לדוגמה, container.googleapis.com/NodePool. רוב סוגי המשאבים תומכים בעד 20 אילוצים מותאמים אישית. אם תנסו ליצור עוד אילוצים בהתאמה אישית, הפעולה תיכשל.
8. אפשר לאכוף את ההגבלה הזו רק בשיטת REST‏ CREATE.

כדי לראות את השיטות הנתמכות לכל שירות, מחפשים את השירות בקטע שירותים שתומכים באילוצים בהתאמה אישית.

9. כדי להגדיר תנאי, לוחצים על Edit condition.
1. בחלונית Add condition, יוצרים תנאי CEL שמתייחס למשאב שירות נתמך, לדוגמה, resource.management.autoUpgrade == false. השדה הזה יכול להכיל עד 1,000 תווים. פרטים על השימוש ב-CEL זמינים במאמר בנושא Common Expression Language. מידע נוסף על משאבי השירות שאפשר להשתמש בהם באילוצים בהתאמה אישית זמין במאמר שירותים שתומכים באילוצים בהתאמה אישית.
2. לוחצים על Save.
10. בקטע פעולה, בוחרים אם לאשר או לדחות את השיטה שנבדקה אם התנאי מתקיים.

הפעולה deny (דחייה) פירושה שהפעולה ליצירה או לעדכון של המשאב נחסמת אם התנאי מוערך כ-True.

הפעולה allow (אישור) אומרת שהפעולה ליצירה או לעדכון של המשאב מותרת רק אם התנאי מחזיר את הערך true. כל מקרה אחר, מלבד אלה שמפורטים במפורש בתנאי, נחסם.

11. לוחצים על יצירת אילוץ.

אחרי שמזינים ערך בכל שדה, מופיעה משמאל הגדרת ה-YAML המקבילה לאילוץ המותאם אישית הזה.

gcloud

1. כדי ליצור אילוץ בהתאמה אישית, יוצרים קובץ YAML בפורמט הבא:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes: RESOURCE_NAME
methodTypes:
  - CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

מחליפים את מה שכתוב בשדות הבאים:

• ‫ORGANIZATION_ID: מזהה הארגון, למשל 123456789.
• ‫CONSTRAINT_NAME: השם שרוצים לתת לאילוץ המותאם אישית החדש. אילוץ מותאם אישית יכול להכיל רק אותיות (כולל אותיות רישיות וקטנות) או מספרים, למשל, custom.denyPrimeJobs. השדה הזה יכול להכיל עד 70 תווים, לא כולל הקידומת (custom.) – לדוגמה, organizations/123456789/customConstraints/custom. אל תכללו פרטים אישיים מזהים (PII) או נתונים רגישים במזהה האילוץ, כי הם עלולים להיחשף בהודעות שגיאה.
• ‫RESOURCE_NAME: השם מוגדר במלואו של המשאב Google Cloudשמכיל את האובייקט והשדה שרוצים להגביל. לדוגמה: dataflow.googleapis.com/Job. רוב סוגי המשאבים תומכים בעד 20 אילוצים מותאמים אישית. אם תנסו ליצור עוד אילוצים בהתאמה אישית, הפעולה תיכשל.
• ‫methodTypes: שיטות ה-REST שבהן האילוץ נאכף. הערך יכול להיות רק CREATE.

כדי לראות את השיטות הנתמכות לכל שירות, מחפשים את השירות ב שירותים שתומכים באילוצים בהתאמה אישית.

• ‫CONDITION: תנאי CEL שנכתב על סמך ייצוג של משאב שירות נתמך. השדה הזה יכול להכיל עד 1,000 תווים. לדוגמה: "resource.environment.serviceOptions.exists(value, value=='enable_prime')".

מידע נוסף על המשאבים שאפשר לכתוב תנאים לגביהם זמין במאמר משאבים נתמכים.

• ‫ACTION: הפעולה שתתבצע אם התנאי condition יתקיים. הערך יכול להיות רק ALLOW.

הפעולה allow (אישור) אומרת שאם התנאי מקבל את הערך True, הפעולה ליצירה או לעדכון של המשאב מותרת. המשמעות היא שכל מקרה אחר, חוץ מהמקרה שמופיע במפורש בתנאי, ייחסם.

• DISPLAY_NAME: שם קריא לאנשים של האילוץ. השם הזה מופיע בהודעות שגיאה ויכול לשמש לזיהוי ולניפוי באגים. אל תשתמשו בפרטים אישיים מזהים (PII) או במידע אישי רגיש בשמות המוצגים, כי השם הזה עלול להיחשף בהודעות שגיאה. השדה הזה יכול להכיל עד 200 תווים.
• ‫DESCRIPTION: תיאור ידידותי למשתמש של האילוץ שיוצג כהודעת שגיאה אם המדיניות תופר. השדה הזה יכול להכיל עד 2,000 תווים.
2. אחרי שיוצרים קובץ YAML לאילוץ חדש בהתאמה אישית, צריך להגדיר אותו כדי שיהיה זמין למדיניות הארגון בארגון. כדי להגדיר אילוץ בהתאמה אישית, משתמשים בפקודה gcloud org-policies set-custom-constraint:

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

מחליפים את CONSTRAINT_PATH בנתיב המלא לקובץ האילוצים המותאמים אישית. לדוגמה, /home/user/customconstraint.yaml.

אחרי שהפעולה הזו תושלם, האילוצים המותאמים אישית יהיו זמינים כמדיניות ארגונית ברשימת Google Cloud מדיניות הארגון.

3. כדי לוודא שהאילוץ המותאם אישית קיים, משתמשים בפקודה gcloud org-policies list-custom-constraints:

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

מחליפים את ORGANIZATION_ID במזהה של משאב הארגון.

מידע נוסף זמין במאמר בנושא צפייה במדיניות הארגון.

אכיפה של מדיניות ארגון מותאמת אישית

כדי לאכוף אילוץ, יוצרים מדיניות ארגון שמפנה אליו, ואז מחילים את מדיניות הארגון הזו על משאב Google Cloud .

המסוף

1. במסוף Google Cloud , נכנסים לדף מדיניות הארגון.

   מעבר למדיניות הארגון

2. מכלי לבחירת פרויקטים, בוחרים את הפרויקט שרוצים להגדיר לו את מדיניות הארגון.
3. מהרשימה בדף מדיניות הארגון, בוחרים את האילוץ כדי לראות את הדף פרטי המדיניות של האילוץ הזה.
4. כדי להגדיר את מדיניות הארגון עבור המשאב הזה, לוחצים על ניהול מדיניות.
5. בדף עריכת מדיניות, בוחרים באפשרות במקום המדיניות של המשאב הראשי.
6. לוחצים על Add a rule.
7. בקטע Enforcement (אכיפה), בוחרים אם מדיניות הארגון הזו נאכפת או לא.
8. אופציונלי: כדי להגדיר את מדיניות הארגון כתלויה בתג, לוחצים על הוספת תנאי. הערה: אם מוסיפים כלל מותנה למדיניות ארגון, צריך להוסיף לפחות כלל לא מותנה אחד, אחרת אי אפשר לשמור את המדיניות. מידע נוסף על מדיניות ארגונית עם תגים
9. לוחצים על בדיקת שינויים כדי לדמות את ההשפעה של מדיניות הארגון. מידע נוסף זמין במאמר בדיקת שינויים במדיניות הארגון באמצעות סימולטור המדיניות.
10. כדי לאכוף את המדיניות של הארגון במצב פרימטר לבדיקות, לוחצים על הגדרת המדיניות להרצת בדיקה. מידע נוסף זמין במאמר בנושא בדיקת מדיניות הארגון.
11. אחרי שמוודאים שמדיניות הארגון במצב הרצה יבשה פועלת כמו שרוצים, לוחצים על הגדרת מדיניות כדי להגדיר את המדיניות הפעילה.

gcloud

1. כדי ליצור מדיניות ארגונית עם כללים בוליאניים, יוצרים קובץ YAML של מדיניות שמפנה לאילוץ:

name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
spec:
  rules:
  - enforce: true

dryRunSpec:
  rules:
  - enforce: true

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: הפרויקט שבו רוצים לאכוף את האילוץ.
• CONSTRAINT_NAME: השם שהגדרתם לאילוץ המותאם אישית. לדוגמה, custom.denyPrimeJobs.
2. כדי לאכוף את מדיניות הארגון במצב הרצה יבשה, מריצים את הפקודה הבאה עם הדגל dryRunSpec:

gcloud org-policies set-policy POLICY_PATH --update-mask=dryRunSpec

מחליפים את POLICY_PATH בנתיב המלא לקובץ ה-YAML של מדיניות הארגון. יחלפו עד 15 דקות לפני שהמדיניות תיכנס לתוקף.

3. אחרי שמוודאים שמדיניות הארגון במצב הרצה יבשה פועלת כמו שרוצים, מגדירים את המדיניות הפעילה באמצעות הפקודה org-policies set-policy והדגל spec:

gcloud org-policies set-policy POLICY_PATH --update-mask=spec

מחליפים את POLICY_PATH בנתיב המלא לקובץ ה-YAML של מדיניות הארגון. יחלפו עד 15 דקות לפני שהמדיניות תיכנס לתוקף.

דוגמה: יצירת אילוץ כדי למנוע יצירת משימה עם הפעלת תכונת ה-Prime

gcloud

1. יוצרים קובץ אילוצים denyPrimeJobs.yaml עם הפרטים הבאים. מחליפים את ORGANIZATION_ID במזהה הארגון.

   name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
   resource_types: dataflow.googleapis.com/Job
   condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
   action_type: DENY
   method_types: CREATE
   display_name: Restrict creation of job with prime enabled
   description: Deny creation of jobs with prime enabled.

2. מגדירים את האילוץ המותאם אישית.

   gcloud org-policies set-custom-constraint denyPrimeJobs.yaml
   

3. יוצרים קובץ מדיניות enforce-policy-denyPrimeJobs.yaml עם הפרטים הבאים. בדוגמה הזו, האילוץ נאכף ברמת הפרויקט. אפשר גם להגדיר את האילוץ הזה ברמת הארגון או התיקייה. מחליפים את PROJECT_ID במזהה הפרויקט.

         name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
         spec:
           rules:
           – enforce: true

4. אוכפים את המדיניות על ידי הפעלת הפקודה הבאה.

   gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml
   

5. כדי לבדוק את האילוץ, מנסים ליצור משימת Dataflow עם האפשרות enable_prime. כדי ליצור משימת WordCount, תוכלו להיעזר במדריך למתחילים בנושא יצירת צינור עיבוד נתונים באמצעות Java.

   mvn -Pdataflow-runner compile \
   exec:java \
   -Dexec.mainClass=org.apache.beam.examples.WordCount \
   -Dexec.args="--project=PROJECT_ID \
   --gcpTempLocation=gs://BUCKET_NAME/temp/ \
   --output=gs://BUCKET_NAME/output \
   --runner=DataflowRunner \
   --region=us-central1 \
   --dataflowServiceOptions=enable_prime" \
   -Pdataflow-runner
   

   הפלט אמור להיראות כך:

   "details" : [ {
     "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
     "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
   }]

   יומן הביקורת צריך לכלול פרטים על ההפרה, כמו:

     policyViolationInfo: {
       orgPolicyViolationInfo: {
       violationInfo: [
       0: {
         constraint: "customConstraints/custom.denyPrimeJobs"
         errorMessage: "Restrict creation of job with prime enabled"
         policyType: "CUSTOM_CONSTRAINT"
       }]}}

שדות לביטויים של תנאים

בטבלה הבאה מפורטים שדות הביטוי שאפשר להשתמש בהם כדי ליצור תנאים. התנאים נכתבים ב-Common Expression Language ‏ (CEL). הערך של שדות הביטוי הוא תלוי אותיות רישיות (case-sensitive).

תיאורים של השדות הבאים של הביטוי ופירוט של הערכים שאפשר לציין מופיעים במאמר ייצוג JSON של Job Dataflow.

שדה ביטוי	סוג ערך
name	string
type	string
transformNameMapping	map
location	string
environment	message
environment.serviceOptions	list of string
environment.serviceKmsKeyName	string
environment.serviceAccountEmail	string
environment.workerRegion	string
environment.workerZone	string
environment.streamingMode	string
environment.debugOptions	message
environment.debugOptions.enableHotKeyLogging	bool

תרחישים לדוגמה

בטבלה הבאה מפורטים כמה תרחישי שימוש לדוגמה.

תרחיש לדוגמה	פעולה	מגבלה מותאמת אישית
איסור שימוש במשימה הראשית	DENY	resource.environment.serviceOptions.exists(value, value=='enable_prime')
מונעת ממכונות וירטואליות לקבל מפתחות SSH שמאוחסנים במטא-נתונים של הפרויקט.	DENY	!resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')
איסור על משימות בלי להגדיר את המספר המקסימלי של השניות שהמשימה יכולה לפעול	DENY	!resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')

המאמרים הבאים

• מידע נוסף על מדיניות הארגון זמין במאמר מבוא לשירות של מדיניות הארגון.
• מידע נוסף על יצירה וניהול של כללי מדיניות ארגוניים
• כאן אפשר לראות את הרשימה המלאה של מגבלות מוגדרות מראש של מדיניות הארגון.