ניהול משאבי Dataflow באמצעות אילוצים בהתאמה אישית

אילוצים בהתאמה אישית ב-Dataflow מאפשרים לכם לאכוף משילות מפורטת על משאבים של צינורות עיבוד נתונים בכל הארגון. אדמינים של מדיניות הארגון יכולים להגדיר כללי מדיניות שמגבילים שדות ספציפיים של משאבים בהיררכיית המשאבים שלGoogle Cloud . אפשר לאכוף את כללי המדיניות האלה ברמת הארגון, התיקייה או הפרויקט.

שירות מדיניות הארגון מספק אילוצים מוגדרים מראש לשירותים שונים שלGoogle Cloud . אם אתם צריכים שליטה רחבה יותר בהתאמה אישית על שדות ספציפיים ב-Dataflow, אתם יכולים ליצור כללי מדיניות מותאמים אישית של הארגון כדי לאכוף את דרישות התאימות והאבטחה שלכם.

יתרונות

אתם יכולים להשתמש במדיניות ארגונית בהתאמה אישית כדי לאשר או לדחות יצירה של משימות Dataflow עם תנאים שמבוססים על מאפייני משאבים נתמכים, כמו שם המשימה, הסוג שלה ואפשרויות השירות.

ירושה של מדיניות

כברירת מחדל, מדיניות הארגון עוברת בירושה לצאצאים של המשאבים שעליהם אתם אוכפים את המדיניות. לדוגמה, אם אוכפים מדיניות בתיקייה, Google Cloud אוכף את המדיניות בכל הפרויקטים שבתיקייה. למידע נוסף על ההתנהגות הזו ואיך לשנות אותה, ראו כללי הערכה של היררכיה.

תמחור

שירות מדיניות הארגון, כולל כללי מדיניות מוגדרים מראש וכללי מדיניות בהתאמה אישית, מוצע ללא תשלום.

מגבלות

• אפשר להגדיר אילוצים בהתאמה אישית למשאבי Job של Dataflow רק באמצעות מסוף Google Cloud או Google Cloud CLI.

• אפשר לאכוף אילוצים בהתאמה אישית רק ב-method‏ CREATE למשאבי Job של Dataflow.

• אילוצים מותאמים אישית שנאכפים לא חלים על משאבים קיימים.

לפני שמתחילים

במבוא לשירות מדיניות הארגון מוסבר מהם כללי המדיניות והאילוצים של הארגון ואיך הם פועלים.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לניהול מדיניות הארגון, בקשו מהאדמין להקצות לכם את התפקיד אדמין של מדיניות הארגון (roles/orgpolicy.policyAdmin) ב-IAM ברמת הארגון. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד מוגדר מראש שכולל את ההרשאות שנדרשות לניהול מדיניות הארגון. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לנהל את מדיניות הארגון, נדרשות ההרשאות הבאות:

• orgpolicy.constraints.list
• orgpolicy.policies.create
• orgpolicy.policies.delete
• orgpolicy.policies.list
• orgpolicy.policies.update
• orgpolicy.policy.get
• orgpolicy.policy.set

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

יצירת אילוץ בהתאמה אישית

אילוץ מותאם אישית מוגדר בקובץ YAML לפי המשאבים, השיטות, התנאים והפעולות שנתמכים בשירות שבו אתם אוכפים את מדיניות הארגון. התנאים של האילוצים המותאמים אישית מוגדרים באמצעות Common Expression Language (CEL). בקטע CEL במאמר יצירה וניהול של אילוצים בהתאמה אישית מוסבר איך ליצור תנאים באילוצים בהתאמה אישית באמצעות CEL.

כדי ליצור קובץ YAML לאילוץ בהתאמה אישית:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

מחליפים את מה שכתוב בשדות הבאים:

• ‫ORGANIZATION_ID: מזהה הארגון, למשל 123456789.

• ‫CONSTRAINT_NAME: השם שרוצים לתת לאילוץ החדש בהתאמה אישית. אילוץ בהתאמה אישית חייב להתחיל ב-custom., ויכול לכלול רק אותיות רישיות, אותיות קטנות או מספרים – לדוגמה, custom.denyPrimeJobs. האורך המקסימלי של השדה הזה הוא 70 תווים, לא כולל הקידומת, לדוגמה: organizations/123456789/customConstraints/custom.

• ‫RESOURCE_NAME: השם (לא ה-URI) של משאב ה-REST של Dataflow API שמכיל את האובייקט והשדה שרוצים להגביל. לדוגמה, dataflow.googleapis.com/Job.

• ‫CONDITION: תנאי CEL שנכתב כנגד ייצוג של משאב שירות נתמך. האורך המקסימלי של השדה הזה הוא 1,500 תווים. במאמר משאבים נתמכים תוכלו לקרוא בהרחבה על המשאבים שאפשר לכתוב תנאים לגביהם. לדוגמה, "resource.environment.serviceOptions.exists(value, value=='enable_prime')".

• ‫ACTION: הפעולה שתתבצע אם התנאי condition מתקיים. הערכים הנתמכים הם ALLOW ו-DENY.

• ‫DISPLAY_NAME: שם קריא לאנשים של האילוץ. האורך המקסימלי של השדה הזה הוא 200 תווים.

• ‫DESCRIPTION: תיאור ידידותי למשתמש של האילוץ, שיוצג כהודעת שגיאה במקרה של הפרת המדיניות. האורך המקסימלי של השדה הזה הוא 2,000 תווים.

למידע נוסף על יצירת אילוץ בהתאמה אישית, ראו הגדרת אילוצים בהתאמה אישית.

הגדרת אילוץ בהתאמה אישית

המסוף

כדי ליצור אילוץ בהתאמה אישית:

1. במסוף Google Cloud , נכנסים לדף מדיניות הארגון.

   כניסה לדף Organization policies

2. בכלי לבחירת פרויקטים, בוחרים את הפרויקט שרוצים להגדיר לו את מדיניות הארגון.
3. לוחצים על Custom constraint.
4. בתיבה Display name, מזינים שם לאילוץ שיהיה קריא לאנשים. השם הזה מופיע בהודעות שגיאה ואפשר להשתמש בו לזיהוי ולניפוי באגים. אל תשתמשו בפרטים אישיים מזהים (PII) או במידע רגיש בשמות לתצוגה, כי השם הזה עלול להיחשף בהודעות שגיאה. השדה הזה יכול להכיל עד 200 תווים.
5. בתיבה Constraint ID, מזינים את המזהה שרוצים לתת לאילוץ החדש בהתאמה אישית. אילוץ בהתאמה אישית יכול להכיל רק אותיות (כולל אותיות רישיות וקטנות) או מספרים, לדוגמה custom.denyPrimeJobs. השדה הזה יכול להכיל עד 70 תווים, לא כולל הקידומת (custom.), לדוגמה, organizations/123456789/customConstraints/custom. אל תכללו פרטים אישיים מזהים או מידע רגיש במזהה האילוץ, כי הם עלולים להיחשף בהודעות שגיאה.
6. בתיבה Description, מזינים תיאור של האילוץ שקריא לאנשים. התיאור הזה משמש כהודעת שגיאה כשיש הפרה של המדיניות. ציינו פרטים על הסיבה להפרת המדיניות ואיך לפתור את הבעיה. אל תכללו פרטים אישיים מזהים או מידע רגיש בתיאור, כי הם עלולים להיחשף בהודעות שגיאה. השדה הזה יכול להכיל עד 2,000 תווים.
7. בתיבה Resource type, בוחרים את השם של משאב ה- Google Cloud REST שמכיל את האובייקט והשדה שרוצים להגביל, לדוגמה container.googleapis.com/Cluster. רוב סוגי המשאבים תומכים בעד 20 אילוצים בהתאמה אישית. אם תנסו ליצור יותר אילוצים בהתאמה אישית, הפעולה תיכשל.
8. אפשר לאכוף את האילוץ הזה רק ב-REST CREATE.

כדי לראות את השיטות הנתמכות בכל שירות, חפשו את השירות במאמר שירותים שתומכים באילוצים בהתאמה אישית.

9. כדי להגדיר תנאי, לוחצים על עריכת התנאי.
1. בחלונית Add condition, יוצרים תנאי CEL שמתייחס למשאב שירות נתמך, לדוגמה resource.autopilot.enabled == false. השדה הזה יכול להכיל עד 1,500 תווים. לפרטים על השימוש ב-CEL, ראו Common Expression Language. מידע נוסף על משאבי השירות שבהם אפשר להשתמש באילוצים מותאמים אישית מופיע במאמר שירותים שנתמכים באילוצים מותאמים אישית.
2. לוחצים על Save.
10. בקטע Action, בוחרים אם לאשר או לדחות את השיטה שנבדקה אם התנאי מתקיים.

פעולת הדחייה פירושה שהפעולה ליצירה או לעדכון של המשאב נחסמת אם התנאי מקבל את הערך True.

פעולת ההרשאה מאפשרת ליצור או לעדכן את המשאב רק אם התנאי מתקיים. כל מקרה אחר, מלבד אלה שרשומים במפורש בתנאי, נחסם.

11. לוחצים על Create constraint.

אחרי שמזינים ערך בכל שדה, הגדרת ה-YAML המקבילה לאילוץ המותאם אישית הזה מופיעה בצד שמאל.

gcloud

1. כדי ליצור אילוץ בהתאמה אישית, יוצרים קובץ YAML בפורמט הבא:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes: RESOURCE_NAME
methodTypes:
  - CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

מחליפים את מה שכתוב בשדות הבאים:

• ‫ORGANIZATION_ID: מזהה הארגון, למשל 123456789.
• ‫CONSTRAINT_NAME: השם שרוצים לתת לאילוץ החדש בהתאמה אישית. אילוץ בהתאמה אישית יכול להכיל רק אותיות (כולל אותיות רישיות וקטנות) או מספרים, לדוגמה, custom.denyPrimeJobs. השדה הזה יכול להכיל עד 70 תווים, לא כולל הקידומת (custom.) – לדוגמה, organizations/123456789/customConstraints/custom. אל תכללו פרטים אישיים מזהים או מידע רגיש במזהה האילוץ, כי הם עלולים להיחשף בהודעות שגיאה.
• ‫RESOURCE_NAME: השם המלא של המשאב ב- Google Cloudשמכיל את האובייקט והשדה שרוצים להגביל. לדוגמה, dataflow.googleapis.com/Job. רוב סוגי המשאבים תומכים בעד 20 אילוצים בהתאמה אישית. אם תנסו ליצור יותר אילוצים בהתאמה אישית, הפעולה תיכשל.
• ‫methodTypes: השיטות של REST שעליהן נאכף האילוץ. הערך יכול להיות רק CREATE.

כדי לראות את השיטות הנתמכות לכל שירות, חפשו את השירות במאמר שירותים שתומכים באילוצים בהתאמה אישית.

• ‫CONDITION: תנאי CEL שנכתב כנגד ייצוג של משאב שירות נתמך. השדה הזה יכול להכיל עד 1,500 תווים. לדוגמה, "resource.environment.serviceOptions.exists(value, value=='enable_prime')".

למידע נוסף על המשאבים הזמינים לכתיבת תנאים, ראו משאבים נתמכים.

• ‫ACTION: הפעולה שצריך לבצע אם התנאי condition מתקיים. הערך יכול להיות רק ALLOW.

הפעולה allow פירושה שאם התנאי מקבל את הערך true, מותר ליצור או לעדכן את המשאב. זה גם אומר שכל מקרה אחר, מלבד המקרה שמופיע במפורש בתנאי, נחסם.

• ‫DISPLAY_NAME: שם קריא לאנשים של האילוץ. השם הזה מופיע בהודעות שגיאה ואפשר להשתמש בו לזיהוי ולניפוי באגים. אל תשתמשו בפרטים אישיים מזהים או במידע רגיש בשמות המוצגים, כי השם הזה עלול להיחשף בהודעות שגיאה. השדה הזה יכול להכיל עד 200 תווים.
• ‫DESCRIPTION: תיאור קריא של האילוץ שיוצג כהודעת שגיאה במקרה של הפרת המדיניות. השדה הזה יכול להכיל עד 2,000 תווים.
2. אחרי שיוצרים את קובץ ה-YAML לאילוץ חדש בהתאמה אישית, צריך להגדיר אותו כדי שיהיה זמין למדיניות הארגון. כדי להגדיר אילוץ בהתאמה אישית, משתמשים בפקודה gcloud org-policies set-custom-constraint:

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

מחליפים את CONSTRAINT_PATH בנתיב המלא לקובץ האילוץ בהתאמה אישית. לדוגמה, /home/user/customconstraint.yaml.

בסיום הפעולה, האילוצים המותאמים אישית יהיו זמינים כמדיניות של הארגון ברשימת Google Cloud מדיניות הארגון.

3. כדי לוודא שהאילוץ המותאם אישית קיים, משתמשים בפקודה gcloud org-policies list-custom-constraints:

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

מחליפים את ORGANIZATION_ID במזהה של משאב הארגון.

איך בודקים את מדיניות הארגון

אכיפה של מדיניות ארגונית בהתאמה אישית

כדי לאכוף אילוץ, אתם יכולים ליצור מדיניות ארגון שמפנה אליו, ואז להחיל את מדיניות הארגון על משאב Google Cloud .

המסוף

1. במסוף Google Cloud , נכנסים לדף מדיניות הארגון.

   כניסה לדף Organization policies

2. בכלי לבחירת פרויקטים, בוחרים את הפרויקט שרוצים להגדיר לו את מדיניות הארגון.
3. ברשימה שבדף מדיניות הארגון, בוחרים את האילוץ כדי להציג את הדף Policy details של אותו אילוץ.
4. כדי להגדיר את מדיניות הארגון למשאב הזה, לוחצים על ניהול המדיניות.
5. בדף עריכת המדיניות, בוחרים באפשרות במקום המדיניות של המשאב הראשי.
6. לוחצים על Add a rule.
7. בקטע Enforcement, בוחרים אם לאכוף את מדיניות הארגון הזו או לא.
8. אופציונלי: כדי להוסיף תנאי למדיניות הארגון שמבוסס על תג, לוחצים על Add condition. שימו לב: אם מוסיפים כלל מותנה למדיניות הארגון, צריך להוסיף לפחות כלל אחד לא מותנה, אחרת אי אפשר לשמור את המדיניות. מידע נוסף זמין במאמר הגדרת ההיקף של מדיניות הארגון באמצעות תגים.
9. לוחצים על בדיקת השינויים כדי לדמות את ההשפעה של מדיניות הארגון. למידע נוסף, קראו את המאמר בדיקת שינויים במדיניות הארגון באמצעות סימולטור המדיניות.
10. כדי לאכוף את מדיניות הארגון במצב פרימטר לבדיקות, לוחצים על הגדרת המדיניות להרצת בדיקה. למידע נוסף, קראו את המאמר בדיקת כללי מדיניות של הארגון.
11. אחרי שמוודאים שמדיניות הארגון במצב פרימטר לבדיקות פועלת כמו שצריך, לוחצים על Set policy כדי להגדיר את המדיניות הפעילה.

gcloud

1. כדי ליצור מדיניות ארגונית עם כללים בוליאניים, יוצרים קובץ YAML של מדיניות שמפנה לאילוץ:

name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
spec:
  rules:
  - enforce: true

dryRunSpec:
  rules:
  - enforce: true

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: הפרויקט שבו רוצים לאכוף את האילוץ.
• ‫CONSTRAINT_NAME: השם שהגדרתם לאילוץ המותאם אישית. לדוגמה, custom.denyPrimeJobs.
2. כדי לאכוף את מדיניות הארגון במצב פרימטר לבדיקות, מריצים את הפקודה הבאה עם הדגל dryRunSpec:

gcloud org-policies set-policy POLICY_PATH --update-mask=dryRunSpec

מחליפים את POLICY_PATH בנתיב המלא לקובץ ה-YAML של מדיניות הארגון. המדיניות תיכנס לתוקף תוך 15 דקות לכל היותר.

3. אחרי שמוודאים שמדיניות הארגון במצב פרימטר לבדיקות פועלת כמצופה, מגדירים את המדיניות הפעילה באמצעות הפקודה org-policies set-policy והדגל spec:

gcloud org-policies set-policy POLICY_PATH --update-mask=spec

מחליפים את POLICY_PATH בנתיב המלא לקובץ ה-YAML של מדיניות הארגון. המדיניות תיכנס לתוקף תוך 15 דקות לכל היותר.

דוגמה: יצירת אילוץ שמונע יצירת משימה עם הפעלה של Prime

gcloud

1. יוצרים קובץ אילוצים ב-denyPrimeJobs.yaml עם הפרטים הבאים: מחליפים את ORGANIZATION_ID במזהה הארגון.

   name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
   resource_types: dataflow.googleapis.com/Job
   condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
   action_type: DENY
   method_types: CREATE
   display_name: Restrict creation of job with prime enabled
   description: Deny creation of jobs with prime enabled.

2. מגדירים את האילוץ בהתאמה אישית.

   gcloud org-policies set-custom-constraint denyPrimeJobs.yaml
   

3. יוצרים קובץ מדיניות enforce-policy-denyPrimeJobs.yaml עם הפרטים הבאים. בדוגמה הזו, האילוץ נאכף ברמת הפרויקט. אפשר גם להגדיר את האילוץ הזה ברמת הארגון או התיקייה. מחליפים את PROJECT_ID במזהה הפרויקט.

         name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
         spec:
           rules:
           – enforce: true

4. אוכפים את המדיניות באמצעות הפקודה הבאה:

   gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml
   

5. כדי לבדוק את האילוץ, נסו ליצור משימת Dataflow עם האפשרות enable_prime. כדי ליצור משימת WordCount, פועלים לפי ההוראות במדריך למתחילים יצירת צינור עיבוד נתונים ב-Dataflow באמצעות Java.

   mvn -Pdataflow-runner compile \
   exec:java \
   -Dexec.mainClass=org.apache.beam.examples.WordCount \
   -Dexec.args="--project=PROJECT_ID \
   --gcpTempLocation=gs://BUCKET_NAME/temp/ \
   --output=gs://BUCKET_NAME/output \
   --runner=DataflowRunner \
   --region=us-central1 \
   --dataflowServiceOptions=enable_prime" \
   -Pdataflow-runner
   

   הפלט אמור להיראות כך:

   "details" : [ {
     "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
     "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
   }]

   ביומן הביקורת אמורים להופיע פרטי ההפרה, כמו בדוגמה הבאה:

     policyViolationInfo: {
       orgPolicyViolationInfo: {
       violationInfo: [
       0: {
         constraint: "customConstraints/custom.denyPrimeJobs"
         errorMessage: "Restrict creation of job with prime enabled"
         policyType: "CUSTOM_CONSTRAINT"
       }]}}

שדות של ביטויים לתנאים

בטבלה הבאה מפורטים שדות הביטויים שאפשר להשתמש בהם כדי ליצור תנאים. התנאים נכתבים ב-Common Expression Language (CEL). הערך של שדות הביטוי תלוי אותיות רישיות.

בייצוג ב-JSON של Job ב-Dataflow מפורטים תיאורים של שדות הביטויים הבאים והערכים שאפשר לציין.

שדה הביטוי	סוג ערך
name	string
type	string
transformNameMapping	map
location	string
environment	message
environment.serviceOptions	list of string
environment.serviceKmsKeyName	string
environment.serviceAccountEmail	string
environment.workerRegion	string
environment.workerZone	string
environment.streamingMode	string
environment.debugOptions	message
environment.debugOptions.enableHotKeyLogging	bool

תרחישים לדוגמה

בטבלה הבאה מפורטות כמה דוגמאות לתרחישים לדוגמה.

תרחיש לדוגמה	פעולה	אילוץ בהתאמה אישית
לא לאשר שימוש במשימה ראשית	דחייה	resource.environment.serviceOptions.exists(value, value=='enable_prime')
מונעת מהמכונות הווירטואליות לקבל מפתחות SSH ששמורים במטא-נתונים של הפרויקט.	דחייה	!resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')
אי אפשר להפעיל משימות בלי להגדיר את מספר השניות המקסימלי שהמשימה יכולה לפעול	דחייה	!resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')

המאמרים הבאים

• למידע נוסף על מדיניות הארגון, קראו את המאמר מבוא לשירות מדיניות הארגון.
• איך יוצרים ומנהלים את מדיניות הארגון
• רשימה מלאה של אילוצים מוגדרים מראש של מדיניות הארגון