ניהול משאבים של שושלת הנתונים באמצעות אילוצים מותאמים אישית

אפשר להשתמש באילוצים מותאמים אישית של מדיניות הארגון כדי להגביל פעולות ספציפיות במשאבי שושלת הנתונים. Google Cloud למרות שמדיניות הארגון מספקת אילוצים מוגדרים מראש לשירותים שוניםGoogle Cloud , אילוצים בהתאמה אישית מאפשרים לכם להגדיר שליטה פרטנית בשדות ספציפיים במדיניות הארגון.

מידע על Google Cloud מדיניות הארגון

Google Cloud מדיניות הארגון מאפשרת לכם שליטה מרוכזת ופרוגרמטית על המשאבים של הארגון. אדמינים של מדיניות הארגון יכולים להגדיר מדיניות ארגונית, שהיא קבוצה של הגבלות שנקראות אילוצים, שחלות על משאבי Google Cloud ועל משאבים שנגזרים מהם בGoogle Cloud היררכיית המשאבים. אפשר לאכוף את מדיניות הארגון ברמת הארגון, התיקייה או הפרויקט.

יתרונות

כללי מדיניות מותאמים אישית לארגון מאפשרים שליטה מפורטת יותר על השדות הספציפיים שמוגבלים במדיניות הארגון.

אתם יכולים להשתמש במדיניות ארגונית מותאמת אישית כדי לאשר או לדחות את היצירה של תהליכי שושלת נתונים עם תנאים שמבוססים על מאפייני משאבים נתמכים, כמו שם התהליך, סוג המקור והמקור.

מידע נוסף מופיע במאמר בנושא אילוצים מוגדרים מראש.

העברה בירושה של מדיניות

כברירת מחדל, מדיניות הארגון עוברת בירושה לצאצאים של המשאבים שבהם אתם אוכפים את המדיניות. לדוגמה, אם אוכפים מדיניות בתיקייה, Google Cloud המדיניות נאכפת בכל הפרויקטים בתיקייה. מידע נוסף על ההתנהגות הזו ועל שינוי שלה זמין במאמר בנושא כללי הערכה היררכיים.

תמחור

שירות מדיניות הארגון, כולל מדיניות ארגון מוגדרת מראש ומותאמת אישית, מוצע ללא תשלום.

מגבלות

• אפשר לאכוף אילוצים מותאמים אישית רק על משאבי Process של שושלת הנתונים. אין תמיכה במשאבים אחרים, כמו Runs ו-Events.

• אילוצים מותאמים אישית חדשים שנאכפים לא חלים על משאבים קיימים.

לפני שמתחילים

• חשוב לוודא שאתם יודעים מה מספר הארגון שלכם.

• אם רוצים לבדוק מדיניות ארגונית בהתאמה אישית שמפנה למשאבים של שושלת הנתונים, צריך ליצור פרויקט חדש. בדיקה של מדיניות הארגון הזו בפרויקט קיים עלולה לשבש את תהליכי העבודה של האבטחה.

  1. Ensure that you have the Project Creator IAM role (roles/resourcemanager.projectCreator). Learn how to grant roles.

  2. In the Google Cloud console, go to the project selector page.

     Go to project selector

  3. Click Create project.

  4. Name your project. Make a note of your generated project ID.

  5. Edit the other fields as needed.

  6. Click Create.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לניהול מדיניות הארגון, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM Organization Policy Administrator (אדמין של מדיניות הארגון) (roles/orgpolicy.policyAdmin) בארגון. להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה מכיל את ההרשאות שנדרשות לניהול מדיניות הארגון. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לנהל את מדיניות הארגון, נדרשות ההרשאות הבאות:

• orgpolicy.constraints.list
• orgpolicy.policies.create
• orgpolicy.policies.delete
• orgpolicy.policies.list
• orgpolicy.policies.update
• orgpolicy.policy.get
• orgpolicy.policy.set

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

יצירת אילוץ בהתאמה אישית

אילוץ בהתאמה אישית מוגדר בקובץ YAML לפי המשאבים, השיטות, התנאים והפעולות שנתמכים על ידי השירות שבו אתם אוכפים את מדיניות הארגון. התנאים להגבלות המותאמות אישית מוגדרים באמצעות Common Expression Language ‏ (CEL). מידע נוסף על יצירת תנאים באילוצים מותאמים אישית באמצעות CEL זמין בקטע על CEL במאמר יצירה וניהול של אילוצים מותאמים אישית.

כדי ליצור קובץ YAML לאילוץ בהתאמה אישית:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- datalineage.googleapis.com/RESOURCE_TYPE
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

מחליפים את מה שכתוב בשדות הבאים:

• ‫ORGANIZATION_ID: מזהה הארגון, למשל 123456789.

• ‫CONSTRAINT_NAME: השם שרוצים לתת לאילוץ החדש בהתאמה אישית. אילוץ מותאם אישית חייב להתחיל ב-custom., ויכול לכלול רק אותיות רישיות, אותיות קטנות או מספרים – לדוגמה, custom.denyLineageProcess. האורך המקסימלי של השדה הזה הוא 70 תווים, לא כולל הקידומת – לדוגמה, organizations/123456789/customConstraints/custom.

• ‫RESOURCE_TYPE: השם (לא ה-URI) של משאב REST של Data Lineage API שמכיל את האובייקט והשדה שרוצים להגביל. רק Process זמין לתיעוד מקורות הנתונים.

• ‫CONDITION: תנאי CEL שנכתב על סמך ייצוג של משאב שירות נתמך. האורך המקסימלי של השדה הוא 1,000 תווים. מידע נוסף על המשאבים שאפשר לכתוב תנאים לגביהם זמין במאמר משאבים נתמכים. לדוגמה, "resource.name.contains('invalid_name')".

• ‫ACTION: הפעולה שיש לבצע אם התנאי condition מתקיים. הערך יכול להיות ALLOW או DENY.

• ‫DISPLAY_NAME: שם קריא לאנשים של האילוץ. האורך המקסימלי של השדה הוא 200 תווים.

• ‫DESCRIPTION: תיאור ידידותי למשתמש של האילוץ, שיוצג כהודעת שגיאה אם המדיניות תופר. האורך המקסימלי של השדה הוא 2,000 תווים.

מידע נוסף על יצירת אילוץ בהתאמה אישית זמין במאמר הגדרת אילוצים בהתאמה אישית.

הגדרת אילוץ בהתאמה אישית

המסוף

כדי ליצור אילוץ בהתאמה אישית:

1. במסוף Google Cloud , נכנסים לדף מדיניות הארגון.

   מעבר אל מדיניות הארגון

2. בבורר הפרויקטים, בוחרים את הפרויקט שרוצים להגדיר לו את מדיניות הארגון.
3. לוחצים על Custom constraint (הגבלה מותאמת אישית).
4. בתיבה שם לתצוגה, מזינים שם שאנשים יכולים לקרוא למגבלה. השם הזה משמש בהודעות שגיאה, ואפשר להשתמש בו לצורך זיהוי וניפוי באגים. אל תשתמשו בפרטים אישיים מזהים (PII) או במידע אישי רגיש בשמות המוצגים, כי השם הזה עלול להיחשף בהודעות שגיאה. השדה הזה יכול להכיל עד 200 תווים.
5. בתיבה מזהה האילוץ, מזינים את השם שרוצים לתת לאילוץ המותאם אישית החדש. אילוץ מותאם אישית יכול להכיל רק אותיות (כולל אותיות גדולות וקטנות) או מספרים, למשל custom.disableGkeAutoUpgrade. השדה הזה יכול להכיל עד 70 תווים, לא כולל הקידומת (custom.), לדוגמה, organizations/123456789/customConstraints/custom. אל תכללו פרטים אישיים מזהים (PII) או מידע אישי רגיש במזהה האילוץ, כי הם עלולים להיחשף בהודעות שגיאה.
6. בתיבה Description, מזינים תיאור קריא לאנשים של האילוץ. התיאור הזה משמש כהודעת שגיאה כשמתבצעת הפרה של המדיניות. לכלול פרטים על הסיבה להפרת המדיניות ואיך לפתור אותה. אל תכללו בתיאור פרטים אישיים מזהים (PII) או מידע אישי רגיש, כי הם עלולים להיחשף בהודעות שגיאה. השדה הזה יכול להכיל עד 2,000 תווים.
7. בתיבה Resource type, בוחרים את השם של משאב REST‏ Google Cloud שמכיל את האובייקט והשדה שרוצים להגביל – לדוגמה, container.googleapis.com/NodePool. רוב סוגי המשאבים תומכים בעד 20 אילוצים מותאמים אישית. אם תנסו ליצור עוד אילוצים בהתאמה אישית, הפעולה תיכשל.
8. בקטע שיטת אכיפה, בוחרים אם לאכוף את ההגבלה על שיטת REST‏ CREATE או על השיטות CREATE ו-UPDATE. אם אוכפים את המגבלה באמצעות השיטה UPDATE על משאב שמפר את המגבלה, מדיניות הארגון חוסמת שינויים במשאב הזה, אלא אם השינוי פותר את ההפרה.

לא כל השירותים של Google Cloud תומכים בשתי השיטות. כדי לראות את השיטות הנתמכות לכל שירות, צריך לחפש את השירות בקטע שירותים נתמכים.

9. כדי להגדיר תנאי, לוחצים על Edit condition.
1. בחלונית Add condition, יוצרים תנאי CEL שמתייחס למשאב שירות נתמך, לדוגמה, resource.management.autoUpgrade == false. השדה הזה יכול להכיל עד 1,000 תווים. פרטים על השימוש ב-CEL זמינים במאמר בנושא Common Expression Language. מידע נוסף על משאבי השירות שאפשר להשתמש בהם באילוצים בהתאמה אישית זמין במאמר שירותים שתומכים באילוצים בהתאמה אישית.
2. לוחצים על Save.
10. בקטע פעולה, בוחרים אם לאשר או לדחות את השיטה שנבדקה אם התנאי מתקיים.

הפעולה deny (דחייה) פירושה שהפעולה ליצירה או לעדכון של המשאב נחסמת אם התנאי מחזיר את הערך true.

הפעולה allow (אישור) פירושה שהפעולה ליצירה או לעדכון של המשאב מותרת רק אם התנאי מחזיר את הערך true. כל מקרה אחר, מלבד אלה שמפורטים במפורש בתנאי, נחסם.

11. לוחצים על יצירת אילוץ.

אחרי שמזינים ערך בכל שדה, מופיעה משמאל הגדרת ה-YAML המקבילה למגבלה המותאמת אישית הזו.

gcloud

1. כדי ליצור אילוץ בהתאמה אישית, יוצרים קובץ YAML בפורמט הבא:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes: RESOURCE_NAME
methodTypes:
  - CREATE
- UPDATE 
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

מחליפים את מה שכתוב בשדות הבאים:

• ‫ORGANIZATION_ID: מזהה הארגון, למשל 123456789.
• ‫CONSTRAINT_NAME: השם שרוצים לתת לאילוץ המותאם אישית החדש. אילוץ מותאם אישית יכול להכיל רק אותיות (כולל אותיות רישיות וקטנות) או מספרים, למשל, custom.denyLineageProcess. השדה הזה יכול להכיל עד 70 תווים.
• ‫RESOURCE_NAME: השם המוגדר במלואו של המשאב Google Cloud שמכיל את האובייקט והשדה שרוצים להגביל. לדוגמה: datalineage.googleapis.com/Process.
• ‫CONDITION: תנאי CEL שנכתב על סמך ייצוג של משאב שירות נתמך. השדה הזה יכול להכיל עד 1,000 תווים. לדוגמה: "resource.name.contains('invalid_name')".

מידע נוסף על המשאבים שאפשר לכתוב תנאים לגביהם זמין במאמר משאבים נתמכים.

• ‫ACTION: הפעולה שיש לבצע אם התנאי condition מתקיים. הערכים האפשריים הם ALLOW ו-DENY.

פעולת ההרשאה פירושה שאם התנאי מקבל את הערך True, הפעולה ליצירה או לעדכון של המשאב מותרת. המשמעות היא שכל מקרה אחר, מלבד זה שמופיע במפורש בתנאי, ייחסם.

הפעולה deny (דחייה) פירושה שאם התנאי מחזיר את הערך True, הפעולה ליצירה או לעדכון של המשאב נחסמת.

• DISPLAY_NAME: שם קריא לאילוץ. השדה הזה יכול להכיל עד 200 תווים.
• ‫DESCRIPTION: תיאור ידידותי למשתמש של האילוץ שיוצג כהודעת שגיאה אם המדיניות תופר. השדה הזה יכול להכיל עד 2,000 תווים.
2. אחרי שיוצרים קובץ YAML לאילוץ חדש בהתאמה אישית, צריך להגדיר אותו כדי שיהיה זמין למדיניות הארגון בארגון שלכם. כדי להגדיר אילוץ בהתאמה אישית, משתמשים בפקודה gcloud org-policies set-custom-constraint:

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

מחליפים את CONSTRAINT_PATH בנתיב המלא לקובץ האילוצים המותאמים אישית. לדוגמה, /home/user/customconstraint.yaml.

אחרי שהפעולה הזו תושלם, ההגבלות המותאמות אישית יהיו זמינות כמדיניות ארגונית ברשימת Google Cloud מדיניות הארגון.

3. כדי לוודא שהאילוץ המותאם אישית קיים, משתמשים בפקודה gcloud org-policies list-custom-constraints:

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

מחליפים את ORGANIZATION_ID במזהה של משאב הארגון.

מידע נוסף זמין במאמר בנושא צפייה במדיניות הארגון.

אכיפה של מדיניות ארגון מותאמת אישית

כדי לאכוף אילוץ, יוצרים מדיניות ארגון שמפנה אליו, ואז מחילים את מדיניות הארגון הזו על משאב Google Cloud .

המסוף

1. במסוף Google Cloud , נכנסים לדף מדיניות הארגון.

   מעבר אל מדיניות הארגון

2. בתפריט לבחירת פרויקט, בוחרים את הפרויקט שרוצים להגדיר לו את מדיניות הארגון.
3. ברשימה בדף מדיניות הארגון, בוחרים את האילוץ כדי לראות את הדף פרטי המדיניות של האילוץ הזה.
4. כדי להגדיר את מדיניות הארגון למשאב הזה, לוחצים על ניהול מדיניות.
5. בדף עריכת מדיניות, בוחרים באפשרות במקום המדיניות של המשאב הראשי.
6. לוחצים על Add a rule.
7. בקטע Enforcement (אכיפה), בוחרים אם מדיניות הארגון הזו נאכפת או לא.
8. אופציונלי: כדי להגדיר את מדיניות הארגון כתלויה בתג, לוחצים על הוספת תנאי. הערה: אם מוסיפים כלל מותנה למדיניות ארגון, צריך להוסיף לפחות כלל לא מותנה אחד, אחרת אי אפשר לשמור את המדיניות. מידע נוסף זמין במאמר הגדרת מדיניות ארגונית באמצעות תגים.
9. לוחצים על בדיקת שינויים כדי לדמות את ההשפעה של מדיניות הארגון. מידע נוסף זמין במאמר בדיקת שינויים במדיניות הארגון באמצעות סימולטור המדיניות.
10. כדי לאכוף את המדיניות של הארגון במצב הרצת בדיקה, לוחצים על הגדרת המדיניות להרצת בדיקה. מידע נוסף מופיע במאמר יצירת מדיניות ארגונית במצב הרצה יבשה.
11. אחרי שמוודאים שמדיניות הארגון במצב הרצה יבשה פועלת כמו שרוצים, לוחצים על הגדרת מדיניות כדי להגדיר את המדיניות הפעילה.

gcloud

1. כדי ליצור מדיניות ארגונית עם כללים בוליאניים, יוצרים קובץ YAML של מדיניות שמפנה לאילוץ:

name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
spec:
  rules:
  - enforce: true

dryRunSpec:
  rules:
  - enforce: true

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: הפרויקט שבו רוצים לאכוף את האילוץ.
• CONSTRAINT_NAME: השם שהגדרתם לאילוץ המותאם אישית. לדוגמה, custom.denyLineageProcess.
2. כדי לאכוף את מדיניות הארגון במצב הרצה יבשה, מריצים את הפקודה הבאה עם הדגל dryRunSpec:

gcloud org-policies set-policy POLICY_PATH --update-mask=dryRunSpec

מחליפים את POLICY_PATH בנתיב המלא לקובץ ה-YAML של מדיניות הארגון. יכולות לעבור עד 15 דקות עד שהמדיניות תיכנס לתוקף.

3. אחרי שמוודאים שמדיניות הארגון במצב הרצה יבשה פועלת כמו שרוצים, מגדירים את המדיניות הפעילה באמצעות הפקודה org-policies set-policy והדגל spec:

gcloud org-policies set-policy POLICY_PATH --update-mask=spec

מחליפים את POLICY_PATH בנתיב המלא לקובץ ה-YAML של מדיניות הארגון. יכולות לעבור עד 15 דקות עד שהמדיניות תיכנס לתוקף.

בדיקה של מדיניות הארגון המותאמת אישית

בקטע הזה מוסבר איך לבדוק אילוץ של מדיניות הארגון שמגביל את המשתמשים ליצירת תהליך של שושלת נתונים עם שם שמכיל את הטקסט invalid_name.

כדי לבדוק את האילוץ המותאם אישית הזה, מבצעים את הפעולות הבאות:

1. יוצרים פרויקט חדש, כמו שמתואר בקטע לפני שמתחילים.

2. מעתיקים את האילוץ הבא לקובץ YAML:

     name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcess
     resourceTypes: datalineage.googleapis.com/Process
     methodTypes:
       - CREATE
       - UPDATE
     condition:
       "resource.name.contains('invalid_name')"
     actionType: DENY
     displayName: Do not allow data lineage process with 'invalid_name' to be created.
   

   מחליפים את ORGANIZATION_ID במזהה המספרי שלGoogle Cloud הארגון.

3. מגדירים את האילוץ המותאם אישית ואוכפים אותו בפרויקט שיצרתם כדי לבדוק את האילוץ המותאם אישית של מדיניות הארגון.

4. יוצרים תהליך עם השם שכללתם באילוץ המותאם אישית.

   curl -s -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application.json" \
   "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/processes" \
   -d '{"name":"projects/PROJECT_ID/locations/LOCATION/processes/invalid_name"}'

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט שבו נוצר התהליך. היא צריכה להיות באותו ארגון שבו מוגבלת האילוץ.
   • ‫LOCATION: Google Cloud האזור שבו נוצר התהליך.

   הפלט שיתקבל:

   Operation denied by org policy on resource 'projects/PROJECT_ID/locations/LOCATION': ["customConstraints/custom.denyLineageProcess"]
   

משאבים ופעולות נתמכים של שושלת נתונים

השדות הבאים של אילוצים מותאמים אישית זמינים לשימוש כשיוצרים או מעדכנים תהליך של שרשרת מקורות נתונים:

• resource.name
• resource.displayName
• resource.origin.name
• resource.origin.sourceType

האילוצים המותאמים אישית נבדקים בשיטות הבאות:

• CreateProcess
• UpdateProcess
• ProcessopenLineageRunEvent

דוגמאות למדיניות ארגון מותאמת אישית לתרחישי שימוש נפוצים

בטבלה הבאה מפורט התחביר של כמה אילוצים בהתאמה אישית לתרחישי שימוש נפוצים:

מידע נוסף על פקודות מאקרו של CEL שזמינות לשימוש בתנאים של אילוצים מותאמים אישית זמין במאמר בנושא Common Expression Language.

תרחיש לדוגמה	תחביר של אילוצים
השבתת היצירה של תהליכי שושלת נתונים	name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation resourceTypes: - datalineage.googleapis.com/Process methodTypes: - CREATE condition: "True" actionType: DENY displayName: Deny creation of all data lineage processes.
השבתה של יצירת תהליכי שושלת נתונים על ידי BigQuery או Dataproc	name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation resourceTypes: - datalineage.googleapis.com/Process methodTypes: - CREATE condition: "resource.origin.sourceType == 'BIGQUERY' || resource.origin.sourceType == 'DATAPROC'" actionType: DENY displayName: Deny data lineage processes created by BigQuery or Dataproc.
השבתה של תהליכי שושלת נתונים עם השם שצוין	name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation resourceTypes: - datalineage.googleapis.com/Process methodTypes: - CREATE - UPDATE condition: "resource.name.contains('RESTRICTED_NAME')" actionType: DENY displayName: Deny data lineage processes whose name contains RESTRICTED_NAME.

המאמרים הבאים

• מידע נוסף על מדיניות הארגון זמין במאמר מבוא לשירות של מדיניות הארגון.
• מידע נוסף על יצירה וניהול של מדיניות הארגון
• כאן אפשר לראות את הרשימה המלאה של מגבלות מוגדרות מראש של מדיניות הארגון.