רישום ביומן הביקורת של Data Lineage API

בעזרת יומני הביקורת של Cloud ל-Data Lineage API ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog), אתם יכולים לתעד פעולות ניהול ופעולות גישה לנתונים במשאבים של שושלת הנתונים. אתם יכולים להשתמש ביומנים האלה כדי לעקוב אחרי שינויים בהגדרות של שושלת היוחסין, לעקוב אחרי פעילות בתהליכים, בהרצות ובאירועים, ולוודא את האבטחה והתאימות בפרויקטים שלכם ב- Google Cloud . למידע נוסף על שושלת נתונים, קראו את המאמר מידע על שושלת נתונים.

אתם יכולים לקרוא מידע נוסף על יומני הביקורת של Cloud במאמרים האלה:

• הסוגים של יומני הביקורת
• המבנה של רשומות ביומני הביקורת
• שמירה וניתוב של יומני ביקורת
• מחירון מקוצר של Cloud Logging
• הפעלת יומני ביקורת של גישה לנתונים

שם השירות

כדי לצפות ביומני הביקורת של Data Lineage API:

1. במסוף Google Cloud , נכנסים לדף Logs Explorer:

   כניסה לדף Logs Explorer

2. מעתיקים את השאילתה הבאה ומדביקים אותה בשדה Query ב-Logs Explorer, ואז לוחצים על Run query.

       protoPayload.serviceName="datalineage.googleapis.com"
     

קודי Method לפי סוג ההרשאה

לכל הרשאה ב-IAM יש מאפיין type עם enum שיכול להיות אחד מארבעת הערכים הבאים: ADMIN_READ,‏ ADMIN_WRITE,‏ DATA_READ או DATA_WRITE. כשקוראים ל-method, נוצר יומן ביקורת של Data Lineage API שהקטגוריה שלו תלויה במאפיין type של ההרשאה שנדרשת לביצוע ה-method. ה-methods שבשבילן צריך הרשאה ב-IAM עם הערכים DATA_READ‏, DATA_WRITE או ADMIN_READ במאפיין type יוצרות יומני ביקורת של Data Access. ה-methods שבשבילן צריך הרשאה ב-IAM עם הערכים ADMIN_WRITE במאפיין type יוצרות יומני ביקורת של Admin Activity.

ה-methods של ה-API ברשימה הבאה שמסומנות ב-(LRO) הן פעולות ממושכות. בדרך כלל, ה-methods האלה יוצרות שתי רשומות ביומן הביקורת: אחת כשהפעולה מתחילה ואחת כשהיא מסתיימת. אתם יכולים לקרוא מידע נוסף במאמר בנושא יומני ביקורת של פעולות ממושכות.

סוג ההרשאה	Methods
ADMIN_READ	google.longrunning.Operations.GetOperation
DATA_READ	google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.GetConfig google.cloud.datacatalog.lineage.v1.Lineage.BatchSearchLinkProcesses google.cloud.datacatalog.lineage.v1.Lineage.GetLineageEvent google.cloud.datacatalog.lineage.v1.Lineage.GetProcess google.cloud.datacatalog.lineage.v1.Lineage.GetRun google.cloud.datacatalog.lineage.v1.Lineage.ListLineageEvents google.cloud.datacatalog.lineage.v1.Lineage.ListProcesses google.cloud.datacatalog.lineage.v1.Lineage.ListRuns google.cloud.datacatalog.lineage.v1.Lineage.SearchLineageStreaming google.cloud.datacatalog.lineage.v1.Lineage.SearchLinks
DATA_WRITE	google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.UpdateConfig google.cloud.datacatalog.lineage.v1.Lineage.CreateLineageEvent google.cloud.datacatalog.lineage.v1.Lineage.CreateProcess google.cloud.datacatalog.lineage.v1.Lineage.CreateRun google.cloud.datacatalog.lineage.v1.Lineage.DeleteLineageEvent google.cloud.datacatalog.lineage.v1.Lineage.DeleteProcess (LRO) google.cloud.datacatalog.lineage.v1.Lineage.DeleteRun (LRO) google.cloud.datacatalog.lineage.v1.Lineage.ProcessOpenLineageRunEvent google.cloud.datacatalog.lineage.v1.Lineage.UpdateProcess google.cloud.datacatalog.lineage.v1.Lineage.UpdateRun

יומני ביקורת של ממשק ה-API

במאמר העזרה בנושא ניהול הזהויות והרשאות הגישה (IAM) ל-Data Lineage API מוסבר איך מתבצעת הבדיקה של ההרשאות לכל method ואילו הרשאות נבדקות.

google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService

יומני הביקורת הבאים משויכים ל-methods ששייכות ל-google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.

GetConfig

• Method:‏ google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.GetConfig
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.configs.get - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.GetConfig"
  

UpdateConfig

• Method:‏ google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.UpdateConfig
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.configs.update - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.UpdateConfig"
  

google.cloud.datacatalog.lineage.v1.Lineage

יומני הביקורת הבאים משויכים ל-methods ששייכות ל-google.cloud.datacatalog.lineage.v1.Lineage.

BatchSearchLinkProcesses

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.BatchSearchLinkProcesses
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.locations.searchLinks - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.BatchSearchLinkProcesses"
  

CreateLineageEvent

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.CreateLineageEvent
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.events.create - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.CreateLineageEvent"
  

CreateProcess

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.CreateProcess
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.processes.create - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.CreateProcess"
  

CreateRun

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.CreateRun
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.runs.create - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.CreateRun"
  

DeleteLineageEvent

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.DeleteLineageEvent
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.events.delete - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.DeleteLineageEvent"
  

DeleteProcess

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.DeleteProcess
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.processes.delete - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: פעולה ממושכת
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.DeleteProcess"
  

DeleteRun

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.DeleteRun
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.runs.delete - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: פעולה ממושכת
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.DeleteRun"
  

GetLineageEvent

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.GetLineageEvent
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.events.get - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.GetLineageEvent"
  

GetProcess

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.GetProcess
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.processes.get - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.GetProcess"
  

GetRun

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.GetRun
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.runs.get - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.GetRun"
  

ListLineageEvents

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.ListLineageEvents
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.events.list - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.ListLineageEvents"
  

ListProcesses

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.ListProcesses
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.processes.list - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.ListProcesses"
  

ListRuns

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.ListRuns
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.runs.list - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.ListRuns"
  

ProcessOpenLineageRunEvent

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.ProcessOpenLineageRunEvent
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.locations.processOpenLineageMessage - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.ProcessOpenLineageRunEvent"
  

SearchLineageStreaming

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.SearchLineageStreaming
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.locations.searchLinks - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: סטרימינג של RPC
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.SearchLineageStreaming"
  

SearchLinks

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.SearchLinks
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.locations.searchLinks - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.SearchLinks"
  

UpdateProcess

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.UpdateProcess
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.processes.update - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.UpdateProcess"
  

UpdateRun

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.UpdateRun
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.runs.update - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.UpdateRun"
  

google.longrunning.Operations

יומני הביקורת הבאים משויכים ל-methods ששייכות ל-google.longrunning.Operations.

GetOperation

• Method:‏ google.longrunning.Operations.GetOperation
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.operations.get - ADMIN_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.longrunning.Operations.GetOperation"
  

אילו methods לא יוצרות יומני ביקורת

יכולות להיות כמה סיבות שב-method מסוימת לא נוצרים יומני ביקורת:

• מדובר ב-method שיש בה נפח גבוה של יומנים, שיצירה שלהם עלולה לגרור עלויות גבוהות של אחסון ויצירה.
• הערך של הביקורת נמוך.
• כבר יש יומן ביקורת או יומן פלטפורמה אחרים שמכסים את ה-method.

ה-methods הבאות לא יוצרות יומני ביקורת:

• google.longrunning.Operations.CancelOperation
• google.longrunning.Operations.DeleteOperation
• google.longrunning.Operations.ListOperations
• google.longrunning.Operations.WaitOperation