רישום ביומן הביקורת של Data Lineage API

במאמר הזה מפורטות השיטות שנבדקות ב-Data Lineage API.שירותי Google Cloud יוצרים יומני ביקורת שבהם מתועדים אירועי גישה למשאבי Google Cloud ופעילויות אדמין שנעשות בהם. אתם יכולים לקרוא מידע נוסף על יומני הביקורת של Cloud במאמרים האלה:

• הסוגים של יומני הביקורת
• המבנה של רשומות ביומני הביקורת
• שמירה וניתוב של יומני ביקורת
• מחירון מקוצר של Cloud Logging
• הפעלת יומני ביקורת של גישה לנתונים

שם השירות

כדי להציג את יומני הביקורת של Data Lineage API:

1. נכנסים לדף Logs Explorer במסוף Google Cloud :

   כניסה לדף Logs Explorer

2. מעתיקים את השאילתה הבאה לשדה Query ב-Logs Explorer ולוחצים על Run query.

       protoPayload.serviceName="datalineage.googleapis.com"
     

קודי Method לפי סוג ההרשאה

לכל הרשאה ב-IAM יש מאפיין type עם enum שיכול להיות אחד מארבעת הערכים הבאים: ADMIN_READ,‏ ADMIN_WRITE,‏ DATA_READ או DATA_WRITE. כשקוראים ל-method, במסגרת Data Lineage API נוצר יומן ביקורת שהקטגוריה שלו תלויה במאפיין type של ההרשאה שנדרשת לביצוע ה-method. ה-methods שבשבילן צריך הרשאה ב-IAM עם הערכים DATA_READ‏, DATA_WRITE או ADMIN_READ במאפיין type יוצרות יומני ביקורת של Data Access. ה-methods שבשבילן צריך הרשאה ב-IAM עם הערכים ADMIN_WRITE במאפיין type יוצרות יומני ביקורת של Admin Activity.

ה-methods של ה-API ברשימה הבאה שמסומנות ב-(LRO) הן פעולות ממושכות. בדרך כלל, ה-methods האלה יוצרות שתי רשומות ביומן הביקורת: אחת כשהפעולה מתחילה ואחת כשהיא מסתיימת. אתם יכולים לקרוא מידע נוסף במאמר בנושא יומני ביקורת של פעולות ממושכות.

סוג ההרשאה	Methods
ADMIN_READ	google.longrunning.Operations.GetOperation
DATA_READ	google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.GetConfig google.cloud.datacatalog.lineage.v1.Lineage.BatchSearchLinkProcesses google.cloud.datacatalog.lineage.v1.Lineage.GetLineageEvent google.cloud.datacatalog.lineage.v1.Lineage.GetProcess google.cloud.datacatalog.lineage.v1.Lineage.GetRun google.cloud.datacatalog.lineage.v1.Lineage.ListLineageEvents google.cloud.datacatalog.lineage.v1.Lineage.ListProcesses google.cloud.datacatalog.lineage.v1.Lineage.ListRuns google.cloud.datacatalog.lineage.v1.Lineage.SearchLineageStreaming google.cloud.datacatalog.lineage.v1.Lineage.SearchLinks
DATA_WRITE	google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.UpdateConfig google.cloud.datacatalog.lineage.v1.Lineage.CreateLineageEvent google.cloud.datacatalog.lineage.v1.Lineage.CreateProcess google.cloud.datacatalog.lineage.v1.Lineage.CreateRun google.cloud.datacatalog.lineage.v1.Lineage.DeleteLineageEvent google.cloud.datacatalog.lineage.v1.Lineage.DeleteProcess (LRO) google.cloud.datacatalog.lineage.v1.Lineage.DeleteRun (LRO) google.cloud.datacatalog.lineage.v1.Lineage.ProcessOpenLineageRunEvent google.cloud.datacatalog.lineage.v1.Lineage.UpdateProcess google.cloud.datacatalog.lineage.v1.Lineage.UpdateRun

יומני ביקורת של ממשק ה-API

במאמר בנושא ניהול הזהויות והרשאות הגישה (IAM) ל-Data Lineage API מוסבר איך מתבצעת הבדיקה של ההרשאות לכל method ואילו הרשאות נבדקות.

google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService

יומני הביקורת הבאים משויכים ל-methods ששייכות ל-google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.

GetConfig

• Method:‏ google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.GetConfig
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.configs.get - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.GetConfig"
  

UpdateConfig

• Method:‏ google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.UpdateConfig
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.configs.update - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.configmanagement.v1.ConfigManagementService.UpdateConfig"
  

google.cloud.datacatalog.lineage.v1.Lineage

יומני הביקורת הבאים משויכים ל-methods ששייכות ל-google.cloud.datacatalog.lineage.v1.Lineage.

BatchSearchLinkProcesses

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.BatchSearchLinkProcesses
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.locations.searchLinks - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.BatchSearchLinkProcesses"
  

CreateLineageEvent

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.CreateLineageEvent
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.events.create - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.CreateLineageEvent"
  

CreateProcess

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.CreateProcess
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.processes.create - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.CreateProcess"
  

CreateRun

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.CreateRun
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.runs.create - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.CreateRun"
  

DeleteLineageEvent

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.DeleteLineageEvent
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.events.delete - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.DeleteLineageEvent"
  

DeleteProcess

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.DeleteProcess
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.processes.delete - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: פעולה ממושכת
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.DeleteProcess"
  

DeleteRun

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.DeleteRun
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.runs.delete - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: פעולה ממושכת
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.DeleteRun"
  

GetLineageEvent

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.GetLineageEvent
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.events.get - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.GetLineageEvent"
  

GetProcess

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.GetProcess
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.processes.get - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.GetProcess"
  

GetRun

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.GetRun
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.runs.get - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.GetRun"
  

ListLineageEvents

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.ListLineageEvents
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.events.list - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.ListLineageEvents"
  

ListProcesses

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.ListProcesses
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.processes.list - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.ListProcesses"
  

ListRuns

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.ListRuns
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.runs.list - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.ListRuns"
  

ProcessOpenLineageRunEvent

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.ProcessOpenLineageRunEvent
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.locations.processOpenLineageMessage - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.ProcessOpenLineageRunEvent"
  

SearchLineageStreaming

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.SearchLineageStreaming
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.locations.searchLinks - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: סטרימינג RPC
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.SearchLineageStreaming"
  

SearchLinks

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.SearchLinks
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.locations.searchLinks - DATA_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.SearchLinks"
  

UpdateProcess

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.UpdateProcess
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.processes.update - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.UpdateProcess"
  

UpdateRun

• Method:‏ google.cloud.datacatalog.lineage.v1.Lineage.UpdateRun
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.runs.update - DATA_WRITE
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.cloud.datacatalog.lineage.v1.Lineage.UpdateRun"
  

google.longrunning.Operations

יומני הביקורת הבאים משויכים ל-methods ששייכות ל-google.longrunning.Operations.

GetOperation

• Method:‏ google.longrunning.Operations.GetOperation
  
• סוג יומן הביקורת: גישה לנתונים
  
• הרשאות:
  • datalineage.operations.get - ADMIN_READ
• ה-method היא פעולה ממושכת או פעולת סטרימינג: לא.
  
• סינון לפי ה-method: ‏ protoPayload.methodName="google.longrunning.Operations.GetOperation"
  

אילו methods לא יוצרות יומני ביקורת

יכולות להיות כמה סיבות שב-method מסוימת לא נוצרים יומני ביקורת:

• מדובר ב-method שיש בה נפח גבוה של יומנים, שיצירה שלהם עלולה לגרור עלויות גבוהות של אחסון ויצירה.
• הערך של הביקורת נמוך.
• כבר יש יומן ביקורת או יומן פלטפורמה אחרים שמכסים את ה-method.

ה-methods הבאות לא יוצרות יומני ביקורת:

• google.longrunning.Operations.CancelOperation
• google.longrunning.Operations.DeleteOperation
• google.longrunning.Operations.ListOperations
• google.longrunning.Operations.WaitOperation