הפעלת יומני ביקורת של גישה לנתונים

כדי לקבל יומני ביקורת על השימוש במודלים הגנרטיביים ובנקודות הקצה של המודלים, צריך להפעיל את יומני הביקורת של הגישה לנתונים ב-Gemini Enterprise Agent Platform. יומני הביקורת של Data Access כוללים פעולות ADMIN_READ שקוראות מטא-נתונים או מידע על הגדרות, וגם פעולות DATA_READ ו-DATA_WRITE שקוראות או כותבות נתונים שהמשתמשים סיפקו.

אחרי שמפעילים את יומני הביקורת של הגישה לנתונים ב-Agent Platform, צריך להקצות את התפקיד "צפייה ביומנים פרטיים" (roles/logging.privateLogViewer) כדי לצפות בסטרימינג של היומן data_access (projects/PROJECT_ID/logs/cloudaudit.googleapis.com%2Fdata_access) ב-Cloud Logging במסוף Google Cloud .

הוראות להפעלה ולצפייה ביומני בקרת הרשאות גישה לנתונים מפורטות במאמר מידע על רישום ביומן ביקורת של Agent Platform.

פעולות מבוקרות של מודלים גנרטיביים

כשמפעילים יומני ביקורת של DATA_READ ב-aiplatform.googleapis.com, Agent Platform מתעדת רשומות ביומן הביקורת של בקרת הרשאות גישה לנתונים לפעולות הבאות של מודלים גנרטיביים וחיזויים, גם במודלים של בעלי תוכן דיגיטלי (publishers.models.*) וגם בנקודות קצה פרוסות (endpoints.*):

  • יצירת תוכן ושיחות: generateContent,‏ streamGenerateContent ו-chatCompletions

  • הטמעות: embedContent ו-batchEmbedContents

  • ספירת טוקנים: countTokens ו-computeTokens

  • חיזוי והסבר אונליין: predict,‏ rawPredict,‏ streamRawPredict,‏ directPredict,‏ directRawPredict,‏ streamDirectPredict,‏ streamDirectRawPredict,‏ serverStreamingPredict,‏ predictLongRunning,‏ fetchPredictOperation ו-explain

הרשימה המלאה של השיטות שנבדקות בכל הקטגוריות מופיעה במאמר מידע על רישום ביומן הביקורת של Agent Platform.

אימות ושיוך (Attribution) של המתקשר

שיטת האימות שבה משתמשת האפליקציה קובעת איך יתועדו ביומני הביקורת של DATA_READ זהות מבצע הקריאה (protoPayload.authenticationInfo.principalEmail) וכתובת ה-IP שלו (protoPayload.requestMetadata.callerIp):

  • חשבונות משתמשים של Application Default Credentials‏ (ADC) וניהול זהויות והרשאות גישה (IAM): בבקשות שמאומתות באמצעות ADC, פרטי כניסה של משתמשים או חשבונות שירות ספציפיים לעומסי עבודה, כתובת ה-IP של מבצע הקריאה (callerIp) וחשבון המשתמש המאומת של מבצע הקריאה (principalEmail) נרשמים ביומני הביקורת של DATA_READ. השתמשו ב-ADC כשאתם צריכים שיוך ביקורת לכל משתמש או לכל עומס עבודה בסביבת הייצור.

  • מפתחות API רגילים של Google Cloud : מפתחות API רגילים של Google Cloud מאמתים קריאות ל-API באמצעות חשבון שירות מאוגד אחד. ביומני הביקורת של DATA_READ מתועדת כתובת ה-IP של מבצע הקריאה (callerIp), אבל principalEmail משויך לחשבון השירות המאוגד היחיד הזה לכל בקשה שבוצעה באמצעות מפתח ה-API, ולא למשתמשים או לעומסי עבודה ספציפיים.

  • מפתחות API במצב אקספרס: בקשות שנשלחות במצב אקספרס מטרגטות נקודות קצה (endpoints) ללא פרויקט, ולא יוצרות יומני ביקורת של DATA_READ ב-Logging שנגישים ללקוחות.

השוואה בין יומני ביקורת ליומני הסקה

ב-Agent Platform יש כמה מנגנוני רישום ביומן להסקת מודלים. בטבלה הבאה מושווים יומני הביקורת של גישה לנתונים (DATA_READ) עם אפשרויות אחרות של רישום הסקות ביומן:

תכונת הרישום ביומן יעד שדות מוקלטים מטענים ייעודיים (payloads) של הנחיות ותשובות כתובת ה-IP של המתקשר וחשבון המשתמש ב-IAM
יומני ביקורת של גישה לנתונים (DATA_READ) רישום ביומן (cloudaudit.googleapis.com%2Fdata_access) שם ה-method של ה-API, מודל היעד או משאב נקודת הקצה, והמטא-נתונים של הבקשה לא מוקלטת מתעד את callerIp ו-principalEmail (או את חשבון השירות המקושר למפתחות API רגילים)
יומני מטא-נתונים של בקשות להסקת מסקנות רישום ביומן (aiplatform.googleapis.com%2Finference_request) מספר הטוקנים (usageMetadata), זמן האחזור של הבקשה (requestDuration), אפשרות הצריכה (trafficType) וכותרות בהתאמה אישית (httpHeaders) לא מוקלטת מתעד את חשבון השירות (principal, אם הוא זמין), לא מתעד את callerIp
רישום ביומן של בקשות ותגובות טבלה ב-BigQuery דגימה של בקשות להסקת מסקנות, תשובות, ספירות של טוקנים ומטא-נתונים של זמן אחזור מתעד את המטען הייעודי (payload) של full_request ו-full_response לא מקליט את callerIp או את principalEmail
יומני גישה וקונטיינרים של הסקת מסקנות אונליין רישום ביומן (prediction_access ו-prediction_container) סטטוס הגישה לנקודת הקצה, זמן האחזור וסטרימינג של קונטיינרים מסוג stdout ו-stderr למודלים שאומנו בהתאמה אישית ולמודלים של AutoML פלט של מאגר בלבד לא מקליט callerIp

המאמרים הבאים

סקירה כללית

איך מכווננים מודל באמצעות מערך נתונים לאימון שמכיל קבוצה של דוגמאות למשימות ספציפיות במורד הזרם.

סקירה כללית

כאן מפורטות חלק מהמגבלות של AI גנרטיבי ושיטות מומלצות לשימוש ב-AI גנרטיבי.