‫Cloud Logging ל-Storage Transfer Service

בדף הזה מוסבר איך להגדיר את Cloud Logging כדי לראות את היומנים של Storage Transfer Service.

‫Cloud Logging for Storage Transfer Service נתמך בכל ההעברות. FIND לא מתבצע רישום של פעולות בהעברות שמבוססות על סוכנים.

בנוסף, אפשר להגדיר יומנים של העברת קבצים במערכת הקבצים.

לפני שמתחילים

לפני שמתחילים, חשוב לוודא שיש לכם גישה ל-Cloud Logging. מומלץ להשתמש בתפקיד Logs Viewer (צפייה ביומנים) (roles/logging.viewer) של ניהול זהויות והרשאות גישה. מידע נוסף על גישה ל-Logging זמין במאמר בקרת גישה באמצעות IAM.

בהמשך מוסבר איך לאמת את הגישה ל-IAM ולהעניק אותה:

פעולות שאפשר לרשום ביומן

אפשר לרשום ביומן את הפעולות הבאות:

  • ‫FIND: חיפוש עבודה לביצוע, כמו הצגת רשימה של קבצים בספרייה, הצגת רשימה של אובייקטים בקטגוריה או הצגת רשימה של תיקיות מנוהלות בקטגוריה. אין תמיכה בהעברות מבוססות-סוכן.
  • ‫COPY: העתקת קבצים או אובייקטים ל-Cloud Storage.
  • ‫DELETE: מחיקת קבצים או אובייקטים במקור או ביעד. בהעברות בין שתי מערכות קבצים, נרשמת גם מחיקה של קבצים מ-bucket המתווך של Cloud Storage.

מצבים שאפשר לרשום ביומן

לכל פעולה, אפשר לבחור לרשום ביומן מצב אחד או יותר מהמצבים הבאים:

  • ‫SUCCEEDED: הפעולה בוצעה בהצלחה.
  • ‫FAILED: הפעולה נכשלה.
  • ‫SKIPPED: רלוונטי רק לפעולת ההעתקה, ונתמך רק במשימות העברה מבוססות-סוכן. חובה להגדיר את הערך באמצעות gcloud או API בארכיטקטורת REST. המשמעות של הסטטוס הזה היא שההעתקה נדלגה. השגיאה הזו מתרחשת כשהקובץ כבר קיים ביעד, ועבודת ההעברה מוגדרת להתעלמות מקבצים קיימים.

הפעלת רישום ביומן

כדי להפעיל את הרישום ביומן, מציינים את הפעולות והמצבים שרוצים לרשום.

‫CLI של gcloud

כשיוצרים משימת העברה באמצעות gcloud transfer jobs create, משתמשים בדגלים הבאים כדי להפעיל רישום ביומן:

gcloud transfer jobs create SOURCE DESTINATION \
  --log-actions=copy,delete,find \
  --log-action-states=succeeded,failed,skipped

צריך לציין לפחות ערך אחד לכל דגל.

REST

כדי ליצור הגדרת רישום ביומן, משתמשים בפקודה transferJobs.create עם LoggingConfig:

{
  "name":"transferJobs/myFirstTransfer",
  "status": "ENABLED",
  "projectId": "test-id-001",
  "loggingConfig": {
     "logActions": ["FIND", "DELETE", "COPY"],
     "logActionStates": ["SUCCEEDED", "FAILED", "SKIPPED"], #SKIPPED is only supported for agent-based transfers
  },
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "awsAccessKey": {
              "accessKeyId": "AWS_ACCESS_KEY_ID",
              "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
           "bucketName": "destination_bucket",
           "path": "foo/bar/"
      },
   }
}

משנים את loggingConfig כך שיכלול את logActions הספציפי ואת logActionStates לרישום ביומן. לדוגמה, כדי לתעד ביומן מקרים שבהם פעולות העתקה וחיפוש נכשלות, צריך לספק את loggingConfig הבא:

"loggingConfig": {
  "logActions": ["COPY", "FIND"],
  "logActionStates": ["FAILED"],
}

עדכון הגדרות הרישום ביומן

‫CLI של gcloud

כדי לעדכן את הגדרות הרישום ביומן של משימה קיימת, משתמשים בדגלים המתאימים עם הפקודה gcloud transfer jobs update:

gcloud transfer jobs update NAME \
  --log-actions=copy,delete,find \
  --log-action-states=succeeded,failed,skipped

כדי להשבית את הרישום ביומן עבור המשימה הזו, מציינים --clear-log-config:

gcloud transfer jobs update NAME --clear-log-config

REST

כדי לעדכן את הגדרת הרישום ביומן של משימת העברה קיימת, משתמשים בפקודה transferJobs.patch עם LoggingConfig:

{
  "projectId": "test-id-001",
  "transferJob": {
    "loggingConfig": {
       "logActions": ["FIND", "DELETE", "COPY"],
       "logActionStates": ["SUCCEEDED", "FAILED", "SKIPPED"], #SKIPPED is only supported for agent-based transfers
    },
  },
  "updateTransferJobFieldMask": "loggingConfig"
}

השדה updateTransferJobFieldMask מציין את השדה שמתעדכן בבקשה הזו, והוא שדה חובה.

כדי להשבית את הרישום ביומן עבור העבודה הזו, צריך לשלוח loggingConfig עם רשימות ריקות עבור logActions ו-logActionStates:

{
  "projectId": "test-id-001",
  "transferJob": {
    "loggingConfig": {
       "logActions": [],
       "logActionStates": [],
    },
  },
  "updateTransferJobFieldMask": "loggingConfig"
}

צפייה ביומנים

כדי לראות את יומני ההעברה:

מסוף Google Cloud

  1. עוברים לתפריט הניווט של Google Cloud‏ ובוחרים באפשרות Logging > Logs Explorer :<br\></br\>

    כניסה לדף Logs Explorer

  2. בוחרים פרויקט Google Cloud .

  3. בתפריט שדרוג, עוברים מכלי הצפייה ביומנים (גרסה קודמת) אל Logs Explorer.

  4. כדי לסנן את היומנים כך שיוצגו רק רשומות של Storage Transfer Service, מקלידים storage_transfer_job בשדה השאילתה ולוחצים על Run query.

  5. בחלונית Query results, לוחצים על Edit time כדי לשנות את התקופה שבה רוצים לקבל תוצאות.

מידע נוסף על השימוש ב-Logs Explorer זמין במאמר שימוש ב-Logs Explorer.

‫CLI של gcloud

כדי להשתמש ב-CLI של gcloud כדי לחפש יומנים של Storage Transfer Service, משתמשים בפקודה gcloud logging read.

מציינים מסנן כדי להגביל את התוצאות ליומנים של Storage Transfer Service.

gcloud logging read "resource.type=storage_transfer_job"

Cloud Logging API

משתמשים ב-method ‏entries.list של Cloud Logging API.

כדי לסנן את התוצאות כך שיכללו רק רשומות שקשורות ל-Storage Transfer Service, משתמשים בשדה filter. למטה מופיעה דוגמה לאובייקט בקשת JSON.

{
"resourceNames":
  [
    "projects/my-project-name"
  ],
  "orderBy": "timestamp desc",
  "filter": "resource.type=\"storage_transfer_job\""
}

הפורמט של יומן ההעברה

בקטע הבא מתוארים השדות ביומני הרישום של Storage Transfer Service.

כל השדות הספציפיים ל-Storage Transfer Service נמצאים באובייקט jsonPayload.

FIND פעולות 

{
  "jsonPayload": {
    "@type": "type.googleapis.com/google.storagetransfer.logging.TransferActivityLog",
    "action": "FIND",
    "completeTime": "2021-12-16T18:58:49.344509695Z",
    "destinationContainer": {
      "gcsBucket": {
        "bucket": "my-bucket-2",
      },
      "type": "GCS",
    },
    "operation": "transferOperations/transferJobs-7876027868280507149--3019866490856027148",
    "sourceContainer": {
      "gcsBucket": {
        "bucket": "my-bucket-1"
      },
      "type": "GCS"
    },
    "status": {
      "statusCode": "OK"
    }
  }
}

פעולות לגבי COPY וDELETE

{
  "jsonPayload": {
    "@type": "type.googleapis.com/google.storagetransfer.logging.TransferActivityLog",
    "action": "COPY",
    "completeTime": "2021-12-16T18:59:00.510509049Z",
    "destinationObject": {
      "gcsObject": {
        "bucket": "my-bucket-2",
        "objectKey": "README.md"
      },
      "type": "GCS",
    },
    "operation": "transferOperations/transferJobs-7876027868280507149--3019866490856027148",
    "sourceObject": {
      "gcsObject": {
        "bucket": "my-bucket-1",
        "lastModifiedTime": "2021-12-07T16:41:09.456Z",
        "md5": "WgnCOIdfCXNTUDpQJSKb2w==",
        "objectKey": "README.md",
      },
      "type": "GCS",
    },
    "status": {
      "statusCode": "OK"
    }
  }
}
שדה היומן תיאור
@type הערך הוא תמיד type.googleapis.com/google.storagetransfer.logging.TransferActivityLog.
action

תיאור הפעולה של המשימה הספציפית הזו. אחת מהאפשרויות הבאות:

  • ‫FIND: חיפוש עבודה לביצוע, כמו הצגת רשימה של קבצים בספרייה או הצגת רשימה של אובייקטים בקטגוריה. לא מדווח על העברות שמבוססות על נציגים.
  • ‫COPY: העתקת קבצים או אובייקטים ל-Cloud Storage.
  • ‫DELETE: מחיקת קבצים או אובייקטים במקור, ביעד או בקטגוריית ביניים.
findAction

מציין אם הנושא של פעולת החיפוש היה אובייקט או תיקייה מנוהלת.
completeTime חותמת הזמן התואמת לתקן ISO 8601 שבה הפעולה הושלמה.
destinationContainer

המאפיין הזה מופיע רק בפעולות FIND. פעולות FIND לא מתועדות בהעברות שמבוססות על סוכנים.

מאגר התגים של היעד להעברה הזו. מכיל שני שדות משנה:

  • ‫gcsBucket.bucket: שם קטגוריית היעד ב-Cloud Storage.
  • type: תמיד GCS.
destinationObject

המאפיין הזה מופיע רק בפעולות COPY ו-DELETE.

מידע על האובייקט ביעד. מכיל שני שדות משנה:

  • אחד מהערכים gcsObject,‏ gcsManagedFolder או posixFile, בהתאם ליעד. כל האפשרויות כוללות כמה שדות משנה שמציינים את השם, המיקום, פרטי התאריך/השעה והגיבוב של האובייקט או הקובץ.
  • ‫type הוא אחד מהערכים GCS או POSIX_FS.

לדוגמה:

"destinationObject": {
  "type": "POSIX_FS",
  "posixFile": {
    "crc32c": "0",
    "path": "/tmp/data/filename.txt",
    "lastModifiedTime": "2022-09-22T04:33:45Z"
  }
}
operation השם המלא של transferOperations.
sourceContainer

המאפיין הזה מופיע רק בפעולות FIND. פעולות FIND לא מתועדות בהעברות שמבוססות על סוכנים.

מאגר התגים של המקור להעברה הזו. מכיל שני שדות משנה:

  • רשומה שמציינת את מיקום המקור. שם השדה נקבע לפי סוג המקור. אלה השדות האפשריים:
    • ‫awsS3Bucket.bucket: השם של קטגוריית ה-AWS S3.
    • ‫azureBlobContainer: מכיל שדות משנה account ו-container, שביחד מגדירים את ה-URI של Microsoft Azure Blob Storage.
    • ‫gcsBucket.bucket: שם הקטגוריה של Cloud Storage.
    • ‫httpManifest.url: כתובת ה-URL של רשימת כתובות URL שמציינת קבצים שזמינים לציבור להורדה משרת HTTP(S).
  • ‫type הוא אחד מהערכים הבאים: AWS_S3, ‏AZURE_BLOB, ‏GCS או HTTP.

לדוגמה:

"sourceContainer": {
  "gcsBucket": {
    "bucket": "my-bucket-1"
  }
  type: "GCS"
}
sourceObject

המאפיין הזה מופיע רק בפעולות COPY ו-DELETE.

מידע על אובייקט המקור. מכיל שני שדות משנה:

  • רשומה ספציפית למארח של אובייקט המקור. השם של השדה נקבע לפי סוג המקור והוא מכיל שדות משנה של מטא-נתונים. אלה השדות האפשריים:
    • ‫awsS3Object: אובייקט AWS S3.
    • ‫azureBlob: קובץ ב-Azure Blob Storage.
    • ‫gcsObject: אובייקט ב-Cloud Storage.
    • ‫gcsManagedFolder: תיקייה מנוהלת ב-Cloud Storage.
    • ‫httpFile: קובץ שצוין על ידי רשימת כתובות URL.
    • ‫posixFile: קובץ במערכת קבצים של POSIX.
  • ‫type הוא אחד מהערכים הבאים: AWS_S3, ‏AZURE_BLOB, ‏GCS, ‏HTTP או POSIX_FS.

לדוגמה:

"sourceObject": {
  "gcsObject": {
    "bucket": "my-bucket-1"
    "lastModifiedTime": "2021-12-07T16:41:09.456Z"
    "md5": "WgnCOIdfCXNTUDpQJSKb2w=="
    "objectKey": "README.md"
  }
  type: "GCS"
}
status

הסטטוס של הפעולה. אם status.statusCode הוא OK, הפעולה הצליחה. אחרת, הפעולה נכשלה. השדות status.errorType ו-status.errorMessage מתמלאים רק אם הסטטוס הוא לא OK.

בנוסף, השדה resource ברמה העליונה מכיל את השדות הבאים.

"resource": {
  "labels": {
    "job_id": "transferJobs/7876027868280507149"
    "project_id": "my-project-id"
  }
  "type": "storage_transfer_job"
}
שדה היומן תיאור
resource.labels.job_id שם המשימה ב-Storage Transfer Service שאליה היומן הזה משויך.
resource.labels.project_id מזהה הפרויקט בענן של Google להעברה הזו.