Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

שימוש ביומני הפלטפורמה לפתרון בעיות שקשורות לייבוא נושאים

במדריך הזה מוסבר איך להשתמש ביומני פלטפורמה כדי לפתור בעיות כשמשתמשים בנושאים של ייבוא, כולל הנושאים הבאים: נושאים של ייבוא מ-Cloud Storage, נושאים של ייבוא מ-Azure Event Hubs, נושאים של ייבוא מ-Amazon MSK ונושאים של ייבוא מ-Confluent Cloud. Google Cloud

מידע על יומני פלטפורמה

שירות נתמך Google Cloud יוצר קבוצה משלו של יומני פלטפורמה, שמתעדים אירועים ופעילויות שרלוונטיים לפעולה של השירות הזה. יומני הפלטפורמה האלה מכילים מידע מפורט על מה שקורה בשירות, כולל פעולות מוצלחות, שגיאות, אזהרות ואירועים חשובים אחרים.

יומני פלטפורמה הם חלק מ-Cloud Logging, והם כוללים את אותן תכונות. לדוגמה, הנה רשימה של תכונות חשובות של יומני פלטפורמה:

בדרך כלל, היומנים מובנים כאובייקטים מסוג JSON שמאפשרים לבצע שאילתות וסינון נוספים.
אפשר לראות את יומני הפלטפורמה באמצעות Logging במסוף.
אפשר גם לשלב יומנים של פלטפורמות עם Cloud Monitoring ועם כלי מעקב אחרים כדי ליצור מרכזי בקרה, התראות ומנגנוני מעקב אחרים.
אחסון יומנים כרוך בעלויות שמבוססות על נפח הנתונים שנכנסים ועל תקופת השמירה.

מידע נוסף על יומני פלטפורמה זמין במאמר יומני פלטפורמה של Google Cloud.

לפני שמתחילים

חשוב לוודא שהשלמתם את התנאים המוקדמים ליצירת הנושא שבו אתם משתמשים:

תפקידים והרשאות נדרשים

לפני שמתחילים, צריך לוודא שיש לכם גישה לרישום ביומן. אתם צריכים את התפקיד Logs Viewer (roles/logging.viewer)במערכת לניהול הזהויות והרשאות הגישה (IAM). מידע נוסף על גישה ל-Logging זמין במאמר בקרת גישה באמצעות IAM.

בהמשך מוסבר איך לאמת את הגישה ל-IAM ולהעניק אותה:

בדיקה למי יש גישה כדי לוודא את הגישה של כל חשבון משתמש.
הקצאת תפקיד לחשבונות משתמש רלוונטיים בפרויקט.

מידע על כשלים בהוספה של נושאים לייבוא

יכולות להיות בעיות בייבוא נושאים שימנעו את ההטמעה של הנתונים.

נושאים שקשורים לייבוא ב-Cloud Storage

יכולות להיות בעיות בנושאים שקשורים לייבוא מ-Cloud Storage, שימנעו את ההטמעה של הנתונים. לדוגמה, כשמשתמשים בנושא ייבוא של Cloud Storage, יכולות להיות בעיות בהטמעה של אובייקט Cloud Storage או חלק מאובייקט.

ברשימה הבאה מתוארות הסיבות לכשלים בהעברה בנושאים של ייבוא מ-Cloud Storage שיוצרים יומנים של הפלטפורמה:

גודל ההודעה
- הגודל המקסימלי של כל הודעה הוא 10MB. אם הם קיימים, המערכת מדלגת על כל ההודעה.
- אם משתמשים בפורמט Avro או בפורמט Pub/Sub Avro, הגודל המקסימלי של בלוקים ב-Avro הוא 16MB. מערכת תדלג על בלוקים גדולים יותר של Avro.
מאפייני ההודעה
- הודעות יכולות לכלול עד 100 מאפיינים. כל מאפיין נוסף מושמט כשמבצעים המרה של ההודעה.
- מפתחות של מאפיינים לא יכולים להיות גדולים מ-256 בייט, וערכים לא יכולים להיות גדולים מ-1,024 בייט. אם הערך גדול מהגודל המקסימלי, צמד המפתח/ערך כולו מושמט מההודעה בזמן ההטמעה.
  
  מידע נוסף על ההנחיות לשימוש במפתחות ובמאפיינים של הודעות זמין במאמר שימוש במאפיינים לפרסום הודעה.
עיצוב Avro
- מוודאים שהפורמט של אובייקטי Avro תקין. פורמט שגוי מונע את ההטמעה של ההודעה.
פורמט נתונים
- חשוב לוודא שאתם משתמשים בגרסת Avro נתמכת. פורמטים שלא נתמכים לא יעברו עיבוד.

נושאים לייבוא מ-Azure Event Hubs,‏ Amazon MSK ו-Confluent Cloud

יכולות להיות בעיות בייבוא נושאים מ-Azure Event Hubs, מ-Amazon MSK ומ-Confluent Cloud, שימנעו את ההטמעה של הנתונים.

ברשימה הבאה מפורטות הסיבות לכשל בהטמעה בנושאים של ייבוא שיוצרים יומני פלטפורמה:

גודל ההודעה
- הגודל המקסימלי של כל הודעה הוא 10MB. אם הם קיימים, המערכת מדלגת על כל ההודעה.
מאפייני ההודעה
- הודעות יכולות לכלול עד 100 מאפיינים. כל מאפיין נוסף מושמט כשמבצעים המרה של ההודעה.
- מפתחות של מאפיינים לא יכולים להיות גדולים מ-256 בייט, וערכים לא יכולים להיות גדולים מ-1,024 בייט. אם הערך גדול מהגודל המקסימלי, צמד המפתח/ערך כולו מושמט מההודעה בזמן ההטמעה.
  
  מידע נוסף על ההנחיות לשימוש במפתחות ובמאפיינים של הודעות זמין במאמר שימוש במאפיינים לפרסום הודעה.

הפעלת יומני פלטפורמה

כברירת מחדל, האפשרות 'יומני פלטפורמה' מושבתת בנושאים של ייבוא. אפשר להפעיל יומני פלטפורמה כשיוצרים או מעדכנים נושא ייבוא. כדי להשבית את יומני הפלטפורמה, צריך לעדכן את נושא הייבוא.

הפעלת יומני פלטפורמה בזמן יצירת נושא ייבוא

כדי להפעיל יומני פלטפורמה כשיוצרים נושא לייבוא:

המסוף

נכנסים לדף Topics במסוף Google Cloud .

לדף Topics
לוחצים על יצירת נושא.
ייפתח דף הפרטים של הנושא.
בשדה Topic ID (מזהה הנושא), מזינים מזהה לנושא הייבוא.
מידע נוסף על מתן שמות לנושאים זמין בהנחיות למתן שמות.
בוחרים באפשרות הוספת מינוי שמוגדר כברירת מחדל.
בוחרים באפשרות הפעלת הטמעה.
משאירים את שאר הגדרות ברירת המחדל.
לוחצים על יצירת נושא.

gcloud

במסוף Google Cloud , מפעילים את Cloud Shell.

הפעלת Cloud Shell

בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.
כדי להפעיל את יומני הפלטפורמה, מוודאים שהדגל --ingestion-log-severity מוגדר לערך WARNING או לרמת חומרה נמוכה יותר, כמו INFO או DEBUG. מריצים את הפקודה gcloud pubsub topics create לנושא המתאים שבו אתם משתמשים:
לדוגמה, כדי להפעיל יומנים של פלטפורמה בנושא ייבוא של Cloud Storage, צריך לכלול את הדגל --ingestion-log-severity=WARNING בפקודה gcloud pubsub topics create.
```
gcloud pubsub topics create TOPIC_ID \
    --cloud-storage-ingestion-bucket=BUCKET_NAME \
    --cloud-storage-ingestion-input-format=INPUT_FORMAT \
    --ingestion-log-severity=WARNING
```

הפעלת יומני פלטפורמה בזמן עדכון נושא ייבוא

כדי להפעיל את יומני הפלטפורמה כשמעדכנים נושא ייבוא:

המסוף

נכנסים לדף Topics במסוף Google Cloud .

לדף Topics
לוחצים על נושא הייבוא המתאים שבו אתם משתמשים (נושא ייבוא של Cloud Storage, נושא ייבוא של Azure Event Hubs, נושא ייבוא של Amazon MSK או נושא ייבוא של Confluent Cloud).
בדף הפרטים של הנושא, לוחצים על עריכה.
בוחרים באפשרות הפעלת יומני פלטפורמה.
לוחצים על עדכון.

gcloud

במסוף Google Cloud , מפעילים את Cloud Shell.

הפעלת Cloud Shell

בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.
כדי להפעיל את יומני הפלטפורמה, צריך לוודא שההגדרה ingestion-log-severity מוגדרת ל-WARNING או לרמת חומרה נמוכה יותר, כמו INFO או DEBUG. מריצים את הפקודה gcloud pubsub topics update עם כל הדגלים האפשריים שמציינים הגדרות לנושא הרלוונטי שבו אתם משתמשים:
- נושא הייבוא מ-Cloud Storage
  - כדי לא לאבד את ההגדרות של נושא הייבוא של Cloud Storage, חשוב להוסיף מחדש את אותם ערכים שהיו בפקודה המקורית create בכל פעם שמעדכנים את הנושא. אם לא תציינו משהו, Pub/Sub יאפס את ההגדרה לערך ברירת המחדל שלה.
- נושא הייבוא של Azure Event Hubs
- נושא לייבוא ב-Amazon MSK
- נושא הייבוא של Confluent Cloud
לדוגמה, כדי לעדכן יומנים בנושא ייבוא קיים של Cloud Storage, צריך לכלול את הדגל --ingestion-log-severity=WARNING בפקודה gcloud pubsub topics create ולכלול את כל ערכי הדגל האפשריים שמציינים הגדרות לנושא ייבוא של Cloud Storage.
```
gcloud pubsub topics update TOPIC_ID \
    --cloud-storage-ingestion-bucket=BUCKET_NAME \
    --cloud-storage-ingestion-input-format=INPUT_FORMAT \
    --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
    --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
    --cloud-storage-ingestion-match-glob=MATCH_GLOB
    --ingestion-log-severity=WARNING
```

השבתת יומני פלטפורמה

כדי להשבית את יומני הפלטפורמה בנושא הייבוא הרלוונטי שבו אתם משתמשים:

המסוף

נכנסים לדף Topics במסוף Google Cloud .

לדף Topics
לוחצים על נושא הייבוא המתאים שבו אתם משתמשים (נושא ייבוא של Cloud Storage, נושא ייבוא של Azure Event Hubs, נושא ייבוא של Amazon MSK או נושא ייבוא של Confluent Cloud).
בדף הפרטים של הנושא, לוחצים על עריכה.
מבטלים את הסימון של הפעלת יומני פלטפורמה.
לוחצים על עדכון.

gcloud

במסוף Google Cloud , מפעילים את Cloud Shell.

הפעלת Cloud Shell

בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.
כדי להשבית את יומני הפלטפורמה, מוודאים שהערך של ingestion-log-severity הוא DISABLED. מריצים את הפקודה gcloud pubsub topics update עם כל הדגלים האפשריים שמציינים הגדרות לנושא הרלוונטי שבו אתם משתמשים:
- נושא הייבוא מ-Cloud Storage
  - כדי לא לאבד את ההגדרות של נושא הייבוא של Cloud Storage, חשוב להוסיף מחדש את אותם ערכים שהיו בפקודה המקורית create בכל פעם שמעדכנים את הנושא. אם משמיטים משהו, ההגדרה ב-Pub/Sub מתאפסת לערך ברירת המחדל המקורי שלה.
- נושא הייבוא של Azure Event Hubs
- נושא לייבוא ב-Amazon MSK
- נושא הייבוא של Confluent Cloud
לדוגמה, כדי להשבית את היומנים בנושא קיים של ייבוא ל-Cloud Storage, צריך לכלול את הדגל --ingestion-log-severity=DISABLED בפקודה gcloud pubsub topics update ולכלול את כל הדגלים האפשריים שמציינים הגדרות לנושא ייבוא ל-Cloud Storage.
```
gcloud pubsub topics update TOPIC_ID \
    --cloud-storage-ingestion-bucket=BUCKET_NAME \
    --cloud-storage-ingestion-input-format=INPUT_FORMAT \
    --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
    --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
    --cloud-storage-ingestion-match-glob=MATCH_GLOB
    --ingestion-log-severity=DISABLED
```

צפייה ביומני הפלטפורמה

כדי לראות את יומני הפלטפורמה של נושא הייבוא הרלוונטי שבו אתם משתמשים, מבצעים את הפעולות הבאות:

מסוף Google Cloud

במסוף Google Cloud , עוברים אל Logs Explorer.

כניסה לדף Logs Explorer
בוחרים פרויקט Google Cloud .
אם צריך, בתפריט Upgrade, עוברים מLegacy Logs Viewer אל Logs Explorer.
לוחצים על המתג Show query.
כדי לסנן את היומנים כך שיוצגו רק הרשומות של נושאי הייבוא שבהם אתם משתמשים (נושא ייבוא של Cloud Storage, נושא ייבוא של Azure Event Hubs, נושא ייבוא של Amazon MSK או נושא ייבוא של Confluent Cloud), מקלידים "resource.type=pubsub_topic AND severity=WARNING" בשדה השאילתה ולוחצים על הפעלת שאילתה.
בחלונית Query results, לוחצים על Edit time כדי לשנות את התקופה שרוצים לקבל לגביה תוצאות.

מידע נוסף על השימוש ב-Logs Explorer מופיע במאמר שימוש ב-Logs Explorer.

‫CLI של gcloud

כדי להשתמש ב-CLI של gcloud כדי לחפש יומנים של פלטפורמות בנושאי הייבוא שבהם אתם משתמשים, משתמשים בפקודה gcloud logging read.

מציינים מסנן כדי להגביל את התוצאות ליומני פלטפורמה של נושאי הייבוא הרלוונטיים שבהם אתם משתמשים (נושא ייבוא של Cloud Storage, נושא ייבוא של Azure Event Hubs, נושא ייבוא של Amazon MSK או נושא ייבוא של Confluent Cloud).

gcloud logging read "resource.type=pubsub_topic AND severity=WARNING"

Cloud Logging API

משתמשים ב-method ‏entries.list של Cloud Logging API.

כדי לסנן את התוצאות כך שיכללו רק יומנים של פלטפורמות בנושאים של ייבוא Cloud Storage, משתמשים בשדה filter. הנה דוגמה לאובייקט בקשת JSON.

{
"resourceNames":
  [
    "projects/my-project-name"
  ],
  "orderBy": "timestamp desc",
  "filter": "resource.type=\"pubsub_topic\" AND severity=WARNING"
}

הצגה והסבר על פורמט יומן הפלטפורמה

בקטע הבא יש דוגמאות ליומני פלטפורמה ותיאור של השדות ביומני הפלטפורמה.

כל השדות הספציפיים ליומן הפלטפורמה נמצאים באובייקט jsonPayload.

Cloud Storage

כשל ב-Avro

{
  "insertId": "1xnzx8md4768",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "objectGeneration": "1661148924738910",
      "bucket": "bucket_in_avro_format",
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "avroFailureReason": {}
    },
    "topic": "projects/my-project/topics/avro_bucket_topic",
    "errorMessage": "Unable to parse the header of the object. The object won't be ingested."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "project_id": "my-project",
      "topic_id": "avro_bucket_topic"
    }
  },
  "timestamp": "2024-10-07T18:55:45.650103193Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-07T18:55:46.678221398Z"
}

שדה ביומן	תיאור
`insertId`	מזהה ייחודי של רשומה ביומן.
`jsonPayload.@type`	מזהה את סוג האירוע. תמיד `type.googleapis.com/google.pubsub.v1.IngestionFailureEvent`.
`jsonPayload.cloudStorageFailure.objectGeneration`	מספר הדור של האובייקט ב-Cloud Storage.
`jsonPayload.cloudStorageFailure.bucket`	קטגוריית Cloud Storage שמכילה את האובייקט.
`jsonPayload.cloudStorageFailure.objectName`	שם האובייקט ב-Cloud Storage.
`jsonPayload.cloudStorageFailure.avroFailureReason`	מכיל פרטים ספציפיים יותר על שגיאות בניתוח של Avro. השדה הזה נשאר ריק.
`jsonPayload.topic`	נושא ה-Pub/Sub שההודעה יועדה לו.
`jsonPayload.errorMessage`	הודעת שגיאה שאנשים יכולים לקרוא.
`resource.type`	סוג המשאב. תמיד `pubsub_topic`.
`resource.labels.project_id`	מזהה הפרויקט Google Cloud .
`resource.labels.topic_id`	מזהה הנושא ב-Pub/Sub.
`timestamp`	חותמת הזמן של יצירת רשומת היומן.
`severity`	רמת החומרה היא `WARNING`.
`logName`	שם היומן.
`receiveTimestamp`	חותמת הזמן שבה התקבל רשומה ביומן.

שגיאה בטקסט

{
  "insertId": "1kc4puoag",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "bucket": "bucket_in_text_format",
      "apiViolationReason": {},
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "objectGeneration": "1727990048026758"
    },
    "topic": "projects/my-project/topics/large_text_bucket_topic",
    "errorMessage": "The message has exceeded the maximum allowed size of 10000000 bytes. The message won't be published."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "large_text_bucket_topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2024-10-09T14:09:07.760488386Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-09T14:09:08.483589656Z"
}

שדה ביומן	תיאור
`insertId`	מזהה ייחודי של רשומה ביומן.
`jsonPayload.@type`	מזהה את סוג האירוע. תמיד `type.googleapis.com/google.pubsub.v1.IngestionFailureEvent`.
`jsonPayload.cloudStorageFailure.objectGeneration`	מספר הדור של האובייקט ב-Cloud Storage.
`jsonPayload.cloudStorageFailure.bucket`	קטגוריית Cloud Storage שמכילה את האובייקט.
`jsonPayload.cloudStorageFailure.objectName`	שם האובייקט ב-Cloud Storage.
`jsonPayload.cloudStorageFailure.apiViolationReason`	מכיל פרטים על הפרת מדיניות ה-API. השדה הזה נשאר ריק.
`jsonPayload.topic`	נושא Pub/Sub.
`jsonPayload.errorMessage`	הודעה שקריאה לאנשים.
`resource.type`	סוג המשאב, תמיד `pubsub_topic`.
`resource.labels.project_id`	מזהה הפרויקט (Google Cloud ).
`resource.labels.topic_id`	מזהה נושא Pub/Sub.
`timestamp`	חותמת הזמן של יצירת רשומת היומן.
`severity`	רמת החומרה היא `WARNING`.
`logName`	שם היומן.
`receiveTimestamp`	השעה שבה רשומת היומן התקבלה על ידי Cloud Logging.

Amazon MSK

הפרת מדיניות בנושא API

  {
  "insertId": "k3breb2q",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "awsMskFailure": {
      "apiViolationReason": {},
      "clusterArn": "arn:aws:kafka:us-east-1:291552718126:cluster/cluster-ingestion/abb9faea-4070-4eb76-9c21-f98abca92eaf-2",
      "kafkaTopic": "msk-topic",
      "partitionId": "1",
      "offset": "11"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/msk-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "msk-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T16:18:16.241643258Z"
}

שדה ביומן	תיאור
`insertId`	מזהה ייחודי של רשומה ביומן.
`jsonPayload.@type`	מזהה את סוג האירוע. תמיד `type.googleapis.com/google.pubsub.v1.IngestionFailureEvent`.
`jsonPayload.awsMskFailure.clusterArn`	מספר ה-ARN של אשכול הנושא שממנו מתבצעת ההטמעה.
`jsonPayload.awsMskFailure.kafkaTopic`	השם של נושא Kafka שממנו מתבצעת ההטמעה.
`jsonPayload.awsMskFailure.partitionId`	המזהה של המחיצה שמכילה את ההודעה שלא הצליחה להיקלט.
`jsonPayload.awsMskFailure.offset`	ההיסט בתוך המחיצה של ההודעה שלא נקלטה.
`jsonPayload.awsMskFailure.apiViolationReason`	מכיל פרטים על הפרת מדיניות ה-API. השדה הזה נשאר ריק.
`jsonPayload.topic`	נושא Pub/Sub.
`jsonPayload.errorMessage`	הודעה שקריאה לאנשים.
`resource.type`	סוג המשאב, תמיד `pubsub_topic`.
`resource.labels.project_id`	מזהה הפרויקט (Google Cloud ).
`resource.labels.topic_id`	מזהה נושא Pub/Sub.
`timestamp`	חותמת הזמן של יצירת רשומת היומן.
`severity`	רמת החומרה היא `WARNING`.
`logName`	שם היומן.
`receiveTimestamp`	השעה שבה רשומת היומן התקבלה על ידי Cloud Logging.

Azure Event Hubs

הפרת מדיניות בנושא API

{
  "insertId": "i1fbqnb12",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "azureEventHubsFailure": {
      "apiViolationReason": {},
      "namespace": "my-namespace",
      "eventHub": "my-event-hub",
      "partitionId": "1",
      "offset": "15"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/event-hubs-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "event-hubs-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T14:05:12.338211450Z"
}

שדה ביומן	תיאור
`insertId`	מזהה ייחודי של רשומה ביומן.
`jsonPayload.@type`	מזהה את סוג האירוע. תמיד `type.googleapis.com/google.pubsub.v1.IngestionFailureEvent`.
`jsonPayload.azureEventHubsFailure.namespace`	מרחב השמות שמכיל את מרכז האירועים שממנו מתבצעת ההעברה.
`jsonPayload.azureEventHubsFailure.eventHub`	השם של מרכז האירועים שממנו מתבצעת ההטמעה.
`jsonPayload.azureEventHubsFailure.partitionId`	המזהה של המחיצה שמכילה את ההודעה שלא הצליחה להיקלט.
`jsonPayload.azureEventHubsFailure.offset`	ההיסט בתוך המחיצה של ההודעה שלא נקלטה.
`jsonPayload.azureEventHubsFailure.apiViolationReason`	מכיל פרטים על הפרת מדיניות ה-API. השדה הזה נשאר ריק.
`jsonPayload.topic`	נושא Pub/Sub.
`jsonPayload.errorMessage`	הודעה שקריאה לאנשים.
`resource.type`	סוג המשאב, תמיד `pubsub_topic`.
`resource.labels.project_id`	מזהה הפרויקט (Google Cloud ).
`resource.labels.topic_id`	מזהה נושא Pub/Sub.
`timestamp`	חותמת הזמן של יצירת רשומת היומן.
`severity`	רמת החומרה היא `WARNING`.
`logName`	שם היומן.
`receiveTimestamp`	השעה שבה רשומת היומן התקבלה על ידי Cloud Logging.

Confluent Cloud

שגיאה בטקסט

{
  "insertId": "i1fbqnb14",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "confluentCloudFailure": {
      "apiViolationReason": {},
      "clusterId": "lma-1x18ae",
      "kafkaTopic": "confluent-topic",
      "partitionId": "1",
      "offset": "19"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/confluent-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "confluent-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T17:03:11.428221440Z"
}

שדה ביומן	תיאור
`insertId`	מזהה ייחודי של רשומה ביומן.
`jsonPayload.@type`	מזהה את סוג האירוע. תמיד `type.googleapis.com/google.pubsub.v1.IngestionFailureEvent`.
`jsonPayload.confluentCloudFailure.clusterId`	מזהה האשכול שמכיל את הנושא שממנו מתבצעת ההעברה.
`jsonPayload.confluentCloudFailure.kafkaTopic`	השם של נושא Kafka שממנו מתבצעת ההטמעה.
`jsonPayload.confluentCloudFailure.partitionId`	המזהה של המחיצה שמכילה את ההודעה שלא הצליחה להיקלט.
`jsonPayload.confluentCloudFailure.offset`	ההיסט בתוך המחיצה של ההודעה שלא נקלטה.
`jsonPayload.confluentCloudFailure.apiViolationReason`	מכיל פרטים על הפרת מדיניות ה-API. השדה הזה נשאר ריק.
`jsonPayload.topic`	נושא Pub/Sub.
`jsonPayload.errorMessage`	הודעה שקריאה לאנשים.
`resource.type`	סוג המשאב, תמיד `pubsub_topic`.
`resource.labels.project_id`	מזהה הפרויקט ב-Google Cloud.
`resource.labels.topic_id`	מזהה נושא Pub/Sub.
`timestamp`	חותמת הזמן של יצירת רשומת היומן.
`severity`	רמת החומרה היא `WARNING`.
`logName`	שם היומן.
`receiveTimestamp`	השעה שבה רשומת היומן התקבלה על ידי Cloud Logging.

‫Apache Kafka®‎ הוא סימן מסחרי רשום של The Apache Software Foundation או של השותפים העצמאיים שלה בארצות הברית או במדינות אחרות.

שימוש ביומני הפלטפורמה לפתרון בעיות שקשורות לייבוא נושאים קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

מידע על יומני פלטפורמה

לפני שמתחילים

תפקידים והרשאות נדרשים

מידע על כשלים בהוספה של נושאים לייבוא

נושאים שקשורים לייבוא ב-Cloud Storage

נושאים לייבוא מ-Azure Event Hubs,‏ Amazon MSK ו-Confluent Cloud

הפעלת יומני פלטפורמה

הפעלת יומני פלטפורמה בזמן יצירת נושא ייבוא

המסוף

gcloud

הפעלת יומני פלטפורמה בזמן עדכון נושא ייבוא

המסוף

gcloud

השבתת יומני פלטפורמה

המסוף

gcloud

צפייה ביומני הפלטפורמה

מסוף Google Cloud

‫CLI של gcloud

Cloud Logging API

הצגה והסבר על פורמט יומן הפלטפורמה

Cloud Storage

כשל ב-Avro

שגיאה בטקסט

Amazon MSK

הפרת מדיניות בנושא API

Azure Event Hubs

הפרת מדיניות בנושא API

Confluent Cloud

שגיאה בטקסט

שימוש ביומני הפלטפורמה לפתרון בעיות שקשורות לייבוא נושאים