פתרון בעיות שקשורות להעברה של נתונים

נתמך ב:

במאמר הזה מוסבר על שגיאות שאפשר להיתקל בהן במהלך הטמעת נתונים ונרמול שלהם ב-Google Security Operations, ומתואר איך לפתור אותן. הטבלאות הבאות יעזרו לכם לאבחן כשלים בהטמעה, לזהות יומנים שהושמטו ולהעריך את ההשפעה על המערכות בהמשך.

במסמך הזה מתוארות השגיאות שמתקבלות בשיטות ההטמעה הבאות: Google SecOps forwarder,‏ Google SecOps Ingestion API,‏ Google SecOps API feed ושותפי טכנולוגיה של צד שלישי.

שגיאות במקור ובקליטה

יכול להיות שתיתקלו בשגיאות הבאות במקרים הבאים:

  • אחזור נתונים ממערכות מקור.
  • הכלי להעברת נתונים של Google SecOps או פיד של צד שלישי מנסה לתקשר עם API או משאב חיצוניים.
קוד מצב HTTP סיבת השגיאה קוד שגיאה קנוני הודעת השגיאה תיאור השגיאה פתרון בעיות
206 תוכן חלקי REMOTE_SERVER_ERROR שגיאה בשרת מרוחק בגלל תוכן חלקי. השרת במעלה הזרם מחזיר תוכן חלקי במקום מערך הנתונים המלא של פידים מסוג MICROSOFT_GRAPH_ALERT. זו בעיה ב-API של מקור נתונים. מערכת Google SecOps מנסה שוב להעביר את הנתונים באופן אוטומטי. הנתונים נשמרים לא צריך לעשות שום פעולה נוספת.
400 בקשה פגומה INVALID_ARGUMENT פרמטרים לא תקינים בבקשה. המערכת יצרה חיבור למקור, אבל הפיד נכשל בגלל ארגומנטים לא תקינים. צריך לוודא שיש הרשאות למקורות, שיש לכם את התפקידים הנדרשים ושהזנתם את כל שדות החובה בצורה נכונה. בודקים אם יש תווים לא חוקיים במזהים, באזורים או בשמות, ומוודאים שפרמטרים כמו מרווחי זמן בין סקרים נמצאים בטווח המותר. בודקים את הגדרות הפיד וקוראים את מסמכי הפידים. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.
401 אין הרשאה LOGIN_FAILED האימות נכשל. צריך לאמת את פרטי הכניסה ולנסות שוב. המערכת יצרה חיבור, אבל ההרשאה נכשלה בגלל פרטי כניסה שגויים או חסרים. צריך לוודא שפרטי הכניסה למקור נכונים ושלא פג התוקף שלהם, ואז להזין אותם מחדש.
403 אסור ACCESS_DENIED / PERMISSION_DENIED הגישה נדחתה. לפרטי הכניסה אין הרשאות לגשת למשאב הזה. המערכת יצרה חיבור למקור, אבל לפרטי הכניסה אין את ההרשאות הנדרשות למשאב. מוודאים שלשירות, לחשבון האימות או למפתח ה-API יש את התפקידים או ההרשאות הנדרשים לניהול זהויות והרשאות גישה (IAM) עבור המשאב. פרטים נוספים זמינים במאמר בנושא הגדרת פיד. לדוגמה, כדאי לבדוק שוב את מחרוזת החיבור של Azure Event Hub בפורטל Azure. אפשר גם לעיין במסמכי התיעוד בנושא פידים כדי לראות אילו הרשאות נדרשות. מידע על הרשאות זמין במאמר הגדרה לפי סוג מקור.
404 כתובת האתר לא נמצאה FILE_NOT_FOUND / NOT_FOUND נקודת הקצה לא נמצאה. מאמתים את כתובת ה-URL ואת פרטי מקור המידע. המערכת לא הצליחה לאתר את הקובץ או נקודת הקצה הספציפיים.

כדאי לבדוק את הדברים הבאים:

  • הקובץ קיים במקור.
  • בודקים אם יש שגיאות הקלדה בכתובת ה-URL של ה-API או בשם המארח.
  • מוודאים שמזהי המשאבים (כמו שמות של קטגוריות או מזהים של אתרים) והאזור נכונים.
  • למשתמשים המתאימים יש גישה לנתיב הספציפי הזה.

אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.

429 ACCESS_TOO_FREQUENT הזמן הקצוב לתפוגה של הפיד הסתיים. המקור מגביל את קצב הבקשות. הפיד נכשל כי היו יותר מדי ניסיונות להגיע למקור. בדרך כלל זו בעיה זמנית. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.
500 נוצר חיבור למקור, אבל המקור לא הגיב עם נתונים. מוודאים שהמקור זמין ומגיב. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.
502 הייתה שגיאת שער בפיד. זו שגיאה זמנית והאפליקציה תנסה לשלוח את הבקשה שוב. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.
503 בעיה זמנית בחיבור. המקור או השער לא הגיבו או שהזמן הקצוב לתפוגה הסתיים. מוודאים שהמקור זמין ומגיב. אם מבצעים קריאה ל-API באופן פרוגרמטי, צריך להשתמש בהשהיה מעריכית עם רכיב אקראי לפני ניסיון חוזר (jittered exponential backoff).
504 מערכת Google SecOps לא יכולה להתחבר לכתובת ה-IP ולפורט של המקור. זו שגיאה זמנית והאפליקציה תנסה לשלוח את הבקשה שוב.

כדאי לבדוק את הדברים הבאים:

  • המקור זמין.
  • חומת אש לא חוסמת את החיבור.
  • כתובת ה-IP שמשויכת לשרת נכונה.

אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.

פרטי כניסה כלליים אי אפשר לאמת את פרטי הכניסה. בודקים את פרטי ההגדרה. בודקים את פרטי ההגדרה הכלליים של קבוצת פרטי הכניסה במסוף Google SecOps.
CONNECTION_DROPPED המערכת יצרה חיבור למקור, אבל החיבור נסגר לפני שהפיד הסתיים. זו שגיאה זמנית והאפליקציה תנסה לשלוח את הבקשה שוב. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.
CONNECTION_FAILED אי אפשר להתחבר למקור. המערכת לא מצליחה ליצור חיבור לרשת. האפליקציה לא יכולה להתחבר לכתובת ה-IP ולפורט של המקור. מוודאים שהמקור זמין, שחומת האש לא חוסמת את החיבור וכתובת ה-IP נכונה.

כדאי לבדוק את הדברים הבאים:

  • המקור זמין.
  • חומת אש לא חוסמת את החיבור.
  • כתובת ה-IP שמשויכת לשרת נכונה.
  • אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.

DNS_ERROR שגיאת DNS. המערכת לא יכולה לזהות את שם המארח של המקור. צריך לוודא שכתובות ה-URL בפרמטרים של הפיד ובהגדרות של שרת שמות המקור תקינות. בודקים אם יש שגיאות איות בשם המארח של השרת.
FILE_FAILED המערכת יצרה חיבור למקור, אבל הייתה בעיה בקובץ או במשאב.

כדאי לבדוק את הדברים הבאים:

  • הקובץ לא פגום.
  • ההרשאות ברמת הקובץ נכונות.

אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.

GATEWAY_ERROR ה-API החזיר שגיאת שער לקריאה שבוצעה על ידי Google SecOps. בודקים את פרטי המקור של הפיד. האפליקציה תנסה לשלוח את הבקשה שוב.
INTERNAL_ERROR אי אפשר להטמיע נתונים בגלל שגיאה פנימית. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.
INVALID_FEED_CONFIG הגדרת הפיד מכילה ערכים לא תקינים. בודקים את הגדרות הפיד כדי לוודא שהן נכונות. במאמרי העזרה בנושא פידים מוסבר מהו התחביר הנכון.
INVALID_REMOTE_RESPONSE נוצר חיבור למקור, אבל התגובה הייתה שגויה. בודקים את הגדרות הפיד. מידע נוסף על הגדרת פידים אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.
INVALID_SECRET המפתח הסודי לא תואם. צריך לבדוק אם יש אי התאמה בין המפתח הסודי שהוגדר בפיד לבין המפתח ש-Google SecOps קיבלה בכותרת ה-HTTP. לדוגמה, כשמשתמשים בהעברה של נתונים באמצעות HTTPS Push.
INVALID_SSL_CERTIFICATE אישור SSL לא תקין. המערכת לא הצליחה לאמת את אישור ה-SSL של המקור. בודקים את ההרשאות של המקור ומוודאים שהאישור של השרת תקף ומהימן.
NO_RESPONSE נוצר חיבור למקור, אבל המקור לא הגיב. מוודאים שהמקור יכול לתמוך בבקשות מ-Google SecOps. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.
REMOTE_SERVER_ERROR נוצר חיבור למקור, אבל המקור לא הגיב עם נתונים. מוודאים שהמקור זמין ושנשלחים ממנו נתונים. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.
REMOTE_SERVER_REPORTED_BAD_REQUEST נוצר חיבור למקור, אבל המקור דחה את הבקשה. בודקים את הגדרות הפיד. פרטים נוספים מופיעים במסמכי העזרה בנושא פידים. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.
RESOURCE_EXHAUSTED חריגה מהמכסה או מהגבלת הקצב של יצירת בקשות. בודקים אם דחיות של מכסות מתרחשות בגלל נפח בקשות גבוה או מגבלות נתונים. המקור שולח בקשות בתדירות גבוהה מדי. חשוב לעקוב אחרי השימוש במכסה ולפנות לתמיכה אם צריך. לדוגמה, כשמשתמשים ב-Ingestion API או ב-Google Workspace.
SOCKET_READ_TIMEOUT נוצר חיבור למקור, אבל החיבור הסתיים לפני שהעברת הנתונים הושלמה. זו שגיאה זמנית והאפליקציה תנסה לשלוח את הבקשה שוב. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.
TOO_MANY_ERRORS הפיד הגיע לזמן קצוב לתפוגה כי היו בו כמה שגיאות מהמקור. פנייה לתמיכה של Google SecOps
TRANSIENT_INTERNAL_ERROR הייתה שגיאה פנימית זמנית בפיד. זו שגיאה זמנית והאפליקציה תנסה לשלוח את הבקשה שוב. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.
UNSAFE_CONNECTION האפליקציה לא הצליחה ליצור חיבור כי כתובת ה-IP הייתה מוגבלת. השגיאה היא זמנית ו-Google SecOps ינסה לשלוח את הבקשה שוב. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps.

שגיאות בניתוח ובנרמול

השגיאות האלה מתרחשות אחרי ההטמעה, במהלך תהליך המיפוי של יומנים גולמיים למודל הנתונים המאוחד (UDM). אם מתרחשות כאן שגיאות, יכול להיות ש-Google SecOps ישמיט יומנים, או שלא תוכלו לחפש יומנים באמצעות שדות UDM.

סוג שגיאת הניתוח תיאור השגיאה פתרון בעיות
ביטוי רגולרי יש בעיה בניתוח של ביטוי רגולרי. בודקים את הלוגיקה של הניתוח. כדי לקבל עזרה בנוגע למנתחי נתונים מוכנים מראש, פנו לתמיכה של Google SecOps.
Invalid_config יש בעיה בקובץ ההגדרות של כלי הניתוח. מאמתים את קובץ ההגדרה של כלי הניתוח ומתקנים אותו.
שגיאה באימות של קבוצת אירועים לאינדקס נתונים שעברו נירמול לא עוברים בדיקות סכימה. בודקים את המיפוי של מנתח התוכן לשדות UDM כדי לוודא שהוא עומד בדרישות.
Backlog המערכת עיכבה את הנורמליזציה. יומנים גולמיים נמצאים בתור וממתינים לעיבוד. אם העיכוב נמשך, צריך לפנות לתמיכה.
LOG_PARSING_DROPPED_NO_EVENTS המנתח לא הפיק אירועים, ולכן היומן נמחק. בודקים את היומנים הגולמיים כדי לוודא שהם מכילים נתונים שאמורים להפיק אירועים.
LOG_PARSING_DROPPED_BY_FILTER מסנן השמטה מפורש במנתח גרם למערכת להשמיט את היומן. בודקים את תנאי הסינון בקוד של כלי הניתוח. לרוב, זה קורה בכוונה ביומנים שאין להם ערך אבטחתי.
LOG_PARSING_DROPPED_BY_FILTER: TAG_MALFORMED_ENCODING קידוד שגוי של JSON או XML גרם לכשל בניתוח. צריך לוודא שמקור היומן משתמש בקידוד נתמך ובפורמט תקין.
LOG_PARSING_NO_PARSER_FOUND למערכת אין מנתח ליומן מהסוג הזה. מוודאים שהגדרתם את LogType הנכון ושהמנתח פעיל עבור הסוג הזה.

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.