פתרון בעיות שקשורות להעברה של נתונים
במאמר הזה מוסבר על שגיאות שאפשר להיתקל בהן במהלך הטמעת נתונים ונרמול שלהם ב-Google Security Operations, ומתואר איך לפתור אותן. הטבלאות הבאות יעזרו לכם לאבחן כשלים בהטמעה, לזהות יומנים שהושמטו ולהעריך את ההשפעה על המערכות בהמשך.
במסמך הזה מתוארות השגיאות שמתקבלות בשיטות ההטמעה הבאות: Google SecOps forwarder, Google SecOps Ingestion API, Google SecOps API feed ושותפי טכנולוגיה של צד שלישי.
שגיאות במקור ובקליטה
יכול להיות שתיתקלו בשגיאות הבאות במקרים הבאים:
- אחזור נתונים ממערכות מקור.
- הכלי להעברת נתונים של Google SecOps או פיד של צד שלישי מנסה לתקשר עם API או משאב חיצוניים.
| קוד מצב HTTP | סיבת השגיאה | קוד שגיאה קנוני | הודעת השגיאה | תיאור השגיאה | פתרון בעיות |
|---|---|---|---|---|---|
| 206 | תוכן חלקי | REMOTE_ |
שגיאה בשרת מרוחק בגלל תוכן חלקי. | השרת במעלה הזרם מחזיר תוכן חלקי במקום מערך הנתונים המלא של פידים מסוג MICROSOFT_GRAPH_ALERT. |
זו בעיה ב-API של מקור נתונים. מערכת Google SecOps מנסה שוב להעביר את הנתונים באופן אוטומטי. הנתונים נשמרים לא צריך לעשות שום פעולה נוספת. |
| 400 | בקשה פגומה | INVALID_ |
פרמטרים לא תקינים בבקשה. | המערכת יצרה חיבור למקור, אבל הפיד נכשל בגלל ארגומנטים לא תקינים. | צריך לוודא שיש הרשאות למקורות, שיש לכם את התפקידים הנדרשים ושהזנתם את כל שדות החובה בצורה נכונה. בודקים אם יש תווים לא חוקיים במזהים, באזורים או בשמות, ומוודאים שפרמטרים כמו מרווחי זמן בין סקרים נמצאים בטווח המותר. בודקים את הגדרות הפיד וקוראים את מסמכי הפידים. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. |
| 401 | אין הרשאה | LOGIN_ |
האימות נכשל. צריך לאמת את פרטי הכניסה ולנסות שוב. | המערכת יצרה חיבור, אבל ההרשאה נכשלה בגלל פרטי כניסה שגויים או חסרים. | צריך לוודא שפרטי הכניסה למקור נכונים ושלא פג התוקף שלהם, ואז להזין אותם מחדש. |
| 403 | אסור | ACCESS_ |
הגישה נדחתה. לפרטי הכניסה אין הרשאות לגשת למשאב הזה. | המערכת יצרה חיבור למקור, אבל לפרטי הכניסה אין את ההרשאות הנדרשות למשאב. | מוודאים שלשירות, לחשבון האימות או למפתח ה-API יש את התפקידים או ההרשאות הנדרשים לניהול זהויות והרשאות גישה (IAM) עבור המשאב. פרטים נוספים זמינים במאמר בנושא הגדרת פיד. לדוגמה, כדאי לבדוק שוב את מחרוזת החיבור של Azure Event Hub בפורטל Azure. אפשר גם לעיין במסמכי התיעוד בנושא פידים כדי לראות אילו הרשאות נדרשות. מידע על הרשאות זמין במאמר הגדרה לפי סוג מקור. |
| 404 | כתובת האתר לא נמצאה | FILE_ |
נקודת הקצה לא נמצאה. מאמתים את כתובת ה-URL ואת פרטי מקור המידע. | המערכת לא הצליחה לאתר את הקובץ או נקודת הקצה הספציפיים. | כדאי לבדוק את הדברים הבאים:
אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. |
| 429 | ACCESS_ |
הזמן הקצוב לתפוגה של הפיד הסתיים. | המקור מגביל את קצב הבקשות. הפיד נכשל כי היו יותר מדי ניסיונות להגיע למקור. | בדרך כלל זו בעיה זמנית. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. | |
| 500 | נוצר חיבור למקור, אבל המקור לא הגיב עם נתונים. | מוודאים שהמקור זמין ומגיב. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. | |||
| 502 | הייתה שגיאת שער בפיד. | זו שגיאה זמנית והאפליקציה תנסה לשלוח את הבקשה שוב. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. | |||
| 503 | בעיה זמנית בחיבור. | המקור או השער לא הגיבו או שהזמן הקצוב לתפוגה הסתיים. | מוודאים שהמקור זמין ומגיב. אם מבצעים קריאה ל-API באופן פרוגרמטי, צריך להשתמש בהשהיה מעריכית עם רכיב אקראי לפני ניסיון חוזר (jittered exponential backoff). | ||
| 504 | מערכת Google SecOps לא יכולה להתחבר לכתובת ה-IP ולפורט של המקור. | זו שגיאה זמנית והאפליקציה תנסה לשלוח את הבקשה שוב. כדאי לבדוק את הדברים הבאים:
אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. |
|||
| פרטי כניסה כלליים | אי אפשר לאמת את פרטי הכניסה. בודקים את פרטי ההגדרה. | בודקים את פרטי ההגדרה הכלליים של קבוצת פרטי הכניסה במסוף Google SecOps. | |||
| CONNECTION_ |
המערכת יצרה חיבור למקור, אבל החיבור נסגר לפני שהפיד הסתיים. | זו שגיאה זמנית והאפליקציה תנסה לשלוח את הבקשה שוב. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. | |||
| CONNECTION_ |
אי אפשר להתחבר למקור. | המערכת לא מצליחה ליצור חיבור לרשת. האפליקציה לא יכולה להתחבר לכתובת ה-IP ולפורט של המקור. | מוודאים שהמקור זמין, שחומת האש לא חוסמת את החיבור וכתובת ה-IP נכונה. כדאי לבדוק את הדברים הבאים:
אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. |
||
| DNS_ |
שגיאת DNS. | המערכת לא יכולה לזהות את שם המארח של המקור. | צריך לוודא שכתובות ה-URL בפרמטרים של הפיד ובהגדרות של שרת שמות המקור תקינות. בודקים אם יש שגיאות איות בשם המארח של השרת. | ||
| FILE_ |
המערכת יצרה חיבור למקור, אבל הייתה בעיה בקובץ או במשאב. | כדאי לבדוק את הדברים הבאים:
אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. |
|||
| GATEWAY_ |
ה-API החזיר שגיאת שער לקריאה שבוצעה על ידי Google SecOps. | בודקים את פרטי המקור של הפיד. האפליקציה תנסה לשלוח את הבקשה שוב. | |||
| INTERNAL_ |
אי אפשר להטמיע נתונים בגלל שגיאה פנימית. | אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. | |||
| INVALID_ |
הגדרת הפיד מכילה ערכים לא תקינים. | בודקים את הגדרות הפיד כדי לוודא שהן נכונות. במאמרי העזרה בנושא פידים מוסבר מהו התחביר הנכון. | |||
| INVALID_ |
נוצר חיבור למקור, אבל התגובה הייתה שגויה. | בודקים את הגדרות הפיד. מידע נוסף על הגדרת פידים אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. | |||
| INVALID_ |
המפתח הסודי לא תואם. | צריך לבדוק אם יש אי התאמה בין המפתח הסודי שהוגדר בפיד לבין המפתח ש-Google SecOps קיבלה בכותרת ה-HTTP. לדוגמה, כשמשתמשים בהעברה של נתונים באמצעות HTTPS Push. | |||
| INVALID_ |
אישור SSL לא תקין. | המערכת לא הצליחה לאמת את אישור ה-SSL של המקור. | בודקים את ההרשאות של המקור ומוודאים שהאישור של השרת תקף ומהימן. | ||
| NO_ |
נוצר חיבור למקור, אבל המקור לא הגיב. | מוודאים שהמקור יכול לתמוך בבקשות מ-Google SecOps. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. | |||
| REMOTE_ |
נוצר חיבור למקור, אבל המקור לא הגיב עם נתונים. | מוודאים שהמקור זמין ושנשלחים ממנו נתונים. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. | |||
| REMOTE_ |
נוצר חיבור למקור, אבל המקור דחה את הבקשה. | בודקים את הגדרות הפיד. פרטים נוספים מופיעים במסמכי העזרה בנושא פידים. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. | |||
| RESOURCE_ |
חריגה מהמכסה או מהגבלת הקצב של יצירת בקשות. | בודקים אם דחיות של מכסות מתרחשות בגלל נפח בקשות גבוה או מגבלות נתונים. המקור שולח בקשות בתדירות גבוהה מדי. חשוב לעקוב אחרי השימוש במכסה ולפנות לתמיכה אם צריך. לדוגמה, כשמשתמשים ב-Ingestion API או ב-Google Workspace. | |||
| SOCKET_ |
נוצר חיבור למקור, אבל החיבור הסתיים לפני שהעברת הנתונים הושלמה. | זו שגיאה זמנית והאפליקציה תנסה לשלוח את הבקשה שוב. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. | |||
| TOO_ |
הפיד הגיע לזמן קצוב לתפוגה כי היו בו כמה שגיאות מהמקור. | פנייה לתמיכה של Google SecOps | |||
| TRANSIENT_ |
הייתה שגיאה פנימית זמנית בפיד. | זו שגיאה זמנית והאפליקציה תנסה לשלוח את הבקשה שוב. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. | |||
| UNSAFE_ |
האפליקציה לא הצליחה ליצור חיבור כי כתובת ה-IP הייתה מוגבלת. | השגיאה היא זמנית ו-Google SecOps ינסה לשלוח את הבקשה שוב. אם הבעיה נמשכת, אפשר לפנות לתמיכה של Google SecOps. |
שגיאות בניתוח ובנרמול
השגיאות האלה מתרחשות אחרי ההטמעה, במהלך תהליך המיפוי של יומנים גולמיים למודל הנתונים המאוחד (UDM). אם מתרחשות כאן שגיאות, יכול להיות ש-Google SecOps ישמיט יומנים, או שלא תוכלו לחפש יומנים באמצעות שדות UDM.
| סוג שגיאת הניתוח | תיאור השגיאה | פתרון בעיות |
|---|---|---|
| ביטוי רגולרי | יש בעיה בניתוח של ביטוי רגולרי. | בודקים את הלוגיקה של הניתוח. כדי לקבל עזרה בנוגע למנתחי נתונים מוכנים מראש, פנו לתמיכה של Google SecOps. |
| Invalid_config | יש בעיה בקובץ ההגדרות של כלי הניתוח. | מאמתים את קובץ ההגדרה של כלי הניתוח ומתקנים אותו. |
| שגיאה באימות של קבוצת אירועים לאינדקס | נתונים שעברו נירמול לא עוברים בדיקות סכימה. | בודקים את המיפוי של מנתח התוכן לשדות UDM כדי לוודא שהוא עומד בדרישות. |
| Backlog | המערכת עיכבה את הנורמליזציה. | יומנים גולמיים נמצאים בתור וממתינים לעיבוד. אם העיכוב נמשך, צריך לפנות לתמיכה. |
| LOG_PARSING_DROPPED_NO_EVENTS | המנתח לא הפיק אירועים, ולכן היומן נמחק. | בודקים את היומנים הגולמיים כדי לוודא שהם מכילים נתונים שאמורים להפיק אירועים. |
| LOG_PARSING_DROPPED_BY_FILTER | מסנן השמטה מפורש במנתח גרם למערכת להשמיט את היומן. | בודקים את תנאי הסינון בקוד של כלי הניתוח. לרוב, זה קורה בכוונה ביומנים שאין להם ערך אבטחתי. |
| LOG_PARSING_DROPPED_BY_FILTER: TAG_MALFORMED_ENCODING | קידוד שגוי של JSON או XML גרם לכשל בניתוח. | צריך לוודא שמקור היומן משתמש בקידוד נתמך ובפורמט תקין. |
| LOG_PARSING_NO_PARSER_FOUND | למערכת אין מנתח ליומן מהסוג הזה. | מוודאים שהגדרתם את LogType הנכון ושהמנתח פעיל עבור הסוג הזה. |
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.