הכלי Flow Analyzer מנתח נתונים מ-VPC Flow Logs שמאוחסנים בפורמט רשומה. רשומות ביומן מכילות שדות בסיסיים, שהם שדות הליבה של כל רשומה ביומן, ושדות מטא-נתונים, שמספקים מידע נוסף. רשומות היומן למעקב אחרי זרימות תנועה כוללות שלושה רכיבים עיקריים:
- פרטי המשאב
- סוגי מדדים
- פעולות על ציר הזמן
פרטי המשאב
רשומות היומן כוללות את הנתונים הבאים לגבי המשאבים:
סוגי מדדים
רשומות היומן כוללות נתונים של סוגי המדדים הבאים:
- Bytes sent: מכיל מידע על נפחי המטען הייעודי (payload) ולא כולל כותרות. יכול להיות שערך המדד הזה יהיה אפס כי חלק מהחבילות מכילות רק כותרות ולא כוללות מטען ייעודי.
- חבילות נתונים שנשלחו: מציין את מספר חבילות הנתונים שנשלחו מהמקור ליעד.
נתונים גולמיים של פעולות על ציר הזמן
כמות נתוני המדדים הגולמיים בסדרת זמן יחידה יכולה להיות עצומה, ובדרך כלל יש הרבה סדרות זמן שמשויכות לסוג מדד. כדי לנתח את כל קבוצת הנתונים ולמצוא בה נקודות משותפות, מגמות או חריגות, צריך לבצע עיבוד מסוים בסדרות העיתיות שבקבוצה. אחרת, יש יותר מדי נתונים שצריך לקחת בחשבון.
כדי להציג את הדגימה והצבירה של הדוגמאות בדף הזה, נשתמש במספר קטן של סדרות זמן היפותטיות. לדוגמה, בתרשים הבא מוצגים נתונים גולמיים של כמה דקות לסוג המדד בייטים לשנייה:
צריך לעבד נתוני סדרות זמן גולמיים לפני שאפשר לנתח אותם, ולרוב הניתוח כולל דגימה של הנתונים וצבירה של חלק מהם. בדף הזה מתוארות שתי טכניקות עיקריות לשיפור נתונים גולמיים:
- דגימה, שבה חלק מהנתונים לא נלקחים בחשבון. Google Cloud מבצע את הדגימה ומשתמש בנתונים הנדרשים מרשומות היומן כדי לבצע פעולות כמו שמופיע בשאילתות.
- צבירה, שבה משולבים כמה פריטי נתונים לקבוצה קטנה יותר לפי מאפיינים שאתם מציינים.
דגימה וצבירה הן כלים שימושיים שיכולים לעזור לכם לזהות דפוסים מעניינים, להדגיש מגמות או חריגים בנתונים ועוד.
הסבר על תקופת ההתאמה
השלב הראשון בצבירת נתונים של סדרות זמן הוא יישור. התאמה יוצרת סדרת זמן חדשה שבה הנתונים הגולמיים מוסדרים בזמן, כך שאפשר לשלב אותם עם סדרות זמן מותאמות אחרות. ההתאמה יוצרת סדרות זמן עם נתונים במרווחים קבועים.
תהליך ההתאמה כולל שני שלבים:
- חלוקת סדרת הזמנים למרווחי זמן קבועים, שנקראת גם חלוקת הנתונים לקטגוריות. המרווח הזה נקרא תקופת ההתאמה.
- חישוב ערך מדד יחיד לנקודות בתקופת ההתאמה. אתם בוחרים איך לחשב את הנקודה היחידה הזו. למשל, אפשר לסכום את כל הערכים, לחשב את הממוצע שלהם או להשתמש במקסימום.
הדיאגרמה הבאה מציגה כיצד תקופת היישור משמשת לסיווג הנתונים בטווח שבין שעת ההתחלה לשעת הסיום.
בדיאגרמה הבאה מוצגות התוצאות של שימוש בתקופת התאמה של חמש דקות עם השלבים הבאים:
- יצירת תקופת התאמה של מרווח זמן של חמש דקות.
- חישוב ערך המדד היחיד באמצעות סכום ערכי המדד מנתוני הגולמיים.
רמת פירוט
אם אתם יודעים שמשהו קרה בטווח של כמה דקות ואתם רוצים לבדוק את זה לעומק, כדאי להשתמש בפרק זמן של דקה אחת לצורך ההתאמה.
אם אתם רוצים לבדוק מגמות לאורך תקופות ארוכות יותר, כדאי להגדיר תקופת התאמה ארוכה יותר. תקופות ארוכות של התאמה בדרך כלל לא מועילות לבחינת תנאים חריגים לטווח קצר, כמו עליות קצרות בתנועה. אם משתמשים, לדוגמה, בתקופת התאמה של כמה שבועות, עדיין אפשר לזהות חריגה בתקופה הזו, אבל יכול להיות שהנתונים המותאמים יהיו כלליים מדי ולא יעזרו במיוחד.
במקרים של משכי זמן ארוכים, תקופת התאמה קצרה יותר לא תועיל. לדוגמה, אם בוחרים יישור של דקה אחת לתקופה של 30 יום, Flow Analyzer יוצר יותר מ-43,000 נקודות נתונים. מכיוון ש-43,000 נקודות נתונים גדולות פי 10 ממספר הפיקסלים בתצוגה של 4k, אי אפשר לראות את כל הפרטים וחלק מהאפשרויות מושבתות לפרקי זמן ארוכים.
אפשרויות יישור
אפשרויות ההתאמה כוללות סיכום של הערכים, מציאת הערך המקסימלי, המינימלי או הממוצע של הערכים, מציאת ערך אחוזון נבחר, ספירת הערכים ועוד. באמצעות הכלי Flow Analyzer, אתם יכולים להשתמש בצבירות שונות של מדדים כאפשרויות יישור.
אם בוחרים באפשרות Bytes sent (בייט שנשלח) כסוג המדד ובאפשרות Source and destination (מקור ויעד) כסוג צבירת התנועה, האפשרויות הבאות זמינות.
- סך כל התנועה
- שיעור ממוצע של תנועת גולשים
- שיעור תנועת הגולשים החציוני
- שיעור תנועת הגולשים P95
- קצב תנועת גולשים מקסימלי
אם בוחרים באפשרות Packets sent (מנות שנשלחו) כסוג המדד ובאפשרות Source and destination (מקור ויעד) כצבירת התנועה, האפשרויות הבאות זמינות.
- חבילות מצטברות
- שיעור ממוצע של חבילות
- שיעור חבילות חציוני
- שיעור חבילות P95
- קצב חבילות מקסימלי
בתרשים הבא מוצגת התוצאה של שימוש בשתי אפשרויות יישור של תנועה כוללת וקצב תנועה ממוצע.
שימוש בתקופת התאמה
אפשר להשתמש באפשרות תקופת ההתאמה כדי לצבור את זרימות התנועה במרווחי זמן של משך הזמן שנבחר. אפשר להגדיל את התצוגה של התרשים כדי לראות את הפרטים הספציפיים, אם צריך.
המאמרים הבאים
- ניתוח של זרימת תנועה
- הפעלת Log Analytics
- הגדרת קטגוריה מרכזית
- הפעלת בדיקות קישוריות מ-Flow Analyzer
- מעקב אחר זרימות התנועה
- פתרון בעיות בנתונים ב-Flow Analyzer