Flow Analyzer מנתח נתונים של VPC Flow Logs שמאוחסנים בפורמט רשומה. רשומות ביומן מכילות שדות בסיסיים, שהם שדות הליבה של כל רשומה ביומן, ושדות מטא-נתונים, שמספקים מידע נוסף. רשומות היומן למעקב אחרי זרימות תנועה כוללות שלושה רכיבים עיקריים:
- פרטי המשאב
- סוגי מדדים
- פעולות על ציר הזמן
פרטי המשאב
רשומות היומן כוללות את הנתונים הבאים לגבי המשאבים:
סוגי מדדים
רשומות היומן כוללות נתונים עבור סוגי המדדים הבאים:
- Bytes sent: מכיל מידע על נפחי המטען הייעודי (payload) ולא כולל כותרות. יכול להיות שערך המדד הזה יהיה אפס כי חלק מהחבילות מכילות רק כותרות ולא כוללות מטען ייעודי.
- חבילות נתונים שנשלחו: מציין את מספר חבילות הנתונים שנשלחו מהמקור ליעד.
נתונים גולמיים של פעולות על ציר הזמן
כמות הנתונים הגולמיים של מדד בסדרת זמן יכולה להיות עצומה, ובדרך כלל יש הרבה סדרות זמן שמשויכות לסוג מדד. כדי לנתח את כל קבוצת הנתונים ולמצוא בה נקודות משותפות, מגמות או חריגים, צריך לבצע עיבוד מסוים בסדרת הזמן שבקבוצה. אחרת, יש יותר מדי נתונים.
כדי להציג את הדגימה והצבירה של הדוגמאות בדף הזה, נשתמש במספר קטן של סדרות זמן היפותטיות. לדוגמה, בתרשים הבא מוצגים נתונים גולמיים של כמה דקות לסוג המדד בייטים לשנייה:
כדי לנתח נתוני סדרות זמן גולמיים, צריך לעבד אותם. לרוב, הניתוח כולל דגימה של הנתונים וצבירה של חלק מהם. בדף הזה מתוארות שתי טכניקות עיקריות לשיפור נתונים גולמיים:
- דגימה, שבה חלק מהנתונים לא נלקחים בחשבון. Google Cloud מבצע את הדגימה ומשתמש בנתונים הנדרשים מרשומות היומן כדי לבצע פעולות כמו שמופיע בשאילתות.
- צבירה, שבה משולבים כמה פריטי נתונים לקבוצה קטנה יותר לפי מאפיינים שאתם מציינים.
דגימה וצבירה הן כלים שימושיים שיכולים לעזור לכם לזהות דפוסים מעניינים, להדגיש מגמות או חריגים בנתונים ועוד.
הסבר על תקופת ההתאמה
השלב הראשון בצבירת נתונים של סדרות עיתיות הוא יישור. התאמה יוצרת סדרת זמן חדשה שבה הנתונים הגולמיים מוסדרים בזמן, כך שאפשר לשלב אותם עם סדרות זמן אחרות שעברו התאמה. ההתאמה יוצרת סדרות זמן עם נתונים במרווחים קבועים.
תהליך ההתאמה כולל שני שלבים:
- חלוקת סדרת הזמנים למרווחי זמן קבועים, שנקראת גם חלוקת הנתונים לקבוצות. המרווח הזה נקרא תקופת ההתאמה.
- חישוב ערך מדד יחיד לנקודות בתקופת ההתאמה. אתם בוחרים איך לחשב את הנקודה היחידה הזו. למשל, אפשר לסכם את כל הערכים, לחשב את הממוצע שלהם או להשתמש בערך המקסימלי.
בתרשים הבא אפשר לראות איך תקופת ההתאמה משמשת לסיווג הנתונים בטווח שבין שעת ההתחלה לשעת הסיום.
הדיאגרמה הבאה מציגה את התוצאה של שימוש בתקופת התאמה של חמש דקות עם השלבים הבאים:
- יצירת תקופת התאמה של מרווח זמן של חמש דקות.
- חישוב הערך היחיד של המדד באמצעות סכום ערכי המדד מתוך הנתונים הגולמיים.
רמת פירוט
אם אתם יודעים שמשהו קרה בטווח של כמה דקות ואתם רוצים לבדוק את זה לעומק, כדאי להשתמש בפרק זמן של דקה אחת לצורך ההתאמה.
אם אתם רוצים לבדוק מגמות לאורך תקופות ארוכות יותר, כדאי להגדיר תקופת התאמה ארוכה יותר. תקופות ארוכות של התאמה בדרך כלל לא מועילות לבחינת תנאים חריגים לטווח קצר, כמו עליות קצרות בתנועה. אם משתמשים, לדוגמה, בתקופת התאמה של כמה שבועות, עדיין אפשר לזהות חריגה בתקופה הזו, אבל יכול להיות שהנתונים המותאמים יהיו כלליים מדי ולא יעזרו במיוחד.
במקרים של משכי זמן ארוכים, תקופת התאמה קצרה יותר לא תועיל. לדוגמה, אם בוחרים התאמה של דקה אחת לתקופה של 30 יום, Flow Analyzer יוצר יותר מ-43,000 נקודות נתונים. מכיוון ש-43,000 נקודות נתונים גדולות פי 10 ממספר הפיקסלים בתצוגה של 4k, אי אפשר לראות את כל הפרטים וחלק מהאפשרויות מושבתות לפרקי זמן ארוכים.
אפשרויות יישור
אפשרויות ההתאמה כוללות סיכום של הערכים, מציאת הערך המקסימלי, המינימלי או הממוצע של הערכים, מציאת ערך אחוזון נבחר, ספירת הערכים ועוד. באמצעות Flow Analyzer, אתם יכולים להשתמש בצבירות שונות של מדדים כאפשרויות יישור.
אם בוחרים באפשרות Bytes sent (בייט שנשלח) כסוג המדד ובאפשרות Source and destination (מקור ויעד) כסוג צבירת התנועה, האפשרויות הבאות זמינות.
- סך כל התנועה
- שיעור ממוצע של תנועת גולשים
- שיעור חציוני של תנועת הגולשים
- שיעור תנועת הגולשים ב-P95
- קצב תנועת הגולשים המקסימלי
אם בוחרים באפשרות Packets sent (מנות שנשלחו) כסוג המדד ובאפשרות Source and destination (מקור ויעד) כצבירת התנועה, האפשרויות הבאות זמינות.
- חבילות מצטברות
- שיעור ממוצע של חבילות
- שיעור חבילות חציון
- שיעור חבילות P95
- קצב חבילות מקסימלי
בתרשים הבא מוצגת התוצאה של שימוש בשתי אפשרויות יישור של total traffic ו-average traffic rate.
שימוש בתקופת התאמה
אפשר להשתמש באפשרות תקופת ההתאמה כדי לצבור את זרימות התנועה במרווחי זמן של משך הזמן שנבחר. אפשר להגדיל את התצוגה של התרשים כדי לראות את הפרטים הספציפיים, אם צריך.
המאמרים הבאים
- ניתוח של זרימות תנועה
- הפעלת ניתוח נתונים של יכולת התבוננות
- הגדרת קטגוריה מרכזית
- הפעלת בדיקות קישוריות מ-Flow Analyzer
- מעקב אחר תנועת הגולשים
- פתרון בעיות בנתונים ב-Flow Analyzer