סקירה כללית של Flow Analyzer

בעזרת Flow Analyzer אפשר להבין במהירות וביעילות את זרימות התנועה בענן הווירטואלי הפרטי (VPC), בלי לכתוב שאילתות SQL מורכבות כדי לנתח את יומני הזרימה של VPC. Flow Analyzer מאפשר לכם לבצע ניתוח של תעבורת נתונים ברשת עם רמת פירוט של 5 טאפלים (כתובת IP של המקור, כתובת IP של היעד, יציאת המקור, יציאת היעד ופרוטוקול).

הכלי Flow Analyzer פותח באמצעות Log Analytics ומבוסס על BigQuery. הוא מאפשר ניתוח מעמיק של תנועת נתונים נכנסת ויוצאת של מכונות וירטואליות. הוא מאפשר לכם לעקוב אחרי פריסת הרשת, לפתור בעיות ולבצע אופטימיזציה כדי לשפר את הביצועים ולחזק את האבטחה. כך תוכלו לוודא שהשימוש ברשת עומד בדרישות התאימות ולחסוך בעלויות.

הכלי Flow Analyzer מנתח נתונים של VPC Flow Logs שמאוחסנים בקטגוריית יומן (פורמט רשומה). כדי להשתמש ב-Flow Analyzer, צריך לבחור פרויקט עם קטגוריה ביומן שמכילה VPC Flow Logs. מידע נוסף זמין בסקירה הכללית על יומני תעבורה של VPC. אפשר להשתמש ב-VPC Flow Logs כדי לבצע מעקב אחר הרשת, פורנזיקה דיגיטלית, ניתוח אבטחה בזמן אמת ואופטימיזציה של ההוצאות.

Flow Analyzer מריץ שאילתות על השדות שכלולים ב-VPC Flow Logs. מידע נוסף זמין במאמר בנושא מאפיינים מרכזיים של יומני תנועה ב-VPC.

ב-Flow Analyzer אפשר:

  • יומני שאילתות שדווחו על ידי VPC Flow Logs
  • שימוש במסנני SQL כדי לצמצם את השאילתות
  • מיון תוצאות השאילתה לפי נפח תנועה כולל, חבילות מצטברות או זמן אחזור
  • צפייה בתנועה בפרק זמן ספציפי
  • הצגת חמשת התהליכים המובילים עם התנועה או זמן האחזור הגבוהים ביותר, בתקופת הזמן שנבחרה
  • הצגת משאבים עם התנועה או זמן האחזור הגבוהים ביותר, בתקופת הזמן שנבחרה
  • צפייה בפרטי התנועה עבור זוגות ספציפיים של מקור ויעד בתוצאות השאילתה

איך זה עובד

יומני זרימה של VPC דוגמים מנות ברשת ה-VPC כדי ליצור יומני זרימה, שאפשר לאחסן ב-Cloud Logging או לנתב ליעדים נתמכים, כמו BigQuery או פלטפורמה של צד שלישי דרך Pub/Sub.

כשיומני זרימה מאוחסנים בקטגוריות שמופעל בהן Log Analytics ב-Cloud Logging, אפשר להשתמש ב-Flow Analyzer כדי לשלוח שאילתות על נתוני התנועה ולהציג אותם באופן חזותי.

רכיבי שאילתה

כדי לנתח ולהבין את זרימות התנועה, צריך להריץ שאילתה ב-VPC Flow Logs. הכלי Flow Analyzer עוזר לכם ליצור את השאילתה, להתאים אישית את אפשרויות התצוגה ולבצע חיתוך אנכי כדי להציג ולעקוב אחרי זרימות התנועה.

צבירת תנועה

כדי לנתח את זרימות התנועה ב-VPC, צריך לקבוע את שיטת הצבירה כדי לסנן את הזרימות בין המשאבים. Flow Analyzer מארגן את יומני הזרימה לצורך צבירה בדרכים הבאות:

  • מקור ויעד: האפשרות הזו משתמשת במידע SRC ו-DEST שכלול ביומני הזרימה של VPC. בתצוגה הזו מוצגת תנועה מצטברת ממקור ליעד.
  • לקוח ושרת: האפשרות הזו מנסה למצוא את הגורם שיזם את החיבור. משאב עם מספר יציאה קטן יותר נחשב לשרת. הוא גם מתייחס למשאבים עם הגדרה של gke_service כאל שרתים, כי שירותים לא יוזמים בקשות. בתצוגה הזו מוצגת תנועה מצטברת בשני הכיוונים.

בורר טווח הזמן

טווח הזמן שמוגדר כברירת מחדל הוא שעה אחת, אבל אפשר לבחור מתוך אפשרויות זמן מוגדרות מראש, לציין זמן התחלה וזמן סיום מותאמים אישית או למרכז את טווח הזמן סביב חותמת זמן ספציפית באמצעות הכלי לבחירת טווח זמן. לדוגמה, אם רוצים לראות את הנתונים של השבוע האחרון, בוחרים באפשרות השבוע האחרון בבורר טווח הזמן.

אפשר גם להגדיר את העדפות אזור הזמן באמצעות הכלי לבחירת טווח תאריכים.

מסננים בסיסיים

מסננים בסיסיים מאפשרים להגדיר את היקף השאילתה. בתוצאות השאילתה מוצגים רק התהליכים שתואמים למסננים שבחרתם. אפשר לבחור מסננים עבור:

  • מקור ויעד (אם צבירת תנועה מוגדרת למקור – יעד)
  • Client ו-Server (אם Traffic aggregation מוגדר ל-Client - Server)
  • פרמטרים של זרימת נתונים

בכל רשימת Filter, אפשר להוסיף כמה ביטויי מסננים. אם בוחרים יותר מערך אחד לאותו מסנן, נעשה שימוש באופרטור OR. אם בוחרים יותר ממסנן אחד, נעשה שימוש באופרטור AND.

לדוגמה, אם בוחרים שני ערכים של כתובות IP – 10.10.0.10 ו-10.10.0.20 – ושני ערכים של מדינה – usa ו-fra – הלוגיקה הבאה של הסינון מוחלת על השאילתה: (IP=10.10.0.10 OR IP=10.10.0.20) AND (Country=usa OR Country=fra).

כדי ליצור ולהריץ שאילתות באמצעות מסננים בסיסיים, אפשר לעיין במאמר יצירה והרצה של שאילתות.

מסנני SQL

כדי ליצור שאילתות מורכבות, אפשר להשתמש במסנני SQL. בעזרת שאילתות מורכבות תוכלו לבצע משימות כמו:

  1. השוואה בין ערכי שדות
  2. יצירת לוגיקה בוליאנית מורכבת באמצעות AND/OR ופעולות OR מוטמעות
  3. ביצוע פעולות מורכבות על כתובות IP באמצעות פונקציות של BigQuery

השאילתות של מסנני ה-SQL משתמשות בתחביר SQL של BigQuery. מידע נוסף זמין במאמר בנושא תחביר SQL ב-BigQuery.

כדי לראות את התחביר של ביטויי סינון ודוגמאות, לוחצים על התחביר של ביטויי סינון ודוגמאות.

כדי ליצור ולהריץ שאילתות באמצעות מסנני SQL, אפשר לעיין במאמר בנושא יצירה והרצה של שאילתת SQL.

תוצאות השאילתה

תוצאות השאילתה כוללות את הרכיבים הבאים:

  • בתרשים הזרימות הגבוהות ביותר של נתונים מוצגות חמש זרימות התנועה הגבוהות ביותר לאורך זמן, יחד עם שאר התנועה. בעזרת התרשים הזה אפשר לזהות מגמות כמו עליות חדות בתנועת הגולשים.
  • הטבלה All data flows: מציגה את תנועות התנועה המובילות עד 10,000 שורות, שמצטברות במהלך משך הזמן שנבחר. בטבלה הזו מוצגים השדות שנבחרו לארגון התהליכים בזמן הגדרת המסננים לשאילתה.

אם בוחרים באפשרות זמן אחזור באפשרויות תצוגה, מוצגות במקום זאת האפשרויות הזרימות עם זמן האחזור הכי גבוה וכל הזרימות עם זמן האחזור.

אפשרויות תצוגה

אחרי שמריצים שאילתה, אפשר לצמצם את התוצאות באמצעות אפשרויות התצוגה. הבחירות שלכם מעדכנות גם את התרשים וגם את הטבלה.

Flow Analyzer מספק שני מצבים להתאמה אישית של אופן הצגת הנתונים:

מידע נוסף מופיע במאמר בנושא התאמה אישית של אפשרויות התצוגה.

נפח הנתונים

אלה האפשרויות שזמינות במצב התצוגה נפח הנתונים.

סוגי מדדים

אפשר לבחור להציג אחד מסוגי המדדים הבאים.

  • Bytes sent: מכיל מידע על נפחי המטען הייעודי (payload) ולא כולל כותרות. הערך של המדד הזה יכול להיות אפס כי חלק מהחבילות מכילות רק כותרות ולא כוללות מטען ייעודי (Payload).

  • חבילות נתונים שנשלחו: מציין את מספר חבילות הנתונים שנשלחו מהמקור ליעד.

בשני סוגי המדדים אפשר לבחור צבירות נוספות של מדדים.

צבירת מדדים

אפשר לראות את צבירת המדדים בדרכים הבאות.

אם בוחרים באפשרות Bytes sent כמדד ובאפשרות Source and destination כצבירת התנועה, האפשרויות הבאות זמינות:

  • תנועה כוללת: האפשרות הזו מופעלת תמיד כברירת מחדל, ומוצגת בה התנועה הכוללת בפרק הזמן שנבחר.
  • שיעור תנועה ממוצע: שיעור התנועה הממוצע (בבייט לשנייה) בתקופת הזמן שנבחרה, שמחושב רק לתקופות ההתאמה שבהן נצפתה התנועה. מידע נוסף מופיע בקטע תקופת ההתאמה.
  • שיעור תנועה חציוני: מוצג שיעור התנועה החציוני (בבייטים לשנייה) לתקופת הזמן שנבחרה, שמחושב רק לתקופות ההתאמה שבהן נצפתה התנועה. מידע נוסף מופיע בקטע תקופת ההתאמה.
  • שיעור התנועה ב-P95: שיעור התנועה באחוזון ה-95 בבייט לשנייה בתקופת הזמן שנבחרה, שמחושב רק לתקופות ההתאמה שבהן נצפתה התנועה. מידע נוסף מופיע בקטע תקופת ההתאמה.
  • קצב תעבורה מקסימלי: מציג את קצב התעבורה המקסימלי בבייטים לשנייה בתקופה שנבחרה.

אם בוחרים באפשרות Packets sent (מנות שנשלחו) בתור המדד ובאפשרות Source and destination (מקור ויעד) בתור צבירת התנועה, האפשרויות הבאות זמינות:

  • Aggregate packets: מספר החבילות שנשלחו בתקופת הזמן שנבחרה. מופעל כברירת מחדל.
  • שיעור ממוצע של מנות: מוצג השיעור הממוצע של מנות לפרק הזמן שנבחר, שמחושב רק לתקופות ההתאמה שבהן נצפה התנועה. מידע נוסף מופיע בקטע תקופת ההתאמה.
  • שיעור חבילות חציוני: מוצג שיעור החבילות החציוני לתקופת הזמן שנבחרה, שמחושב רק לתקופות ההתאמה שבמהלכן נצפה התנועה. מידע נוסף מופיע בקטע תקופת ההתאמה.
  • שיעור המנות באחוזון ה-95 (P95): מוצג שיעור המנות באחוזון ה-95 לתקופת הזמן שנבחרה, שמחושב רק לתקופות ההתאמה שבהן נצפה התנועה. מידע נוסף מופיע בקטע תקופת ההתאמה.
  • קצב חבילות מקסימלי: מוצג קצב החבילות המקסימלי לפרק הזמן שנבחר.

נקודת דגימה

לתקשורת ברשת בין מכונות וירטואליות, יומני זרימה זמינים (עם דגימה) גם במכונות הווירטואליות ששולחות תעבורה וגם במכונות הווירטואליות שמקבלות תעבורה. אם שתי מכונות ה-VM של נקודת הקצה נמצאות בתתי-רשתות שבהן מופעלים יומני תנועה של VPC, אותו זרם נתונים מדווח פעמיים. אתם יכולים לבחור אחת מ-4 הגישות הבאות כדי לקבוע אילו יומני תנועה של VPC תורמים למדדים המחושבים ואיך הם מוערכים:

  • נקודת קצה של המקור: מספר הבייטים או החבילות שנשלחו, שדווחו בנקודת הקצה של המקור בזרימה
  • נקודת קצה של היעד: מספר הבייטים או החבילות שנשלחו, כפי שדווח בנקודת הקצה של היעד של זרימה
  • סכום נקודות הקצה של המקור והיעד: סכום הבייטים שנשלחו או החבילות שנשלחו, כפי שדווח על ידי שתי נקודות הקצה של זרימה
  • ממוצע של נקודת הקצה של המקור ונקודת הקצה של היעד: ממוצע של בייטים שנשלחו או מנות שנשלחו, שדווחו על ידי שתי נקודות הקצה של זרימה אם פרטי המקור והיעד זמינים ביומני הזרימה של VPC

ביטול כפילויות בתנועת הגולשים

כדי למנוע ספירה כפולה של התנועה שמדווחת במכונות הווירטואליות של המקור והיעד, אפשר לבחור באפשרות הדגימה ממוצע של נקודת הקצה של המקור ונקודת הקצה של היעד. Flow Analyzer מזהה זרימות שוות ערך בכל תקופת התאמה ומחשב את הממוצעים של ערכי המדדים שדווחו (מספר הבייטים ומספר החבילות).

בתקופות התאמה שבהן מדווחים על זרימות שוות גם ב-SRC וגם ב-DEST, כל התנועה שמשויכת לתקופת התאמה נתונה מחולקת בשניים.

זמן אחזור

אלה האפשרויות שזמינות במצב התצוגה זמן אחזור.

סוג מדד

Flow Analyzer משתמש בנתוני RTT מ-VPC Flow Logs כדי לספק ניתוח של זמן האחזור לתעבורת TCP.

מדדי דירוג

אפשר לדרג את זרימות התנועה באמצעות המדדים הבאים. הבחירה הזו מגדירה את סדר המיון בטבלה All latency flows וקובעת אילו זרימות מוצגות בתרשים Highest latency flows.

  • ממוצע: מיון של תהליכי העבודה לפי חביון ממוצע גבוה יותר (כולל עליות פתאומיות בחביון).
  • מקסימלי: מיון של התנועות לפי העלייה הכי גבוהה בזמן האחזור.
  • חציון: מיון של התנועות לפי החציון הגבוה ביותר של זמן האחזור (לא כולל קפיצות פתאומיות בזמן האחזור).
  • ‫P95: מיון של תנועות לפי זמן האחזור הגבוה ביותר באחוזון ה-95.
  • ‫P99: מיון של תהליכי העבודה לפי זמן הטעינה באחוזון ה-99.
  • סטיית תקן: מיון של התהליכים לפי השונות (חוסר עקביות) הכי גבוהה בזמן האחזור.

נקודת דגימה

החביון מדווח גם עבור נקודות הקצה של המקור וגם עבור נקודות הקצה של היעד. אפשר לראות את ערכי זמן האחזור לכל אחד מהצדדים של זרימות התנועה.

צבירת מדדים

אלה האפשרויות הזמינות לצבירת נתוני זמן האחזור:

  • צבירת נתונים בתרשים: מגדירה את שיטת החישוב של התרשים Highest latency flows (זרימות עם זמן האחזור הגבוה ביותר) ומיושמת על הנתונים שנבחרו על סמך מדד הדירוג שבחרתם. אפשר לבחור באפשרות ממוצע, מקסימום, חציון, P95 או P99 כשיטת החישוב של זמן האחזור.

    לדוגמה, אם מדרגים את הזרימות לפי חציון של זמן האחזור, ומגדירים את צבירת התרשים לזמן אחזור מקסימלי, בתרשים יוצגו העליות הכי גבוהות בזמן האחזור של חמש הזרימות עם החציון הכי גבוה של זמן האחזור.

  • Table aggregation: בחירה של המדדים שיוצגו כעמודות בטבלה All latency flows, בנוסף למדד הדירוג שנבחר.

אפשר גם להחריג מהניתוח של זמן האחזור תהליכי עבודה עם נפח נמוך.

תקופת ההתאמה

אפשר לבחור טווח זמן של 5 שניות עד יום אחד לפרטים בתרשים. במצב אוטומטי, המערכת בוחרת את תקופת ההתאמה האופטימלית בהתאם לאורך התקופה שנבחרה.

כל נקודה בציר הזמן מייצגת נתונים מצטברים לתקופה מסוימת. משך התקופה הזו נקרא תקופת ההתאמה.

הביצועים יורדים ככל שהערך של תקופת ההתאמה קטן יותר. ככל שהערכים של תקופת ההתאמה גבוהים יותר, כך התרשים פחות מפורט. יכול להיות שלא תוכלו לראות עליות קצרות עם ערכים גבוהים יותר.

במקרים של משכי זמן ארוכים, תקופת התאמה קצרה יותר לא תועיל. לדוגמה, אם בוחרים יישור של דקה אחת לתקופה של 30 יום, Flow Analyzer יוצר יותר מ-43,000 נקודות נתונים. הסיבה לכך היא שזה פי 10 יותר מפיקסלי התצוגה של 4k, ולכן לא תוכלו לראות את כל הפרטים וחלק מהאפשרויות מושבתות לפרקי זמן ארוכים.

מידע נוסף על אופן הדגימה ועל התקופה שמוצגת בתוצאות השאילתה זמין במאמר מדדים ותקופת ההתאמה.

הצגת פרטי התהליך

בטבלה All data flows (כל זרימות הנתונים) או All latency flows (כל זרימות ההשהיה), לוחצים על Details (פרטים) ליד זרימה כלשהי. תופיע החלונית פרטי התהליך. בחלונית הזו מוצג מידע כמו המקור, היעד, התנועה, אפשרויות התעמקות בנתונים ודרכי גישה למערכת אוטונומית (AS).

תצוגת פירוט

אפשר לבצע חיתוך לפי פרמטרים על ידי פיצול של זרימת תנועה נבחרת באמצעות שדה נוסף. לדוגמה, אם זרימה כוללת פרטים כלליים על תנועה של 1,000‎ GiB מ Google Cloud אזור X לאזור Y, אפשר לבצע חיתוך לפי שדה אחר, כמו כתובת ה-IP של המקור. התוצאות כוללות כמה כתובות IP שמרכיבות את הזרימה המקורית.

השדות שמופיעים ברכיב הפירוט נבחרים באופן הבא:

  • כשניגשים לפרטי התהליך, Flow Analyzer מריץ כמה שאילתות. כל שאילתה מנסה להרחיב את הפירוט של הזרימה שנבחרה באמצעות השדות שזמינים ביומני הזרימה של VPC ושעדיין לא נעשה בהם שימוש בשאילתה המקורית. לדוגמה, אם השאילתה שהופעלה כבר כוללת את פרטי כתובת ה-IP, לא צריך להפעיל את השאילתה עם השדה הזה שוב, ואי אפשר להסתעף באמצעות השדה הזה.
  • אם אחת מהשאילתות הנוספות מחזירה ערך של שדה יחיד, הערך הזה יתווסף לקטע של פרטי המקור והיעד, גם אם הוא לא אוחזר קודם.
  • אם אחת מתוצאות השאילתה כוללת יותר מערך שדה אחד, השדה המתאים יופיע ברשימת ההתעמקות.

כשבוחרים שדה ברשימת ההתפלגות, הטבלה והתרשים מתעדכנים ומציגים את שלושת מקורות התנועה העיקריים.

אפשר גם להשתמש במתג השוואה לעבר. בוחרים את התכונה הזו כדי לראות שש שורות: שלוש שורות מלאות שמייצגות את שלושת המשתמשים שדיברו הכי הרבה בהתעמקות בנתונים, ושלוש שורות מקווקוות בצבעים תואמים שמייצגות את התנועה הקודמת.

כדי לבצע פירוט של זרימות תנועה באמצעות שדות נוספים, אפשר לעיין במאמר בנושא פירוט של זרימות תנועה.

תצוגה של נתיבי AS של תעבורת נתונים יוצאת (egress)

בכרטיסייה Egress AS paths אפשר לראות את נתיבי ה-AS שחבילות יוצאות עוברות כדי להגיע ליעדים מחוץ לרשת של Google Cloud. נתיב AS יכול לכלול כמה מספרים של מערכות אוטונומיות (ASN).

אתם יכולים לקבוע אילו פרטים של מערכת אוטונומית יוצגו בכרטיסייה נתיבי מערכת אוטונומית של תעבורת יציאה באמצעות המסנן נתיב מערכת אוטונומית של תעבורת יציאה ברשימה פרמטרים של זרימה. לדוגמה, האפשרויות longer than (ארוך יותר מ) ו-shorter than (קצר יותר מ) בשדה Comparator (אופרטור השוואה) מאפשרות לציין את מספר ה-ASN לכל נתיב AS. כדי להציג נתיבי AS שכוללים מספר ASN ספציפי, אפשר להשתמש באפשרות has first ASN או באפשרות contains ASN.

הקצוות בתרשים של נתיבי מערכת אוטונומית (AS) של תעבורת נתונים יוצאת (egress) משוקללים לפי מספר יומני הזרימה. בנתיב AS בתרשים, קצה מייצג את מספר יומני הזרימה שמכילים את שני מספרי ה-AS שהקצה מחבר ביניהם. הנתונים שמוצגים בתרשים Egress AS paths משתנים בהתאם לאפשרויות הסינון של Egress AS path ולתקופת הזמן שבוחרים כשמריצים שאילתה.

ניתוח נתונים ב-Log Analytics

אפשר לראות את שאילתת ה-SQL הגולמית ב-Log Analytics.

לניתוח מתקדם, אפשר לשנות ישירות את קוד ה-SQL שמשמש להצגת נתוני התנועה. התכונה ניתוח ב-Log Analytics מפנה אתכם לדף Log Analytics עם שאילתה שמולאה מראש.

המאמרים הבאים