סקירה כללית של Flow Analyzer

בעזרת Flow Analyzer אפשר להבין במהירות וביעילות את זרימות התנועה בענן הווירטואלי הפרטי (VPC) בלי לכתוב שאילתות SQL מורכבות כדי לנתח את יומני הזרימה של VPC. Flow Analyzer מאפשר לכם לבצע ניתוח של תעבורת נתונים ברשת עם רמת פירוט של 5 טופלים (כתובת IP של המקור, כתובת IP של היעד, יציאת המקור, יציאת היעד ופרוטוקול).

הכלי Flow Analyzer פותח באמצעות Observability Analytics ומבוסס על BigQuery. הוא מאפשר ניתוח מעמיק של תנועת נתונים נכנסת ויוצאת של מכונות וירטואליות. הוא מאפשר לכם לעקוב אחרי פריסת הרשת, לפתור בעיות ולבצע אופטימיזציה כדי לשפר את הביצועים ולחזק את האבטחה. כך תוכלו לוודא שהפריסה עומדת בדרישות התאימות ולחסוך בעלויות.

הכלי Flow Analyzer מנתח נתונים של VPC Flow Logs שמאוחסנים בקטגוריית יומן (פורמט רשומה). כדי להשתמש ב-Flow Analyzer, צריך לבחור פרויקט עם קטגוריה ביומן שמכילה יומני זרימת תנועה ב-VPC. מידע נוסף זמין בסקירה הכללית על VPC Flow Logs. אפשר להשתמש ב-VPC Flow Logs כדי לבצע מעקב אחר הרשת, פורנזיקה דיגיטלית, ניתוח אבטחה בזמן אמת ואופטימיזציה של ההוצאות.

Flow Analyzer מריץ שאילתות בשדות שכלולים ב-VPC Flow Logs. מידע נוסף זמין במאמר בנושא מאפיינים מרכזיים של יומני תנועה ב-VPC.

ב-Flow Analyzer אפשר:

  • יומני שאילתות שדווחו על ידי VPC Flow Logs
  • שימוש במסנני SQL כדי לצמצם את השאילתות
  • מיון תוצאות השאילתה לפי נפח תנועה כולל, חבילות מצטברות או זמן אחזור
  • צפייה בתנועה בפרק זמן מסוים
  • הצגת חמשת התהליכים המובילים עם התנועה או זמן האחזור הגבוהים ביותר, בתקופת הזמן שנבחרה
  • הצגת משאבים עם התנועה או זמן האחזור הגבוהים ביותר, בתקופת הזמן שנבחרה
  • צפייה בפרטי התנועה עבור זוגות ספציפיים של מקור ויעד בתוצאות השאילתה

איך זה עובד

יומני זרימה של VPC דוגמים מנות ברשת ה-VPC כדי ליצור יומני זרימה, שאפשר לאחסן ב-Cloud Logging או לנתב ליעדים נתמכים, כמו BigQuery או פלטפורמה של צד שלישי דרך Pub/Sub.

כשיומני זרימה מאוחסנים בקטגוריות שמופעל בהן Observability Analytics ב-Cloud Logging, אפשר להשתמש ב-Flow Analyzer כדי לשלוח שאילתות על נתוני התנועה ולהציג אותם באופן חזותי.

רכיבי שאילתה

כדי לנתח ולהבין את זרימות התנועה, צריך להריץ שאילתה ב-VPC Flow Logs. Flow Analyzer עוזר לכם ליצור את השאילתה, להתאים אישית את אפשרויות התצוגה ולהציג פירוט כדי להציג ולעקוב אחרי תעבורת הנתונים שלכם.

צבירת תנועה

כדי לנתח את זרימות התנועה ב-VPC, צריך לקבוע את שיטת הצבירה כדי לסנן את הזרימות בין המשאבים. Flow Analyzer מארגן את יומני הזרימה לצורך צבירה בדרכים הבאות:

  • מקור ויעד: האפשרות הזו משתמשת במידע SRC ו-DEST שכלול ביומני הזרימה של VPC. בתצוגה הזו מוצגת תנועה מצטברת מהמקור ליעד.
  • לקוח ושרת: האפשרות הזו מנסה למצוא את הגורם שיזם את החיבור. משאב עם מספר יציאה קטן יותר נחשב לשרת. בנוסף, המשאבים עם ההגדרה gke_service נחשבים לשרתים כי שירותים לא יוזמים בקשות. בתצוגה הזו מוצגת תנועה מצטברת בשני הכיוונים.

בורר טווח התאריכים

טווח הזמן שמוגדר כברירת מחדל הוא שעה אחת, אבל אפשר לבחור מתוך אפשרויות זמן מוגדרות מראש, לציין שעת התחלה ושעת סיום מותאמות אישית או למרכז את טווח הזמן סביב חותמת זמן ספציפית באמצעות הכלי לבחירת טווח זמן. לדוגמה, אם רוצים לראות את הנתונים של השבוע האחרון, בוחרים באפשרות השבוע האחרון בבורר טווח הזמן.

אפשר גם להגדיר את העדפות אזור הזמן באמצעות הכלי לבחירת טווח זמן.

מסננים בסיסיים

מסננים בסיסיים מאפשרים להגדיר את היקף השאילתה. בתוצאות השאילתה מוצגים רק התהליכים שתואמים למסננים שבחרתם. אפשר לבחור מסננים עבור:

  • מקור ויעד (אם צבירת תנועה מוגדרת למקור – יעד)
  • Client ו-Server (אם Traffic aggregation מוגדר ל-Client - Server)
  • פרמטרים של זרימת נתונים

בכל רשימת Filter, אפשר להוסיף כמה ביטויי מסנן. אם בוחרים יותר מערך אחד לאותו מסנן, נעשה שימוש באופרטור OR. אם בוחרים יותר ממסנן אחד, נעשה שימוש באופרטור AND.

לדוגמה, אם בוחרים שני ערכים של כתובות IP – 10.10.0.10 ו-10.10.0.20 – ושני ערכים של מדינה – usa ו-fra – הלוגיקה הבאה של הסינון מוחלת על השאילתה: (IP=10.10.0.10 OR IP=10.10.0.20) AND (Country=usa OR Country=fra).

הוראות ליצירה ולהרצה של שאילתות באמצעות מסננים בסיסיים מופיעות במאמר יצירה והרצה של שאילתה.

מסנני SQL

כדי ליצור שאילתות מורכבות, אפשר להשתמש במסנני SQL. בעזרת שאילתות מורכבות תוכלו לבצע משימות כמו:

  1. השוואה בין ערכים של שדות
  2. יצירת לוגיקה בוליאנית מורכבת באמצעות פעולות AND/OR ופעולות OR מוטמעות
  3. ביצוע פעולות מורכבות על כתובות IP באמצעות פונקציות של BigQuery

השאילתות של מסנני ה-SQL משתמשות בתחביר SQL של BigQuery. מידע נוסף זמין במאמר בנושא תחביר SQL ב-BigQuery.

כדי לראות את התחביר של ביטויי סינון ודוגמאות, לוחצים על התחביר של ביטויי סינון ודוגמאות.

כדי ליצור ולהריץ שאילתות באמצעות מסנני SQL, אפשר לעיין במאמר בנושא יצירה והרצה של שאילתת SQL.

תוצאות השאילתה

תוצאות השאילתה כוללות את הרכיבים הבאים:

  • בתרשים הזרימות הגבוהות ביותר של נתונים מוצגות חמש זרימות התנועה הגבוהות ביותר לאורך זמן, יחד עם שאר התנועה. בעזרת התרשים הזה אפשר לזהות מגמות כמו עליות פתאומיות בנפח התנועה.
  • הטבלה All data flows: מציגה את תנועות התנועה המובילות עד 10,000 שורות, שמצטברות במהלך משך הזמן שנבחר. בטבלה הזו מוצגים השדות שנבחרו לארגון התהליכים, בזמן הגדרת המסננים לשאילתה.

אם בוחרים באפשרות זמן אחזור באפשרויות תצוגה, מוצגות במקום זאת האפשרויות הזרימות עם זמן האחזור הכי גבוה וכל הזרימות עם זמן האחזור.

אפשרויות תצוגה

אחרי שמריצים שאילתה, אפשר לצמצם את התוצאות באמצעות אפשרויות התצוגה. הבחירות שלכם מעדכנות גם את התרשים וגם את הטבלה.

Flow Analyzer מספק שני מצבים להתאמה אישית של אופן הצגת הנתונים:

מידע נוסף מופיע במאמר בנושא התאמה אישית של אפשרויות התצוגה.

נפח הנתונים

אלה האפשרויות שזמינות במצב התצוגה נפח הנתונים.

סוגי מדדים

אפשר לבחור להציג אחד מסוגי המדדים הבאים.

  • Bytes sent: מכיל מידע על נפחי המטען הייעודי (payload) ולא כולל כותרות. הערך של המדד הזה יכול להיות אפס כי חלק מהחבילות מכילות רק כותרות ולא כוללות מטען ייעודי (Payload).

  • חבילות נתונים שנשלחו: מציין את מספר חבילות הנתונים שנשלחו מהמקור ליעד.

בשני סוגי המדדים אפשר לבחור צבירות נוספות של מדדים.

צבירת מדדים

אפשר לראות את צבירת המדדים בדרכים הבאות.

אם בוחרים באפשרות Bytes sent בתור המדד ובאפשרות Source and destination בתור צבירת התנועה, האפשרויות הבאות זמינות:

  • תנועה כוללת: האפשרות הזו תמיד מופעלת כברירת מחדל, ומוצגת בה התנועה הכוללת בפרק הזמן שנבחר.
  • שיעור תנועה ממוצע: שיעור התנועה הממוצע (בבייט לשנייה) בתקופת הזמן שנבחרה, שמחושב רק לתקופות ההתאמה שבהן נצפתה התנועה. מידע נוסף מופיע בקטע תקופת ההתאמה.
  • שיעור תנועה חציוני: מוצג שיעור התנועה החציוני (בבייט לשנייה) לתקופת הזמן שנבחרה, שמחושב רק לתקופות ההתאמה שבהן נצפתה התנועה. מידע נוסף מופיע בקטע תקופת ההתאמה.
  • שיעור התנועה ב-P95: שיעור התנועה באחוזון ה-95 בבייטים לשנייה בתקופת הזמן שנבחרה, שמחושב רק לתקופות ההתאמה שבהן נצפתה התנועה. מידע נוסף מופיע בקטע תקופת ההתאמה.
  • קצב תנועה מקסימלי: מציג את קצב התנועה המקסימלי בבייטים לשנייה בתקופה שנבחרה.

אם בוחרים באפשרות Packets sent (מנות שנשלחו) בתור המדד ובאפשרות Source and destination (מקור ויעד) בתור צבירת התנועה, האפשרויות הבאות זמינות:

  • ‫Aggregate packets: מספר החבילות שנשלחו בפרק הזמן שנבחר. מופעל כברירת מחדל.
  • שיעור ממוצע של מנות: מוצג השיעור הממוצע של מנות לפרק הזמן שנבחר, שמחושב רק לתקופות ההתאמה שבהן נצפה התנועה. מידע נוסף מופיע בקטע תקופת ההתאמה.
  • שיעור חבילות חציוני: מוצג שיעור החבילות החציוני לתקופת הזמן שנבחרה, שמחושב רק לתקופות ההתאמה שבהן נצפה התנועה. מידע נוסף מופיע בקטע תקופת ההתאמה.
  • שיעור המנות באחוזון ה-95 ‏(P95): מוצג שיעור המנות באחוזון ה-95 לתקופת הזמן שנבחרה, שמחושב רק לתקופות ההתאמה שבהן נצפה התנועה. מידע נוסף מופיע בקטע תקופת ההתאמה.
  • שיעור מקסימלי של חבילות: מוצג השיעור המקסימלי של חבילות לתקופה שנבחרה.

נקודת דגימה

לתקשורת ברשת ממכונה וירטואלית למכונה וירטואלית, יומני זרימה זמינים (עם דגימה) גם במכונות הווירטואליות ששולחות תעבורה וגם במכונות הווירטואליות שמקבלות תעבורה. אם שתי מכונות ה-VM של נקודות הקצה נמצאות בתתי-רשתות שבהן מופעלים יומני תנועה של VPC, אותו זרם נתונים ידווח פעמיים. אתם יכולים לבחור אחת מ-4 הגישות הבאות כדי לקבוע אילו יומני תנועה של VPC תורמים למדדים המחושבים ואיך הם מוערכים:

  • נקודת קצה של המקור: מספר הבייטים או החבילות שנשלחו, שדווחו בנקודת הקצה של המקור בזרימה
  • נקודת קצה של היעד: מספר הבייטים או החבילות שנשלחו, שדווחו בנקודת הקצה של היעד של זרימה
  • סכום נקודת הקצה של המקור ונקודת הקצה של היעד: סכום הבייטים שנשלחו או המנות שנשלחו שדווחו על ידי שתי נקודות הקצה של זרימה
  • ממוצע של נקודת הקצה של המקור ושל היעד: ממוצע של בייטים שנשלחו או מנות שנשלחו, שדווחו על ידי שתי נקודות הקצה של זרימה אם פרטי המקור והיעד זמינים ביומני הזרימה של VPC

ביטול כפילויות בתנועה

כדי למנוע ספירה כפולה של התנועה שמדווחת במכונות הווירטואליות של המקור והיעד, אפשר לבחור באפשרות הדגימה ממוצע של נקודת הקצה של המקור והיעד. Flow Analyzer מזהה זרימות שוות ערך בכל תקופת התאמה ומחשב את הממוצעים של ערכי המדדים שדווחו (מספר הבייטים ומספר החבילות).

בתקופות התאמה שבהן זרימות שוות מדווחות גם ב-SRC וגם ב-DEST, כל התנועה שמשויכת לתקופת התאמה נתונה מחולקת בשניים.

זמן אחזור

אלה האפשרויות שזמינות במצב התצוגה זמן אחזור.

סוג מדד

Flow Analyzer משתמש בנתוני RTT מ-VPC Flow Logs כדי לספק ניתוח של זמן האחזור לתעבורת TCP.

מדדי דירוג

אפשר לדרג את זרימות התנועה באמצעות המדדים הבאים. הבחירה הזו מגדירה את סדר המיון בטבלה All latency flows וקובעת אילו זרימות מוצגות בתרשים Highest latency flows.

  • ממוצע: מיון של תהליכי העבודה לפי חביון ממוצע גבוה (כולל עליות פתאומיות בחביון).
  • מקסימום: מיון של התנועה לפי העלייה הכי גבוהה בזמן האחזור.
  • חציון: מיון של התנועה לפי חציון זמן האחזור הגבוה ביותר (לא כולל קפיצות בזמן האחזור).
  • ‫P95: מיון של התנועות לפי זמן האחזור הגבוה ביותר באחוזון ה-95.
  • ‫P99: מיון של זרימות לפי חביון באחוזון ה-99 הגבוה ביותר.
  • סטיית תקן: מיון של תהליכי העבודה לפי השונות (חוסר עקביות) הגבוהה ביותר בזמן האחזור.

נקודת דגימה

החביון מדווח גם עבור נקודות הקצה של המקור וגם עבור נקודות הקצה של היעד. אפשר לראות את ערכי זמן האחזור לכל אחד מהצדדים של זרימות התנועה.

צבירת מדדים

אלה האפשרויות הזמינות לצבירת נתוני זמן האחזור:

  • צבירת נתונים בתרשים: מגדירה את שיטת החישוב של התרשים זרימות עם זמן האחזור הגבוה ביותר, והיא חלה על הנתונים שנבחרו על סמך מדד הדירוג שבוחרים. אפשר לבחור באפשרויות ממוצע, מקסימום, חציון, P95 או P99 כשיטת החישוב של זמן האחזור.

    לדוגמה, אם מדרגים את הזרימות לפי חציון זמן האחזור, ומגדירים את צבירת התרשים לזמן האחזור המקסימלי, בתרשים יוצגו העליות הכי גבוהות בזמן האחזור של חמש הזרימות עם חציון זמן האחזור הכי גבוה.

  • צבירת נתונים בטבלה: בחירה של המדדים שיוצגו כעמודות בטבלה All latency flows, בנוסף למדד הדירוג שנבחר.

אפשר גם להחריג מהניתוח של זמן האחזור תהליכי עבודה עם נפח נמוך.

תקופת ההתאמה

אפשר לבחור טווח זמן של 5 שניות עד יום אחד לפרטים בתרשים. במצב אוטומטי, המערכת בוחרת את תקופת ההתאמה האופטימלית בהתאם לאורך התקופה שנבחרה.

כל נקודה בציר הזמן מייצגת נתונים מצטברים לתקופה מסוימת. משך התקופה הזו נקרא תקופת ההתאמה.

הביצועים יורדים ככל שהערך של תקופת ההתאמה קטן יותר. ככל שהערכים של תקופת ההתאמה גבוהים יותר, כך התרשים הופך להיות פחות מפורט. יכול להיות שלא תוכלו לראות עליות קצרות עם ערכים גבוהים יותר.

במקרים של משכי זמן ארוכים, תקופת התאמה קצרה יותר לא תועיל. לדוגמה, אם בוחרים יישור של דקה אחת לתקופה של 30 יום, Flow Analyzer יוצר יותר מ-43,000 נקודות נתונים. מכיוון שזה פי 10 יותר מפיקסלי התצוגה של 4k, לא תוכלו לראות את כל הפרטים וחלק מהאפשרויות מושבתות לפרקי זמן ארוכים.

מידע נוסף על אופן הדגימה ועל התקופה שמוצגת בתוצאות השאילתה זמין במאמר מדדים ותקופת התאמה.

הצגת פרטי התהליך

בטבלה All data flows (כל זרימות הנתונים) או All latency flows (כל זרימות ההשהיה), לוחצים על Details (פרטים) ליד זרימה כלשהי. תופיע החלונית פרטי התהליך. בחלונית הזו מוצג מידע כמו המקור, היעד, תעבורת הנתונים, הצגת פירוט ואפשרויות נתיבי מערכת אוטונומית (AS) יוצאת.

תצוגת פירוט

אפשר לבצע פירוט על ידי פיצול של זרימת תנועה נבחרת באמצעות שדה נוסף. לדוגמה, אם זרימה כוללת פרטים כלליים על תנועה של 1,000‎ GiB מאזור X לאזור Y, אפשר לבצע חיתוך לפי שדה אחר, כמו כתובת ה-IP של המקור. Google Cloud התוצאות כוללות כמה כתובות IP שמרכיבות את הזרימה המקורית.

השדות שמופיעים ברכיב הפירוט נבחרים באופן הבא:

  • כשניגשים לפרטי התהליך, Flow Analyzer מריץ כמה שאילתות. כל שאילתה מנסה להגיע לפרטים של הזרימה שנבחרה באמצעות השדות שזמינים ביומני הזרימה של VPC ושעדיין לא נעשה בהם שימוש בשאילתה המקורית. לדוגמה, אם השאילתה שהופעלה כבר כוללת את פרטי כתובת ה-IP, לא צריך להפעיל את השאילתה עם השדה הזה שוב ואי אפשר להסתעף באמצעות השדה הזה.
  • אם אחת מהשאילתות הנוספות מחזירה ערך של שדה יחיד, הערך הזה יתווסף לקטע של פרטי המקור והיעד, גם אם הוא לא אוחזר קודם.
  • אם אחת מתוצאות השאילתה כוללת יותר מערך שדה אחד, השדה המתאים יופיע ברשימת ההסתעפות.

כשבוחרים שדה ברשימת ההתפלגות, הטבלה והתרשים מתעדכנים ומציגים את שלושת מקורות התנועה העיקריים.

אפשר גם להשתמש במתג השוואה לעבר. בוחרים בתכונה הזו כדי לראות שש שורות: שלוש שורות מלאות שמייצגות את שלושת המשתמשים שצרכו הכי הרבה נתונים מהפירוט, ושלוש שורות מקווקוות בצבעים תואמים שמייצגות את התנועה הקודמת.

כדי לבצע פירוט של זרימות תנועה באמצעות שדות נוספים, אפשר לעיין במאמר בנושא פירוט של זרימות תנועה.

תצוגה של נתיבי AS של תעבורת נתונים יוצאת (egress)

בכרטיסייה Egress AS paths אפשר לראות את נתיבי ה-AS שחבילות יוצאות עוברות כדי להגיע ליעדים מחוץ לרשת של Google Cloud. נתיב AS יכול לכלול כמה מספרי מערכת אוטונומית (ASN).

אתם יכולים לקבוע אילו פרטים של מערכת אוטונומית יוצגו בכרטיסייה נתיבי מערכת אוטונומית של תעבורת יציאה באמצעות המסנן נתיב מערכת אוטונומית של תעבורת יציאה ברשימה פרמטרים של זרימה. לדוגמה, האפשרויות longer than (ארוך יותר מ) ו-shorter than (קצר יותר מ) בשדה Comparator (אופרטור השוואה) מאפשרות לציין את מספר ה-ASN לכל נתיב AS. כדי להציג נתיבי AS שכוללים מספר ASN ספציפי, אפשר להשתמש באפשרות has first ASN או באפשרות contains ASN.

הקצוות בתרשים של נתיבי מערכת אוטונומית (AS) של תעבורת יציאה משוקללים לפי מספר יומני הזרימה. בנתיב AS בתרשים, קצה מייצג את מספר יומני זרימת הנתונים שמכילים את שני מספרי ה-AS שהקצה מחבר ביניהם. הנתונים שמוצגים בתרשים Egress AS paths משתנים בהתאם לאפשרויות הסינון של Egress AS path ולתקופת הזמן שבוחרים כשמריצים שאילתה.

עיון בנתונים ב-Observability Analytics

אפשר לראות את שאילתת ה-SQL הגולמית ב-Observability Analytics.

לניתוח מתקדם, אפשר לשנות ישירות את קוד ה-SQL שמשמש להצגת נתוני התנועה. התכונה ניתוח ב-Log Analytics מפנה אתכם לדף Log Analytics עם שאילתה שמולאה מראש.

המאמרים הבאים