סקירה כללית של Flow Analyzer

בעזרת Flow Analyzer אתם יכולים להבין במהירות וביעילות את זרימת התנועה בענן הווירטואלי הפרטי (VPC), בלי שתצטרכו לכתוב שאילתות SQL מורכבות כדי לנתח את יומני הזרימה של ה-VPC. בעזרת Flow Analyzer אתם יכולים לנתח את תנועת הנתונים ברשת לפי 5 מאפיינים (כתובת IP של המקור, כתובת IP של היעד, יציאת המקור, יציאת היעד והפרוטוקול).

הכלי Flow Analyzer פותח באמצעות Observability Analytics ומופעל על ידי BigQuery. הוא מאפשר ניתוח מעמיק של התנועה הנכנסת והיוצאת של המכונות הווירטואליות. בעזרת הכלי אפשר לעקוב אחרי פריסת הרשת, לפתור בעיות ולבצע אופטימיזציה כדי לשפר את הביצועים והאבטחה, לעמוד בדרישות התאימות ולחסוך בעלויות.

הכלי Flow Analyzer מנתח את הנתונים של VPC Flow Logs שמאוחסנים בקטגוריית יומנים (פורמט רשומה). כדי להשתמש ב-Flow Analyzer, צריך לבחור פרויקט עם קטגוריית יומנים שמכילה את VPC Flow Logs. מידע נוסף זמין בסקירה הכללית על יומני זרימה של VPC. אפשר להשתמש ביומני VPC Flow Logs למעקב אחרי הרשת, לניתוח פורנזי, לניתוח אבטחה בזמן אמת ולאופטימיזציה של ההוצאות.

הכלי Flow Analyzer מריץ שאילתות על השדות שנכללים ב-VPC Flow Logs. מידע נוסף זמין במאמר מאפיינים עיקריים של יומני זרימה של VPC.

ב-Flow Analyzer אפשר לבצע את הפעולות הבאות:

  • שאילתות על יומנים שדווחו על ידי VPC Flow Logs
  • שימוש במסנני SQL כדי לצמצם את השאילתות
  • מיון תוצאות השאילתה לפי נפח התנועה הכולל, חבילות נתונים מצטברות, חבילות נתונים שנמחקו או זמן אחזור
  • צפייה בתנועה בתקופה מסוימת
  • צפייה בחמשת התהליכים המובילים עם התנועה, אובדן החבילות או זמן האחזור הגבוהים ביותר בתקופת הזמן שנבחרה
  • הצגת המשאבים עם התנועה, אובדן החבילות או זמן האחזור הגבוהים ביותר בתקופה שנבחרה
  • הצגת פרטי התנועה של זוגות ספציפיים של מקור ויעד בתוצאות השאילתה

איך זה עובד

יומני הזרימה של VPC דוגמים חבילות ברשת ה-VPC כדי ליצור יומני זרימה, שאפשר לאחסן ב-Cloud Logging או לנתב ליעדים נתמכים, כמו BigQuery או פלטפורמה של צד שלישי דרך Pub/Sub.

כשיומני תנועה מאוחסנים בקטגוריות שמופעל בהן Observability Analytics ב-Cloud Logging, אתם יכולים להשתמש ב-Flow Analyzer כדי לשלוח שאילתות על נתוני התנועה ולהציג אותם באופן חזותי.

רכיבי השאילתה

כדי לנתח ולהבין את זרימת התנועה, צריך להריץ שאילתה ב-VPC Flow Logs. בעזרת Flow Analyzer אתם יכולים ליצור את השאילתה, להתאים אישית את אפשרויות התצוגה ולהתעמק בפרטים כדי לראות את זרימת התנועה ולעקוב אחריה.

צבירת תנועה

כדי לנתח את זרימת התנועה ב-VPC, צריך לקבוע את גישת הצבירה לסינון הזרימה בין המשאבים. ב-Flow Analyzer, יומני התנועה מאורגנים לצבירה בדרכים הבאות:

  • ‫Source and destination: האפשרות הזו משתמשת במידע של SRC ו-DEST שכלול ביומני הזרימה של VPC. בתצוגה הזו מוצגת התנועה המצטברת מהמקור ליעד.
  • Client and server: האפשרות הזו מנסה למצוא את הגורם שיזם את החיבור. משאב עם מספר יציאה קטן יותר נחשב לשרת. הוא גם מתייחס למשאבים עם ההגדרה gke_service כשרתים, כי שירותים לא יוזמים בקשות. בתצוגה הזו מוצגת התנועה המצטברת בשני הכיוונים.

בורר טווח הזמן

טווח הזמן שמוגדר כברירת מחדל הוא שעה, אבל אתם יכולים לבחור מבין אפשרויות זמן מוגדרות מראש, לציין שעת התחלה ושעת סיום בהתאמה אישית, או למרכז את טווח הזמן סביב חותמת זמן ספציפית באמצעות בורר טווח הזמן. לדוגמה, כדי להציג את הנתונים של השבוע האחרון, בוחרים באפשרות Last 1 week בבורר טווח התאריכים.

אפשר גם להגדיר את העדפות אזור הזמן באמצעות בורר טווח הזמן.

מסננים בסיסיים

מסננים בסיסיים מאפשרים להגדיר את היקף השאילתה. בתוצאות השאילתה מוצגים רק התהליכים שתואמים למסננים שבחרתם. אפשר לבחור מסננים לפי:

  • מקור ויעד (אם צבירת תנועה מוגדרת לערך מקור – יעד)
  • ‫Client ו-Server (אם ההגדרה של Traffic aggregation היא Client - Server)
  • פרמטרים של תהליך

בכל רשימת מסננים, אתם יכולים להוסיף כמה ביטויי סינון. אם בוחרים יותר מערך אחד לאותו מסנן, המערכת משתמשת באופרטור OR. אם בוחרים יותר ממסנן אחד, המערכת משתמשת באופרטור AND.

לדוגמה, אם בוחרים שני ערכים של כתובת IP (10.10.0.10 ו-10.10.0.20) ושני ערכים של מדינה (usa ו-fra), לוגיקת הסינון הבאה תופעל על השאילתה: (IP=10.10.0.10 OR IP=10.10.0.20) AND (Country=usa OR Country=fra).

במאמר יצירה והרצה של שאילתה מוסבר איך ליצור ולהריץ שאילתות באמצעות מסננים בסיסיים.

מסנני SQL

כדי ליצור שאילתות מורכבות, אתם יכולים להשתמש במסנני SQL. בעזרת שאילתות מורכבות, אתם יכולים לבצע משימות כמו:

  1. השוואה בין ערכי שדות
  2. בניית לוגיקה בוליאנית מורכבת באמצעות פעולות AND/OR ופעולות OR בתצוגת עץ
  3. ביצוע פעולות מורכבות בכתובות IP באמצעות פונקציות של BigQuery

שאילתות הסינון ב-SQL משתמשות בתחביר SQL של BigQuery. למידע נוסף, קראו את המאמר תחביר SQL ב-BigQuery.

כדי לראות את התחביר של ביטויי הסינון ודוגמאות, לחצו על התחביר של ביטויי הסינון ודוגמאות.

כדי ליצור ולהריץ שאילתות באמצעות מסנני SQL, קראו את המאמר יצירה והרצה של שאילתת SQL.

תוצאות השאילתה

כברירת מחדל, תוצאות השאילתה כוללות את הרכיבים הבאים:

  • התרשים Highest data flows: מציג את חמשת זרמי התנועה הגבוהים ביותר לאורך זמן, יחד עם שאר התנועה. בעזרת התרשים הזה אפשר לזהות מגמות כמו עלייה חדה בתנועה.
  • הטבלה All data flows: מציגה את זרימות התנועה המובילות עד 5,000 שורות, שנצברו במהלך משך הזמן שנבחר. בטבלה הזו מוצגים השדות שנבחרו לארגון התהליכים בזמן הגדרת המסננים לשאילתה.

אם בוחרים באפשרות Latency ב-Display options, מוצגות במקום זאת האפשרויות Highest latency flows ו-All latency flows. אם בוחרים באפשרות Packet drops, בכלי Flow Analyzer מוצגים התרשים Highest drops והטבלה All packet drop flows.

אפשרויות תצוגה

אחרי שמריצים שאילתה, אפשר לצמצם את התוצאות באמצעות אפשרויות התצוגה. הבחירות שלכם מעדכנות גם את התרשים וגם את הטבלה.

ב-Flow Analyzer יש שלושה מצבים להתאמה אישית של אופן הצגת הנתונים:

מידע נוסף מופיע במאמר התאמה אישית של אפשרויות התצוגה.

נפח הנתונים

אלה האפשרויות הזמינות למצב התצוגה Data volume.

סוגי מדדים

אתם יכולים לבחור להציג אחד מסוגי המדדים הבאים.

  • ‫Bytes sent: מכיל מידע על נפחי המטען הייעודי (payload) ולא כולל כותרות. ערך המדד הזה יכול להיות אפס כי בחלק מהחבילות יש רק כותרות ואין מטען ייעודי (payload).

  • חבילות שנשלחו: מספר החבילות שנשלחו מהמקור ליעד.

בשני סוגי המדדים, אתם יכולים לבחור צבירות נוספות של מדדים.

צבירת מדדים

אפשר לראות את צבירת המדדים בדרכים הבאות.

אם בוחרים במדד Bytes sent ובאפשרות Source and destination לצבירת תנועה, האפשרויות הבאות זמינות:

  • תנועה כוללת: האפשרות הזו תמיד מופעלת כברירת מחדל ומציגה את התנועה הכוללת בתקופה שנבחרה.
  • קצב תנועה ממוצע: מציג את קצב התנועה הממוצע (בבייטים לשנייה) לתקופת הזמן שנבחרה, ומחושב רק לתקופות ההתאמה שבהן נצפתה התנועה. מידע נוסף זמין במאמר תקופת התאמה.
  • שיעור תנועה חציוני: מציג את שיעור התנועה החציוני (בבייטים לשנייה) לתקופת הזמן שנבחרה, שמחושב רק לתקופות ההתאמה שבהן נצפתה התנועה. מידע נוסף זמין במאמר תקופת התאמה.
  • קצב תנועה באחוזון ה-95: קצב התנועה באחוזון ה-95 בבייטים לשנייה בתקופה שנבחרה, שמחושב רק לתקופות ההתאמה שבהן נצפתה התנועה. מידע נוסף זמין במאמר תקופת התאמה.
  • ‫Maximum traffic rate: קצב התנועה המקסימלי בבייטים לשנייה בתקופה שנבחרה.

אם בוחרים באפשרות Packets sent כמדד ובאפשרות Source and destination לצבירת נתוני התנועה, האפשרויות הבאות זמינות:

  • ‫Aggregate packets: מספר החבילות שנשלחו בתקופה שנבחרה. מופעלת כברירת מחדל.
  • קצב ממוצע של חבילות: מציג את הקצב הממוצע של החבילות בתקופת הזמן שנבחרה, שמחושב רק לתקופות ההתאמה שבהן נצפתה התנועה. מידע נוסף זמין במאמר תקופת התאמה.
  • קצב חבילות חציוני: קצב החבילות החציוני בתקופה שנבחרה, שמחושב רק לתקופות ההתאמה שבהן נצפתה התנועה. מידע נוסף זמין במאמר תקופת התאמה.
  • קצב החבילות באחוזון ה-95: קצב החבילות באחוזון ה-95 בתקופה שנבחרה, שמחושב רק לתקופות ההתאמה שבהן נצפתה התנועה. מידע נוסף זמין במאמר תקופת התאמה.
  • ‫Maximum packets rate: קצב החבילות המקסימלי בתקופת הזמן שנבחרה.

נקודת דגימה

בתקשורת ברשת בין מכונות וירטואליות, יומני הזרימה זמינים (עם דגימה) גם במכונות הווירטואליות ששולחות את התנועה וגם באלה שמקבלות אותה. אם שתי המכונות הווירטואליות של נקודות הקצה נמצאות ברשתות משנה שבהן מופעלים יומני VPC Flow Logs, אותו תהליך מדווח פעמיים. אתם יכולים לבחור אחת מבין ארבע הגישות הבאות כדי לקבוע אילו יומני VPC Flow Logs יתרמו למדדים המחושבים ואיך הם יוערכו:

  • נקודת קצה של מקור: מספר הבייטים או חבילות הנתונים שנשלחו, כפי שדווח בנקודת הקצה של המקור של תהליך מסוים.
  • נקודת קצה של היעד: מספר הבייטים שנשלחו או חבילות הנתונים שנשלחו שדווחו בנקודת הקצה של היעד של זרימה
  • סכום של נקודת הקצה של המקור ושל היעד: סכום הבייטים שנשלחו או החבילות שנשלחו, שדווחו על ידי שתי נקודות הקצה של תהליך
  • ממוצע של נקודת הקצה של המקור והיעד: ממוצע של בייטים שנשלחו או חבילות שנשלחו, שדווחו על ידי שתי נקודות הקצה של תהליך, אם המידע על המקור ועל היעד זמין ביומני הזרימה של VPC

ביטול כפילויות בתנועה

כדי למנוע ספירה כפולה של תנועה שמדווחת במכונות הווירטואליות של המקור והיעד, אתם יכולים לבחור באפשרות הדגימה Average of source and destination endpoint. הכלי Flow Analyzer מזהה תהליכים מקבילים בכל תקופת התאמה ומחשב את הממוצעים של ערכי המדדים שדווחו (ספירת בייטים וספירת חבילות).

בתקופות התאמה שבהן זרימות שוות ערך מדווחות גם ב-SRC וגם ב-DEST, כל התנועה שמשויכת לתקופת התאמה נתונה מחולקת בשתיים.

אובדן מנות

אלה האפשרויות שזמינות למצב התצוגה Packet drops.

סוגי מדדים

אפשר לבחור להציג אחד מסוגי המדדים הבאים:

  • חבילות נתונים שנשלחו (ברירת מחדל): הצגת מספר חבילות הנתונים שנמחקו.
  • בייטים שנשלחו: מספר הבייטים שהושמטו.

ציר הזמן

בתרשים Highest drops, אתם יכולים לבחור איך לחשב את אובדן החבילות ולהציג אותו בציר הזמן:

  • שיעור ההשמטה (%) (ברירת המחדל): הצגת אחוז החבילות או הבייטים שהושמטו בתקופת ההתאמה שנבחרה.
  • ‫Drop count: מספר חבילות הנתונים או הבייטים שנמחקו בתקופת ההתאמה שנבחרה.

נקודת דגימה

כשמנתחים אובדן מנות, Flow Analyzer מציג נתונים על אובדן מנות שמדווחים על ידי המקור או היעד של הזרימה (ברירת המחדל). אפשר לשנות את נקודות הדגימה כדי להציג נתונים רק מהמקור (חבילות שהושמטו ביציאה) או מהיעד (חבילות שהושמטו בכניסה).

בנוסף, הטבלה All packet drop flows כוללת את העמודה Drop reason כדי לעזור לכם לפתור בעיות. לוחצים על סיבה לירידה כדי לראות מידע נוסף על הירידה בתנועה, כולל הסיבה הבסיסית.

זמן אחזור

האפשרויות הבאות זמינות למצב התצוגה Latency.

סוג מדד

הכלי Flow Analyzer משתמש בנתוני RTT מ-VPC Flow Logs כדי לספק ניתוח של זמן האחזור בתנועת TCP.

מדדי דירוג

אתם יכולים לדרג את זרימת התנועה באמצעות המדדים הבאים. הבחירה הזו מגדירה את סדר המיון בטבלה All latency flows וקובעת אילו תהליכים יוצגו בתרשים Highest latency flows.

  • Average: מיון הזרימות לפי זמן האחזור הממוצע הגבוה ביותר (כולל קפיצות חדות בזמן האחזור).
  • מקסימום: מיון התהליכים לפי הזינוק הגבוה ביותר בזמן האחזור.
  • חציון: מיון הזרימות לפי זמן האחזור החציוני הגבוה ביותר (לא כולל קפיצות חדות בזמן האחזור).
  • ‫P95: מיון הזרימות לפי זמן האחזור הגבוה ביותר באחוזון ה-95.
  • ‫P99: מיון התהליכים לפי זמן האחזור הגבוה ביותר באחוזון ה-99.
  • סטיית תקן: מיון התהליכים לפי השונות (חוסר העקביות) הגבוהה ביותר בזמן האחזור.

נקודת דגימה

הדיווח על זמן האחזור מתייחס גם לנקודת הקצה של המקור וגם לנקודת הקצה של היעד. אפשר לראות את ערכי זמן האחזור של כל אחד מהצדדים של זרימת התנועה.

צבירת מדדים

אפשר לצבור את נתוני זמן האחזור לפי האפשרויות הבאות:

  • צבירת נתונים בתרשים: מגדירה את שיטת החישוב של התרשים Highest latency flows, ומוחלת על הנתונים שנבחרו לפי מדד הדירוג שבחרתם. אפשר לבחור את שיטת החישוב של זמן האחזור: Average,‏ Max,‏ Median,‏ P95 או P99.

    לדוגמה, אם מדרגים את התהליכים לפי זמן האחזור החציוני, ומגדירים את הצבירה בתרשים לזמן האחזור המקסימלי, בתרשים יוצגו העליות החדות ביותר בזמן האחזור בחמשת התהליכים עם זמן האחזור החציוני הגבוה ביותר.

  • ‫Table aggregation: בוחרים אילו מדדים, בנוסף למדד הדירוג שנבחר, יוצגו כעמודות בטבלה All latency flows.

אפשר גם להחריג תהליכים בנפח נמוך מניתוח זמן האחזור.

תקופת התאמה

אפשר לבחור טווח זמן של 5 שניות עד יום אחד לפרטים בתרשים. במצב האוטומטי, תקופת ההתאמה האופטימלית נבחרת בהתאם לאורך התקופה שנבחרה.

כל נקודה בציר הזמן מייצגת נתונים נצברים לתקופה מסוימת. משך הזמן הזה נקרא תקופת ההתאמה.

הביצועים יורדים ככל שערך תקופת ההתאמה קטן. ככל שערך תקופת ההתאמה גבוה יותר, כך התרשים פחות מפורט. יכול להיות שלא תוכלו לראות עליות חדות קצרות עם ערכים גבוהים יותר.

במשכי זמן ארוכים, תקופת התאמה קצרה יותר לא עוזרת. לדוגמה, אם בוחרים התאמה של דקה אחת לתקופה של 30 יום, הכלי Flow Analyzer יוצר יותר מ-43,000 נקודות על הגרף. זה פי 10 יותר מפיקסלים של תצוגת 4k, לכן לא תוכלו לראות את כל הפרטים, וחלק מהאפשרויות מושבתות לפרקי זמן ארוכים.

במאמר מדדים ותקופת התאמה מוסבר איך מתבצעת הדגימה ואיך נקבעת תקופת ההתאמה כדי להציג את תוצאות השאילתה.

הצגת פרטי התהליך

בטבלה All data flows,‏ All packet drop flows או All latency flows, לוחצים על Details באחד מהתהליכים. מופיע החלונית Flow details. בחלונית הזו מוצג מידע כמו המקור, היעד, התנועה, אפשרויות להצגת פירוט ונתיבי מערכת אוטונומית (AS) של תעבורת נתונים יוצאת.

תצוגת פירוט

אפשר להציג פירוט מעמיק יותר על ידי פיצול של זרימת תנועה נבחרת באמצעות שדה נוסף. לדוגמה, אם תנועה כוללת פרטים כלליים על תנועה של 1,000GiB מאזור X לאזור Y, אפשר להציג פירוט באמצעות שדה אחר, כמו כתובת ה-IP של המקור. Google Cloud התוצאות כוללות כמה כתובות IP שמרכיבות את הזרימה המקורית.

השדות שמופיעים ברכיב הפירוט נבחרים באופן הבא:

  • כשאתם ניגשים לפרטי הזרימה, Flow Analyzer מריץ כמה שאילתות. כל שאילתה מנסה להציג פירוט של הזרימה שנבחרה באמצעות השדות שזמינים ביומני הזרימה של VPC, ושעדיין לא נעשה בהם שימוש בשאילתה המקורית. לדוגמה, אם השאילתה שהופעלה כבר כוללת את פרטי כתובת ה-IP, לא צריך להריץ שוב את השאילתה עם השדה הזה ואי אפשר להציג פירוט באמצעות השדה הזה.
  • אם אחת מהשאילתות הנוספות מחזירה ערך של שדה יחיד, הוא מתווסף לקטע של פרטי המקור והיעד, למרות שהוא לא אוחזר קודם.
  • אם אחת מתוצאות השאילתה כוללת יותר מערך שדה אחד, השדה התואם מופיע ברשימת הפירוט.

כשבוחרים שדה ברשימת הפירוט, הטבלה והתרשים של הפירוט מתעדכנים ומוצגות בהם שלוש זרימות התנועה המובילות.

אפשר גם להשתמש במתג השוואה לעבר. בוחרים בתכונה הזו כדי להציג שש שורות: שלוש שורות רציפות לשלושת הדוברים המובילים מהתצוגה המפורטת ושלוש שורות מקווקוות בצבעים תואמים שמייצגות את התנועה בעבר.

כדי להציג פירוט של זרימת התנועה באמצעות שדות נוספים, ראו פירוט של זרימת התנועה.

תצוגת נתיבי AS של תעבורת נתונים יוצאת (egress)

בכרטיסייה Egress AS paths אפשר לראות את נתיבי ה-AS שחבילות הנתונים היוצאות עוברות בהם כדי להגיע ליעדים מחוץ לרשת של Google Cloud. נתיב AS יכול לכלול כמה מספרי מערכות אוטונומיות (ASN).

אתם יכולים לקבוע אילו פרטי AS יוצגו בכרטיסייה Egress AS paths באמצעות המסנן Egress AS path ברשימה Flow parameters. לדוגמה, האפשרויות longer than ו-shorter than בשדה Comparator מאפשרות לציין את מספר ה-ASN לכל נתיב AS. כדי להציג נתיבי AS שכוללים ASN ספציפי, אפשר להשתמש באפשרות has first ASN או contains ASN.

הקצוות בתרשים של נתיבי AS לתעבורת נתונים יוצאת משוקללים לפי מספר יומני התנועה. בנתיב AS בתרשים, קצה מייצג את מספר יומני הזרימה שמכילים את שני ה-ASN שהקצה מחבר. הנתונים שמוצגים בתרשים Egress AS paths משתנים בהתאם לאפשרויות הסינון של Egress AS path ולתקופה שבחרתם כשאתם מריצים שאילתה.

בדיקה ב-Observability Analytics

אפשר לראות את שאילתת ה-SQL הגולמית ב-Observability Analytics.

לניתוח מתקדם, אפשר לשנות ישירות את קוד ה-SQL שמשמש להצגת התנועה. התכונה Explore in Log Analytics מפנה אתכם לדף Log Analytics עם שאילתה שמולאה מראש.

המאמרים הבאים