ניתוח של תנועת הגולשים

בדף הזה מוסבר איך לשלוח שאילתות ולנתח את זרימות התנועה.

לפני שמתחילים

  1. בדף לבחירת הפרויקט במסוף Google Cloud , בוחרים פרויקט ב- Google Cloud או יוצרים אותו.

    תפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

    כניסה לדף לבחירת הפרויקט

  2. הפעלת יומני זרימה של VPC.

תפקידים והרשאות נדרשים

מכיוון שכלי ניתוח הזרימה קורא נתונים בשם המשתמש, צריך לוודא שיש לכם הרשאות מספיקות לקריאת הקטגוריה שמכילה את היומנים. בנוסף, צריך לשדרג את הקטגוריה כדי להשתמש ב-Observability Analytics.

  • כדי לאפשר למשתמש לקרוא יומנים בדליים, משתמשים בדף Logs Explorer. בדף Observability Analytics אפשר להעניק את אחד מהתפקידים הבאים:

    • כדי לקבל גישה לתצוגה _Default בדלי _Default, צריך להקצות את התפקיד מציג היומנים (roles/logging.viewer).
    • כדי לקבל גישה לכל היומנים בקטגוריית היומנים _Default, כולל יומני הגישה לנתונים, צריך להקצות את התפקיד 'צפייה ביומנים פרטיים' (roles/logging.privateLogViewer).

    מידע נוסף זמין במאמר בנושא תפקידים ביומן.

  • כדי לאפשר למשתמש לקרוא יומנים שמאוחסנים בקטגוריה שהוגדרה על ידי משתמש, צריך לתת לו את התפקיד Logs View Accessor‏ (roles/logging.viewAccessor). אפשר להגביל את ההרשאה לתצוגת יומן ספציפית. מידע נוסף זמין במאמר שליטה בגישה לתצוגת יומן.

  • אפשר גם ליצור תפקיד בהתאמה אישית שמעניק את ההרשאות הבאות:

    • logging.buckets.get
    • logging.buckets.list
    • logging.logEntries.list
    • logging.logs.list
    • resourcemanager.projects.get

יצירה והרצה של שאילתה

כדי ליצור ולהריץ שאילתה באמצעות מסננים בסיסיים:

המסוף

  1. נכנסים לדף Flow Analyzer במסוף Google Cloud .

    מעבר אל Flow Analyzer

  2. לוחצים על Source bucket ופועלים לפי השלבים הבאים:

    1. בשדה Log bucket, בוחרים את קטגוריית היומנים שמכילה את יומני התנועה שרוצים לשלוח אליהם שאילתה. כברירת מחדל, יומני זרימה מאוחסנים בקטגוריית היומנים _Default.
    2. בשדה Log bucket view, בוחרים תצוגת קטגוריה ביומן.
    3. אופציונלי: אם רוצים לשלוח שאילתה ליומני זרימה שמשויכים להגדרה ספציפית של יומני זרימה של VPC, מבצעים את הפעולות הבאות:
      1. מסמנים את התיבה Select specific configuration (בחירת הגדרה ספציפית).
      2. ברשימה Log configurations (הגדרות יומן), בוחרים הגדרה אחת או יותר של יומני זרימה של VPC. האפשרות Flow logs configured for subnetworks בוחרת את כל יומני התנועה של כל רשתות המשנה בקטגוריה ביומן.

  3. בתפריט Traffic aggregation, בוחרים באחת מהאפשרויות הבאות:

    • ‫Source - Destination: צבירת התנועה מהמקור ליעד.
    • לקוח – שרת: צבירת התנועה בשני הכיוונים על ידי התייחסות למשאבים עם מספרי יציאות נמוכים יותר ולהגדרות שירות או למאפייני שירות של GKE כשרתים.

    מידע נוסף זמין במאמר בנושא צבירת תנועה.

  4. בבורר טווח הזמן, מגדירים את טווח הזמן של השאילתה. טווח הזמן שמוגדר כברירת מחדל הוא שעה אחת. אפשר לבחור טווח זמן מוגדר מראש, לציין שעת התחלה ושעת סיום מותאמות אישית או לבחור טווח זמן סביב שעה ספציפית.

  5. ברשימות Filter, בוחרים מסנן שאילתה אחד או יותר. כל מסנן תואם לשדה ב-VPC Flow Logs. מידע נוסף על השדות האלה זמין במאמר בנושא פורמט הרשומה. אם לא תבחרו מסננים, Flow Analyzer יציג את תוצאות השאילתה לגבי כל הזרימות בטווח הזמן שנבחר.

    אם בוחרים יותר מערך אחד לאותו מסנן, נעשה שימוש באופרטור OR. אם בוחרים יותר ממסנן אחד באותה רשימה של מסננים, נעשה שימוש באופרטור AND. לדוגמה, אם בוחרים שני ערכים של כתובות IP – 10.10.0.10 ו-10.10.0.20 – ושני ערכים של מדינה – usa ו-fra – הלוגיקה הבאה של הסינון מוחלת על השאילתה: (IP=10.10.0.10 OR IP=10.10.0.20) AND (Country=usa OR Country=fra).

  6. בוחרים איך לארגן את תוצאות השאילתה באמצעות הרשימות ארגון רצפי הפעולות לפי או משאירים את ערכי ברירת המחדל.

  7. לוחצים על Run new query.

    התרשים Highest data flows והטבלה All data flows מתעדכנים.

    אתם יכולים להשתמש בחלונית אפשרויות התצוגה כדי להתאים אישית את תוצאות השאילתה. מידע נוסף מופיע במאמר בנושא אפשרויות תצוגה. כדי לבחור אפשרויות בהתאמה אישית, אפשר לעיין במאמר בנושא התאמה אישית של אפשרויות התצוגה.

יצירה והרצה של שאילתת SQL

כדי ליצור ולהריץ שאילתה ב-Flow Analyzer באמצעות מסנני SQL:

המסוף

  1. נכנסים לדף Flow Analyzer במסוף Google Cloud .

    מעבר אל Flow Analyzer

  2. בוחרים קטגוריה ביומן. אם אתם מתכננים להשתמש בקטגוריה ביומן _Default, אתם יכולים לדלג על השלב הזה.

  3. כדי להגדיר את טווח הזמן של השאילתה, משתמשים בבורר טווח הזמן או בוחרים באפשרות הפעלה מחדש של התקופה שנבחרה.

  4. בתפריט Traffic aggregation, בוחרים באחת מהאפשרויות הבאות:

    • ‫Source - Destination: צבירת התנועה מהמקור ליעד.
    • ‫Client - Server: צבירת התנועה בשני הכיוונים על ידי התייחסות למשאבים עם מספרי יציאות נמוכים יותר ולהגדרות שירות כאל שרתים.

    מידע נוסף זמין במאמר בנושא צבירת תנועה.

  5. לוחצים על SQL Filters (מסנני SQL).

  6. מזינים את שאילתת הסינון של SQL באמצעות תחביר SQL של BigQuery.

  7. כדי לראות את התחביר של ביטויי סינון ודוגמאות, לוחצים על התחביר של ביטויי סינון ודוגמאות.

  8. משתמשים בשדות כדי לארגן את התהליך. בוחרים שדה כדי לארגן את פרטי התהליך.

  9. לוחצים על Run new query.

    התרשים Highest data flows והטבלה All data flows מתעדכנים.

    אתם יכולים להשתמש בחלונית אפשרויות התצוגה כדי להתאים אישית את תוצאות השאילתה. מידע נוסף מופיע במאמר בנושא אפשרויות תצוגה. כדי לבחור אפשרויות בהתאמה אישית, אפשר לעיין במאמר בנושא התאמה אישית של אפשרויות התצוגה.

התאמה אישית של אפשרויות התצוגה

אפשר להשתמש במצבים הבאים כדי להציג ולנתח נתונים על זרימות התנועה:

  • נפח הנתונים (ברירת מחדל): מוצגים בייטים וחבילות שנשלחו.
  • נשירת מנות: מוצגים שיעור הנשירה ומספר הנשירות של בייטים ומנות.
  • זמן אחזור: מוצג זמן הלוך ושוב.

מידע נוסף מופיע במאמר בנושא אפשרויות תצוגה.

הצגת תהליכים במצב נפח נתונים

המסוף

  1. איך יוצרים ומריצים שאילתה
  2. בחלונית Display options, בודקים את Alignment period ואם רוצים, משנים אותה. מידע נוסף מופיע במאמר בנושא תקופת ההתאמה.
  3. בוחרים באפשרות נפח נתונים כמצב התצוגה.
  4. בקטע סוג המדד, בוחרים באפשרות Bytes sent או Packets sent.

  5. בודקים את הקטע הגדרות מתקדמות ומשנים אותו אם רוצים:

    • האפשרות Table aggregation: משמשת לבחירת המדדים שיוצגו כעמודות בטבלה All data flows.

      • אם בוחרים באפשרות Bytes sent בתור סוג המדד, אפשר לבחור מבין האפשרויות הבאות:

        • נפח התנועה הכולל: נפח התנועה הכולל בתקופה שנבחרה. מופעל כברירת מחדל.
        • שיעור תנועה ממוצע: שיעור התנועה הממוצע לתקופת הזמן שנבחרה. החישוב מתבצע רק לתקופות ההתאמה שבהן נצפתה התנועה.
        • שיעור תנועה חציוני: שיעור התנועה החציוני לתקופת הזמן שנבחרה. החישוב מתבצע רק לתקופות ההתאמה שבהן נצפתה התנועה.
        • P95 traffic rate: שיעור התנועה באחוזון ה-95 לתקופת הזמן שנבחרה. החישוב מתבצע רק לתקופות ההתאמה שבהן נצפתה התנועה.
        • ‫Max traffic rate (קצב התנועה המקסימלי): קצב התנועה המקסימלי לתקופת הזמן שנבחרה.

      • אם בוחרים במדד Packets sent, אפשר לבחור מבין האפשרויות הבאות:

        • ‫Aggregate packets: המספר הכולל של חבילות הנתונים לתקופת הזמן שנבחרה. מופעל כברירת מחדל.
        • Avg packets rate (שיעור ממוצע של חבילות): השיעור הממוצע של חבילות בתקופת הזמן שנבחרה. החישוב מתבצע רק לתקופות ההתאמה שבהן נצפתה התנועה.
        • ‫Median packets rate: קצב החבילות החציוני לתקופה שנבחרה. החישוב מתבצע רק לתקופות ההתאמה שבהן נצפתה התנועה.
        • ‫P95 packets rate: שיעור החבילות באחוזון ה-95 לתקופה שנבחרה. החישוב מתבצע רק לתקופות ההתאמה שבהן נצפתה התנועה.
        • ‫Max packets rate (קצב החבילות המקסימלי): קצב החבילות המקסימלי לתקופת הזמן שנבחרה.

      מידע נוסף זמין במאמר בנושא צבירת מדדים.

    • האפשרות נקודות דגימה: משמשת לבחירת נקודת הקצה לדיווח או שילוב של שתי נקודות הקצה:

      • נקודת קצה של המקור: מספר הבייטים או החבילות שנשלחו, כפי שדווח בנקודת הקצה של המקור בזרימה.
      • נקודת קצה של היעד: מספר הבייטים או מספר החבילות שנשלחו, כפי שדווח בנקודת הקצה של היעד של זרימה.
      • ‫Sum of source and destination: סכום הבייטים שנשלחו או החבילות שנשלחו כפי שדווח על ידי שתי נקודות הקצה של זרימה.
      • ממוצע של מקור ויעד: ממוצע של בייטים שנשלחו או מנות שנשלחו, כפי שמדווח על ידי שתי נקודות הקצה של זרימה, אם פרטי המקור והיעד זמינים ביומני הזרימה של VPC.

      מידע נוסף זמין במאמר בנושא נקודת דגימה.

  6. לוחצים על Run new query.

הצגת זרימות במצב של השמטת מנות

המסוף

  1. איך יוצרים ומריצים שאילתה
  2. בחלונית Display options, בודקים את Alignment period ואם רוצים, משנים אותה. מידע נוסף מופיע במאמר בנושא תקופת ההתאמה.
  3. בוחרים באפשרות Packet drops (אובדן מנות) כמצב התצוגה.
  4. בקטע סוג המדד, בוחרים באפשרות חבילות שנשלחו או בייטים שנשלחו.
  5. בקטע הצגת ציר זמן, בוחרים באפשרות שיעור הנטישה (%) או מספר הנטישות.
  6. בקטע הגדרות מתקדמות, משתמשים באפשרות נקודות דגימה כדי להציג אובדן מנות מנקודת קצה של המקור, מנקודת קצה של היעד או מהמקור והיעד (כל אחת מנקודות הקצה). מידע נוסף זמין במאמר בנושא נקודת דגימה.
  7. לוחצים על Run new query.

הצגת תהליכי עבודה במצב זמן אחזור

המסוף

  1. איך יוצרים ומריצים שאילתה
  2. בחלונית Display options, בודקים את Alignment period ואם רוצים, משנים אותה. מידע נוסף מופיע במאמר בנושא תקופת ההתאמה.
  3. בוחרים באפשרות חביון כמצב התצוגה.
  4. בקטע סוג המדד, בוחרים באפשרות זמן הלוך ושוב (חציון).

  5. בקטע דירוג תהליכי העבודה לפי, בוחרים מדד דירוג. המדד הזה מגדיר את סדר המיון בטבלה All latency flows וקובע אילו זרימות מוצגות בתרשים Highest latency flows. אפשר לבחור מבין מדדי הדירוג הבאים:

    • ממוצע: מיון של תהליכי העבודה לפי חביון ממוצע גבוה (כולל עליות פתאומיות בחביון).
    • מקסימום: מיון של התנועות לפי העלייה הכי גבוהה בזמן האחזור.
    • חציון: מיון של תהליכי העבודה לפי החציון הגבוה ביותר של זמן האחזור (לא כולל קפיצות בזמן האחזור).
    • ‫P95: מיון של תהליכי העבודה לפי זמן האחזור הגבוה ביותר באחוזון ה-95.
    • ‫P99: מיון של התהליכים לפי זמן הטעינה הגבוה ביותר באחוזון ה-99.
    • סטיית תקן: מיון של תהליכי העבודה לפי השונות (חוסר עקביות) הגבוהה ביותר בזמן האחזור.

  6. בודקים את הקטע הגדרות מתקדמות ומשנים אותו אם רוצים:

    • האפשרות נקודות דגימה: משמשת לבחירת נקודת הקצה של הדיווח, שיכולה להיות המקור או היעד.

    • האפשרות צבירת נתונים בתרשים: משמשת לציון שיטת החישוב של התרשים זרימות עם זמן האחזור הגבוה ביותר. השיטה הזו מוחלת על הנתונים שנבחרו על סמך מדד הדירוג שבחרתם ברשימה Rank flows by. אפשר לבחור מבין שיטות החישוב הבאות:

      • זמן אחזור ממוצע: חישוב של זמן האחזור הממוצע (כולל קפיצות חדות בזמן האחזור).
      • זמן אחזור מקסימלי: חישוב של העליות הכי גבוהות בזמן האחזור.
      • זמן טעינה חציוני: חישוב זמן הטעינה החציוני (לא כולל עליות פתאומיות בזמן הטעינה).
      • זמן טעינה P95: חישוב של זמן הטעינה באחוזון ה-95.
      • זמן טעינה P99: חישוב של זמן הטעינה באחוזון ה-99.

    • האפשרות צבירת נתונים בטבלה: משמשת לבחירת המדדים שיוצגו כעמודות בטבלה כל זרימות ההשהיה, בנוסף למדד הדירוג.

    • האפשרות הסתרת תהליכים שהתרומה שלהם הייתה פחות מ: משמשת להחרגת תהליכים עם נפח נמוך מהשאילתה.

      לדוגמה, אם השאילתה סיננה סך של 1,000 יומנים, הגדרת האפשרות הזו ל-1% תסתיר כל זרימה שתרמה פחות מ-10 יומנים. אם מגדירים את הערך 0%, לא מוחל סינון וכל הרצפים מוצגים ללא קשר לתרומה שלהם.

  7. לוחצים על Run new query.

הצגת פרטי התהליך

כדי לראות את פרטי הזרימה של זרימה שנבחרה בטבלה של זרימות הנתונים:

המסוף

  1. יצירת השאילתה.
    1. בוחרים קטגוריה ביומן. אם אתם מתכננים להשתמש בדלי ברירת המחדל של היומן _Default, אתם יכולים לדלג על השלב הזה.
    2. כדי להגדיר את טווח הזמן של השאילתה, משתמשים בבורר טווח הזמן או בוחרים באפשרות הפעלה מחדש של התקופה שנבחרה.
    3. בוחרים את המסננים.
    4. בוחרים את השדות שרוצים לארגן את התוצאות לפיהם.
  2. מריצים את השאילתה.
  3. בטבלה All data flows (כל זרימות הנתונים), All packet drop flows (כל זרימות הנשירה של מנות) או All latency flows (כל זרימות ההשהיה), לוחצים על Details (פרטים) עבור זרימה כלשהי. בדף Flow details שמופיע מוצגים כל המשאבים שתואמים למסננים שנבחרו והתנועה של המשאבים האלה. במקרה של השמטת מנות, אפשר גם ללחוץ על הסיבה להשמטה בטבלה All packet drop flows כדי לראות מידע נוסף על ההשמטה.

ניתוח מעמיק של זרימות התנועה

אפשר לצמצם עוד יותר את התנועה של המשאבים שנבחרו. באמצעות Flow Analyzer, אפשר להציג את תוצאות השאילתה בפירוט באמצעות השדות שנותרו שזמינים ביומני הזרימה של VPC. מידע נוסף זמין במאמר הצגת פרטים של זרימת נתונים.

כדי לבצע פירוט של זרימות התנועה באמצעות שדות נוספים:

המסוף

  1. יצירת השאילתה.
    1. בוחרים קטגוריה ביומן. אם אתם מתכננים להשתמש בדלי ברירת המחדל של היומן _Default, אתם יכולים לדלג על השלב הזה.
    2. כדי להגדיר את טווח הזמן של השאילתה, משתמשים בבורר טווח הזמן או בוחרים באפשרות הפעלה מחדש של התקופה שנבחרה.
    3. בוחרים את המסננים.
    4. בוחרים את השדות שרוצים לארגן את התוצאות לפיהם.
  2. מריצים את השאילתה.

  3. בטבלה All data flows (כל זרימות הנתונים), All packet drop flows (כל זרימות הנשירה של מנות) או All latency flows (כל זרימות ההשהיה), לוחצים על Details (פרטים) עבור זרימה כלשהי.

    בדף Flow details שמופיע מוצגים כל המשאבים שתואמים למסננים שנבחרו והתנועה של המשאבים האלה.

  4. ברשימה Drill down by, בוחרים שדה כדי לבצע חיתוך לפי פרמטרים.

  5. כדי להשוות את התנועה הנוכחית לתנועה בעבר, לוחצים על המתג השוואה לתנועה בעבר. התכונה הזו מאפשרת לכם לראות שישה קווים: שלושה קווים מלאים שמייצגים את שלושת זרמי התנועה המובילים מהפירוט, ושלושה קווים מקווקווים בצבעים תואמים שמייצגים את התנועה הקודמת.

המאמרים הבאים