ניתוח של תנועת הגולשים

בדף הזה מוסבר איך לשלוח שאילתות לגבי זרימות תנועה ולנתח אותן.

לפני שמתחילים

  1. בדף לבחירת הפרויקט במסוף Google Cloud , בוחרים פרויקט ב- Google Cloud או יוצרים אותו.

    תפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

    כניסה לדף לבחירת הפרויקט

  2. הפעלת יומני זרימה של VPC

תפקידים והרשאות נדרשים

מכיוון שכלי ניתוח הזרימה קורא נתונים בשם המשתמש, צריך לוודא שיש לכם הרשאות מספיקות לקריאת הקטגוריה שמכילה את היומנים. כדי להשתמש ב-Observability Analytics, צריך גם לשדרג את ה-bucket.

  • כדי לאפשר למשתמש לקרוא יומנים בדליים, משתמשים בדף Logs Explorer. בדף Observability Analytics אפשר לתת את אחד מהתפקידים הבאים:

    • כדי לקבל גישה לתצוגה _Default בדלי _Default, צריך להקצות את התפקיד מציג היומנים (roles/logging.viewer).
    • כדי לקבל גישה לכל היומנים ב-_Default קטגוריה ביומן, כולל יומני גישה לנתונים, צריך להקצות את התפקיד 'צפייה ביומנים פרטיים' (roles/logging.privateLogViewer).

    מידע נוסף זמין במאמר בנושא תפקידים ביומן.

  • כדי לאפשר למשתמש לקרוא יומנים שמאוחסנים בקטגוריה שהוגדרה על ידי משתמש, צריך להעניק לו את התפקיד Logs View Accessor‏ (roles/logging.viewAccessor). אפשר להגביל את ההרשאה לתצוגת יומן ספציפית. מידע נוסף זמין במאמר שליטה בגישה לתצוגת יומן.

  • אפשר גם ליצור תפקיד בהתאמה אישית שמעניק את ההרשאות הבאות:

    • logging.buckets.get
    • logging.buckets.list
    • logging.logEntries.list
    • logging.logs.list
    • resourcemanager.projects.get

איך יוצרים ומריצים שאילתה

כדי ליצור ולהריץ שאילתה באמצעות מסננים בסיסיים:

המסוף

  1. נכנסים לדף Flow Analyzer במסוף Google Cloud .

    מעבר אל Flow Analyzer

  2. לוחצים על Source bucket ומבצעים את הפעולות הבאות:

    1. בשדה Log bucket, בוחרים את קטגוריית יומני הגישה שמכילה את יומני הגישה שרוצים לשלוח לגביהם שאילתה. כברירת מחדל, יומני זרימה מאוחסנים בקטגוריית היומנים _Default.
    2. בשדה Log bucket view, בוחרים תצוגת קטגוריה ביומן.
    3. אופציונלי: אם רוצים לשלוח שאילתה ליומני זרימה שמשויכים להגדרה ספציפית של יומני זרימה של VPC, מבצעים את הפעולות הבאות:
      1. מסמנים את התיבה בחירת הגדרה ספציפית.
      2. ברשימה Log configurations (הגדרות יומן), בוחרים הגדרה אחת או יותר של VPC Flow Logs. האפשרות Flow logs configured for subnetworks בוחרת את כל יומני התנועה של כל רשתות המשנה בקטגוריה ביומן.

  3. בתפריט צירוף נתונים של תנועה, בוחרים באחת מהאפשרויות הבאות:

    • מקור – יעד: צבירת התנועה מהמקור ליעד.
    • לקוח – שרת: צבירת התנועה בשני הכיוונים על ידי התייחסות למשאבים עם מספרי יציאות נמוכים יותר ולהגדרות שירות או למאפייני שירות של GKE כשרתים.

    מידע נוסף זמין במאמר בנושא צבירת תנועה.

  4. בבורר טווח הזמן, מגדירים את טווח הזמן של השאילתה. ברירת המחדל של טווח הזמן היא שעה אחת. אפשר לבחור טווח זמן מוגדר מראש, לציין שעת התחלה ושעת סיום מותאמות אישית או לבחור טווח זמן סביב שעה ספציפית.

  5. ברשימות Filter, בוחרים מסנן שאילתה אחד או יותר. כל מסנן תואם לשדה ב-VPC Flow Logs. מידע נוסף על השדות האלה זמין במאמר פורמט הרשומה. אם לא בוחרים מסננים, Flow Analyzer מציג את תוצאות השאילתה לגבי כל הזרימות בטווח הזמן שנבחר.

    אם בוחרים יותר מערך אחד לאותו מסנן, נעשה שימוש באופרטור OR. אם בוחרים יותר ממסנן אחד באותה רשימה של מסננים, המערכת משתמשת באופרטור AND. לדוגמה, אם בוחרים שני ערכים של כתובות IP – 10.10.0.10 ו-10.10.0.20 – ושני ערכים של מדינה – usa ו-fra – הלוגיקה הבאה של הסינון מוחלת על השאילתה: (IP=10.10.0.10 OR IP=10.10.0.20) AND (Country=usa OR Country=fra).

  6. בוחרים איך לארגן את תוצאות השאילתה באמצעות הרשימות Organize flows by או משאירים את ערכי ברירת המחדל.

  7. לוחצים על Run new query (הרצת שאילתה חדשה).

    התרשים Highest data flows והטבלה All data flows מתעדכנים.

    אתם יכולים להשתמש בחלונית אפשרויות התצוגה כדי להתאים אישית את תוצאות השאילתה. מידע נוסף מופיע במאמר בנושא אפשרויות תצוגה. כדי לבחור אפשרויות בהתאמה אישית, אפשר לעיין במאמר בנושא התאמה אישית של אפשרויות התצוגה.

יצירה והרצה של שאילתת SQL

כדי ליצור ולהריץ שאילתה ב-Flow Analyzer באמצעות מסנני SQL:

המסוף

  1. נכנסים לדף Flow Analyzer במסוף Google Cloud .

    מעבר אל Flow Analyzer

  2. בוחרים קטגוריה ביומן. אם אתם מתכננים להשתמש בקטגוריה ביומן _Default, אתם יכולים לדלג על השלב הזה.

  3. כדי להגדיר את טווח הזמן של השאילתה, משתמשים בבורר טווח הזמן או בוחרים באפשרות הפעלה מחדש של התקופה שנבחרה.

  4. בתפריט צירוף נתונים של תנועה, בוחרים באחת מהאפשרויות הבאות:

    • ‫Source - Destination: צבירת התנועה מהמקור ליעד.
    • ‫Client - Server: צבירת התנועה בשני הכיוונים על ידי התייחסות למשאבים עם מספרי יציאות נמוכים יותר ולהגדרות שירות כשרתים.

    מידע נוסף זמין במאמר בנושא צבירת תנועה.

  5. לוחצים על מסנני SQL.

  6. מזינים את שאילתת הסינון של SQL באמצעות תחביר SQL של BigQuery.

  7. כדי לראות את התחביר של ביטויי סינון ודוגמאות, לוחצים על התחביר של ביטויי סינון ודוגמאות.

  8. אפשר לארגן את התהליך באמצעות השדות. בוחרים שדה כדי לארגן את פרטי הזרימה.

  9. לוחצים על Run new query (הרצת שאילתה חדשה).

    התרשים Highest data flows והטבלה All data flows מתעדכנים.

    אתם יכולים להשתמש בחלונית אפשרויות התצוגה כדי להתאים אישית את תוצאות השאילתה. מידע נוסף מופיע במאמר בנושא אפשרויות תצוגה. כדי לבחור אפשרויות בהתאמה אישית, אפשר לעיין במאמר בנושא התאמה אישית של אפשרויות התצוגה.

התאמה אישית של אפשרויות התצוגה

אפשר להשתמש במצבים הבאים כדי להציג ולנתח נתונים על זרימות התנועה:

  • נפח הנתונים (ברירת מחדל): מוצגים בייטים וחבילות שנשלחו.
  • זמן אחזור: מוצג זמן הלוך ושוב.

מידע נוסף מופיע במאמר בנושא אפשרויות תצוגה.

הצגת תהליכים במצב נפח נתונים

המסוף

  1. איך יוצרים ומריצים שאילתה
  2. בחלונית אפשרויות תצוגה, בודקים את תקופת ההתאמה ואם רוצים, משנים אותה. מידע נוסף מופיע בקטע תקופת ההתאמה.
  3. בוחרים באפשרות נפח נתונים כמצב התצוגה.
  4. בקטע סוג המדד, בוחרים באפשרות Bytes sent או Packets sent.

  5. בודקים את הקטע הגדרות מתקדמות ומשנים אותו לפי הצורך:

    • האפשרות Table aggregation: משמשת לבחירת המדדים שיוצגו כעמודות בטבלה All data flows.

      • אם בוחרים באפשרות Bytes sent כסוג המדד, אפשר לבחור מבין האפשרויות הבאות:

        • נפח תנועה כולל: נפח התנועה הכולל בתקופה שנבחרה. מופעל כברירת מחדל.
        • שיעור תנועה ממוצע: שיעור התנועה הממוצע לתקופת הזמן שנבחרה. החישוב מתבצע רק לתקופות ההתאמה שבהן נצפתה התנועה.
        • שיעור התנועה החציוני: שיעור התנועה החציוני לתקופת הזמן שנבחרה. החישוב מתבצע רק לתקופות ההתאמה שבהן נצפתה התנועה.
        • שיעור התנועה באחוזון ה-95: שיעור התנועה באחוזון ה-95 בתקופת הזמן שנבחרה. החישוב מתבצע רק לתקופות ההתאמה שבהן נצפתה התנועה.
        • ‫Max traffic rate (קצב התנועה המקסימלי): קצב התנועה המקסימלי לתקופת הזמן שנבחרה.

      • אם בוחרים במדד Packets sent, אפשר לבחור מבין האפשרויות הבאות:

        • ‫Aggregate packets: המספר הכולל של חבילות הנתונים לתקופת הזמן שנבחרה. מופעל כברירת מחדל.
        • Avg packets rate (קצב ממוצע של חבילות): קצב החבילות הממוצע לתקופת הזמן שנבחרה. החישוב מתבצע רק לתקופות ההתאמה שבהן נצפתה התנועה.
        • ‫Median packets rate: שיעור החבילות החציוני לתקופת הזמן שנבחרה. החישוב מתבצע רק לתקופות ההתאמה שבהן נצפתה התנועה.
        • ‫P95 packets rate: קצב החבילות באחוזון ה-95 לתקופת הזמן שנבחרה. החישוב מתבצע רק לתקופות ההתאמה שבהן נצפתה התנועה.
        • ‫Max packets rate (קצב החבילות המקסימלי): קצב החבילות המקסימלי לתקופת הזמן שנבחרה.

      מידע נוסף זמין במאמר בנושא צבירת מדדים.

    • האפשרות נקודות דגימה: משמשת לבחירת נקודת הקצה של הדיווח או שילוב של שתי נקודות הקצה:

      • נקודת קצה של המקור: מספר הבייטים או החבילות שנשלחו, כפי שדווח בנקודת הקצה של המקור בזרימה.
      • נקודת קצה של היעד: מספר הבייטים או מספר החבילות שנשלחו, כפי שדווח בנקודת הקצה של היעד של זרימה.
      • ‫Sum of source and destination (סכום המקור והיעד): סכום הבייטים שנשלחו או החבילות שנשלחו, כפי שמדווח על ידי שתי נקודות הקצה של זרימה.
      • ממוצע של מקור ויעד: ממוצע של בייטים שנשלחו או מנות שנשלחו, כפי שמדווח על ידי שתי נקודות הקצה של זרימה, אם פרטי המקור והיעד זמינים ביומני הזרימה של VPC.

      מידע נוסף זמין במאמר בנושא נקודת דגימה.

  6. לוחצים על Run new query (הרצת שאילתה חדשה).

הצגת תהליכי עבודה במצב השהיה

המסוף

  1. איך יוצרים ומריצים שאילתה
  2. בחלונית אפשרויות תצוגה, בודקים את תקופת ההתאמה ואם רוצים, משנים אותה. מידע נוסף מופיע בקטע תקופת ההתאמה.
  3. בוחרים באפשרות חביון כמצב התצוגה.
  4. בשדה סוג המדד, בוחרים באפשרות זמן הלוך ושוב (חציון).

  5. בקטע דירוג תהליכי המרה לפי, בוחרים מדד לדירוג. המדד הזה מגדיר את סדר המיון בטבלה All latency flows וקובע אילו תהליכים יוצגו בתרשים Highest latency flows. אפשר לבחור מבין מדדי הדירוג הבאים:

    • ממוצע: מיון של תהליכי העבודה לפי חביון ממוצע גבוה (כולל עליות פתאומיות בחביון).
    • מקסימום: מיון של התנועה לפי העלייה הכי גבוהה בזמן האחזור.
    • חציון: מיון של תהליכי העבודה לפי החציון הגבוה ביותר של זמן האחזור (לא כולל עליות פתאומיות בזמן האחזור).
    • ‫P95: מיון של התנועות לפי זמן האחזור הגבוה ביותר באחוזון ה-95.
    • ‫P99: מיון של זרימות לפי חביון באחוזון ה-99 הגבוה ביותר.
    • סטיית תקן: מיון של תהליכי הצפייה לפי השונות (חוסר עקביות) הגבוהה ביותר בזמן האחזור.

  6. בודקים את הקטע הגדרות מתקדמות ומשנים אותו לפי הצורך:

    • האפשרות נקודות דגימה: משמשת לבחירת נקודת הקצה של הדיווח, שיכולה להיות המקור או היעד.

    • האפשרות צבירת נתונים בתרשים: משמשת לציון שיטת החישוב של התרשים זרימות עם זמן האחזור הגבוה ביותר. השיטה הזו מוחלת על הנתונים שנבחרו על סמך מדד הדירוג שבחרתם ברשימה Rank flows by. אפשר לבחור מבין שיטות החישוב הבאות:

      • זמן אחזור ממוצע: חישוב של זמן האחזור הממוצע (כולל קפיצות חדות בזמן האחזור).
      • זמן המתנה המקסימלי: חישוב של העליות הכי גבוהות בזמן המתנה.
      • זמן אחזור חציוני: חישוב של זמן האחזור החציוני (לא כולל עליות פתאומיות בזמן האחזור).
      • זמן טעינה P95: חישוב של זמן הטעינה באחוזון ה-95.
      • זמן טעינה P99: חישוב של זמן הטעינה באחוזון ה-99.

    • האפשרות צבירת נתונים בטבלה: משמשת לבחירת המדדים שיוצגו כעמודות בטבלה כל זרימות ההשהיה, בנוסף למדד הדירוג.

    • האפשרות הסתרת תהליכים שהתרומה שלהם הייתה פחות מ-: משמשת להחרגת תהליכים עם נפח נמוך מהשאילתה.

      לדוגמה, אם השאילתה סיננה סך של 1,000 יומנים, הגדרת האפשרות הזו ל-1% תסתיר כל זרימה שתרמה פחות מ-10 יומנים. אם מגדירים את הערך 0%, לא מוחל סינון וכל הרצפים מוצגים ללא קשר לתרומה שלהם.

  7. לוחצים על Run new query (הרצת שאילתה חדשה).

הצגת פרטי התהליך

כדי לראות את פרטי התהליך של תהליך נתונים שנבחר בטבלה של תהליכי הנתונים:

המסוף

  1. יצירת השאילתה.
    1. בוחרים קטגוריה ביומן. אם אתם מתכננים להשתמש בדלי _Default של יומן, אתם יכולים לדלג על השלב הזה.
    2. כדי להגדיר את טווח הזמן של השאילתה, משתמשים בבורר טווח הזמן או בוחרים באפשרות הפעלה מחדש של התקופה שנבחרה.
    3. בוחרים את המסננים.
    4. בוחרים את השדות שרוצים לארגן את התוצאות לפיהם.
  2. מריצים את השאילתה.
  3. בטבלה All data flows (כל זרימות הנתונים), לוחצים על Details (פרטים) ליד הזרימה הרצויה. בדף Flow details שמופיע מוצגים כל המשאבים שתואמים למסננים שנבחרו והתנועה של המשאבים האלה.

פירוט של תנועת הגולשים

אפשר לצמצם עוד יותר את התנועה של המשאבים שנבחרו. באמצעות הכלי Flow Analyzer, אפשר להציג את תוצאות השאילתה בפירוט באמצעות השדות שנותרו שזמינים ביומני הזרימה של VPC. מידע נוסף מופיע במאמר בנושא הצגת פרטים של זרימת נתונים.

כדי לבצע ניתוח מעמיק של זרימות התנועה באמצעות שדות נוספים:

המסוף

  1. יצירת השאילתה.
    1. בוחרים קטגוריה ביומן. אם אתם מתכננים להשתמש בדלי _Default של יומן, אתם יכולים לדלג על השלב הזה.
    2. כדי להגדיר את טווח הזמן של השאילתה, משתמשים בבורר טווח הזמן או בוחרים באפשרות הפעלה מחדש של התקופה שנבחרה.
    3. בוחרים את המסננים.
    4. בוחרים את השדות שרוצים לארגן את התוצאות לפיהם.
  2. מריצים את השאילתה.

  3. בטבלה All data flows (כל זרימות הנתונים) או All latency flows (כל זרימות הנתונים של זמן האחזור), לוחצים על Details (פרטים) ליד זרימה כלשהי.

    בדף Flow details שמופיע מוצגים כל המשאבים שתואמים למסננים שנבחרו והתעבורה של המשאבים האלה.

  4. ברשימה Drill down by, בוחרים שדה כדי לבצע הסתעפות.

  5. כדי להשוות את התחזית לתנועה בעבר, לוחצים על המתג השוואה לתנועה בעבר. התכונה הזו מאפשרת לכם לראות שישה קווים: שלושה קווים מלאים שמייצגים את שלושת זרמי התנועה המובילים מהפירוט, ושלושה קווים מקווקווים בצבעים תואמים שמייצגים את התנועה הקודמת.

המאמרים הבאים