ניתוח של תנועת הגולשים

בדף הזה מוסבר איך לשלוח שאילתות לגבי תנועת הגולשים ולנתח אותה.

לפני שמתחילים

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. הפעלת יומני זרימה של VPC

תפקידים והרשאות נדרשים

מכיוון ש-Flow Analyzer קורא נתונים בשם המשתמש, צריך לוודא שיש לכם הרשאות מספיקות לקריאת הקטגוריה שמכילה את היומנים. כדי להשתמש ב-Log Analytics, צריך גם לשדרג את הדלי.

  • כדי לאפשר למשתמש לקרוא יומנים בדליים, משתמשים בדף Logs Explorer. משתמשים בדף Log Analytics כדי להעניק אחד מהתפקידים הבאים:

    • כדי לקבל גישה לתצוגה _Default בדלי _Default, צריך להקצות את התפקיד Logs Viewer (צפייה ביומנים) (roles/logging.viewer).
    • כדי לקבל גישה לכל היומנים ב_Default קטגוריה ביומן, כולל יומני גישה לנתונים, צריך להעניק את התפקיד 'צפייה ביומנים פרטיים' (roles/logging.privateLogViewer).

    מידע נוסף זמין במאמר בנושא תפקידים ביומן.

  • כדי לאפשר למשתמש לקרוא יומנים שמאוחסנים בקטגוריה שהוגדרה על ידי משתמש, צריך להעניק לו את התפקיד Logs View Accessor‏ (roles/logging.viewAccessor). אפשר להגביל את ההרשאה לתצוגת יומן ספציפית. מידע נוסף זמין במאמר בנושא שליטה בגישה לתצוגת יומן.

  • אפשר גם ליצור תפקיד בהתאמה אישית שמעניק את ההרשאות הבאות:

    • logging.buckets.get
    • logging.buckets.list
    • logging.logEntries.list
    • logging.logs.list
    • resourcemanager.projects.get

איך יוצרים ומריצים שאילתה

כדי ליצור ולהריץ שאילתה באמצעות מסננים בסיסיים:

המסוף

  1. נכנסים לדף Flow Analyzer במסוף Google Cloud .

    ל-Flow Analyzer

  2. לוחצים על Source bucket ומבצעים את הפעולות הבאות:

    1. בשדה Log bucket, בוחרים את קטגוריית היומן שמכילה את יומני התנועה שרוצים לשלוח לגביהם שאילתה. כברירת מחדל, יומני זרימה מאוחסנים בקטגוריה ביומן _Default.
    2. בשדה Log bucket view, בוחרים תצוגת יומן.
    3. אופציונלי: אם רוצים לשלוח שאילתה ליומני זרימה שמשויכים להגדרה ספציפית של יומני זרימה של VPC, מבצעים את הפעולות הבאות:
      1. מסמנים את התיבה Select specific configuration (בחירת הגדרה ספציפית).
      2. ברשימה Log configurations (הגדרות יומן), בוחרים הגדרה אחת או יותר של יומני זרימה של VPC. האפשרות Flow logs configured for subnetworks (יומני תנועה שהוגדרו לרשתות משנה) בוחרת את כל יומני התנועה של כל רשתות המשנה בקטגוריה ביומן.

  3. בתפריט צירוף תנועה, בוחרים באחת מהאפשרויות הבאות:

    • מקור – יעד: צבירת התנועה מהמקור ליעד.
    • לקוח – שרת: צבירת התנועה בשני הכיוונים על ידי התייחסות למשאבים עם מספרי יציאות נמוכים יותר ולהגדרות שירות או למאפייני שירות של GKE כשרתים.

    מידע נוסף זמין במאמר בנושא צבירת תנועה.

  4. בבורר טווח הזמן, מגדירים את טווח הזמן של השאילתה. ברירת המחדל של טווח הזמן היא שעה אחת. אפשר לבחור טווח זמן מוגדר מראש, לציין שעת התחלה ושעת סיום מותאמות אישית או לבחור טווח זמן סביב שעה ספציפית.

  5. ברשימות Filter, בוחרים מסנן שאילתה אחד או יותר. כל מסנן תואם לשדה ב-VPC Flow Logs. מידע נוסף על השדות האלה זמין במאמר פורמט הרשומה. אם לא תבחרו מסננים, Flow Analyzer יציג את תוצאות השאילתה לכל הזרימות בטווח הזמן שנבחר.

    אם בוחרים יותר מערך אחד לאותו מסנן, נעשה שימוש באופרטור OR. אם בוחרים יותר ממסנן אחד באותה רשימה של מסננים, נעשה שימוש באופרטור AND. לדוגמה, אם בוחרים שני ערכים של כתובות IP – 10.10.0.10 ו-10.10.0.20 – ושני ערכים של מדינה – usa ו-fra – הלוגיקה הבאה של הסינון מוחלת על השאילתה: (IP=10.10.0.10 OR IP=10.10.0.20) AND (Country=usa OR Country=fra).

  6. בוחרים איך לארגן את תוצאות השאילתה באמצעות הרשימות Organize flows by או משאירים את ערכי ברירת המחדל.

  7. לוחצים על Run new query (הרצת שאילתה חדשה).

    התרשים Highest data flows והטבלה All data flows מתעדכנים.

    אתם יכולים להשתמש בחלונית אפשרויות התצוגה כדי להתאים אישית את תוצאות השאילתה. מידע נוסף מופיע במאמר בנושא אפשרויות תצוגה. כדי לבחור אפשרויות בהתאמה אישית, אפשר לעיין במאמר בנושא התאמה אישית של אפשרויות התצוגה.

יצירה והרצה של שאילתת SQL

כדי ליצור ולהריץ שאילתה ב-Flow Analyzer באמצעות מסנני SQL:

המסוף

  1. נכנסים לדף Flow Analyzer במסוף Google Cloud .

    ל-Flow Analyzer

  2. בוחרים קטגוריה ביומן. אם אתם מתכננים להשתמש בקטגוריה ביומן _Default, אתם יכולים לדלג על השלב הזה.

  3. כדי להגדיר את טווח הזמן של השאילתה, משתמשים בבורר טווח הזמן או בוחרים באפשרות הפעלה מחדש של התקופה שנבחרה.

  4. בתפריט צירוף תנועה, בוחרים באחת מהאפשרויות הבאות:

    • מקור – יעד: צבירת התנועה מהמקור ליעד.
    • ‫Client - Server: צבירת התנועה בשני הכיוונים על ידי התייחסות למשאבים עם מספרי יציאות נמוכים יותר ולהגדרות שירות כשרתים.

    מידע נוסף זמין במאמר בנושא צבירת תנועה.

  5. לוחצים על SQL Filters (מסנני SQL).

  6. מזינים את שאילתת הסינון של SQL באמצעות תחביר SQL של BigQuery.

  7. כדי לראות את התחביר של ביטויי סינון ודוגמאות, לוחצים על התחביר של ביטויי סינון ודוגמאות.

  8. משתמשים בשדות כדי לארגן את התהליך. בוחרים שדה כדי לארגן את פרטי הזרימה.

  9. לוחצים על Run new query (הרצת שאילתה חדשה).

    התרשים Highest data flows והטבלה All data flows מתעדכנים.

    אתם יכולים להשתמש בחלונית אפשרויות התצוגה כדי להתאים אישית את תוצאות השאילתה. מידע נוסף מופיע במאמר בנושא אפשרויות תצוגה. כדי לבחור אפשרויות בהתאמה אישית, אפשר לעיין במאמר בנושא התאמה אישית של אפשרויות התצוגה.

התאמה אישית של אפשרויות התצוגה

אפשר להשתמש במצבים הבאים כדי להציג ולנתח נתונים על זרימות התנועה:

  • נפח הנתונים (ברירת מחדל): מוצגים בייטים וחבילות שנשלחו.
  • זמן אחזור: מוצג זמן הלוך ושוב.

מידע נוסף מופיע במאמר בנושא אפשרויות תצוגה.

הצגת תהליכים במצב נפח נתונים

המסוף

  1. יצירה והרצה של שאילתה.
  2. בחלונית Display options, בודקים את Alignment period ואם רוצים, משנים אותו. מידע נוסף מופיע בקטע תקופת ההתאמה.
  3. בוחרים באפשרות נפח נתונים כמצב התצוגה.
  4. בקטע סוג המדד, בוחרים באפשרות Bytes sent או Packets sent.

  5. בודקים את הקטע הגדרות מתקדמות ומשנים אותו לפי הצורך:

    • האפשרות Table aggregation: משמשת לבחירת המדדים שיוצגו כעמודות בטבלה All data flows.

      • אם בוחרים באפשרות Bytes sent בתור סוג המדד, אפשר לבחור מבין האפשרויות הבאות:

        • נפח תנועה כולל: נפח התנועה הכולל בתקופה שנבחרה. מופעל כברירת מחדל.
        • קצב תנועה ממוצע: קצב התנועה הממוצע לתקופת הזמן שנבחרה. החישוב מתבצע רק לגבי תקופות ההתאמה שבהן נצפתה התנועה.
        • חציון קצב התנועה: חציון קצב התנועה לתקופת הזמן שנבחרה. החישוב מתבצע רק לגבי תקופות ההתאמה שבהן נצפתה התנועה.
        • שיעור התנועה באחוזון ה-95: שיעור התנועה באחוזון ה-95 לתקופת הזמן שנבחרה. החישוב מתבצע רק לגבי תקופות ההתאמה שבהן נצפתה התנועה.
        • ‫Max traffic rate (קצב תנועה מקסימלי): קצב התנועה המקסימלי לתקופת הזמן שנבחרה.

      • אם בוחרים במדד Packets sent, אפשר לבחור מבין האפשרויות הבאות:

        • ‫Aggregate packets: המספר הכולל של חבילות הנתונים לתקופת הזמן שנבחרה. מופעל כברירת מחדל.
        • Avg packets rate (קצב ממוצע של חבילות): הקצב הממוצע של חבילות בתקופת הזמן שנבחרה. החישוב מתבצע רק לגבי תקופות ההתאמה שבהן נצפתה התנועה.
        • ‫Median packets rate: שיעור החבילות החציוני לתקופה שנבחרה. החישוב מתבצע רק לתקופות ההתאמה שבהן נצפתה התנועה.
        • ‫P95 packets rate: קצב החבילות באחוזון ה-95 לתקופת הזמן שנבחרה. החישוב מתבצע רק לגבי תקופות ההתאמה שבהן נצפתה התנועה.
        • ‫Max packets rate (קצב החבילות המקסימלי): קצב החבילות המקסימלי לתקופת הזמן שנבחרה.

      מידע נוסף זמין במאמר בנושא צבירת מדדים.

    • האפשרות נקודות דגימה: משמשת לבחירת נקודת הקצה לדיווח או לשילוב של שתי נקודות הקצה:

      • נקודת קצה של המקור: מספר הבייטים או החבילות שנשלחו, כפי שמדווח בנקודת הקצה של המקור בזרימה.
      • נקודת קצה של היעד: מספר הבייטים או החבילות שנשלחו, כפי שדווח בנקודת הקצה של היעד של זרימה.
      • ‫Sum of source and destination: סכום הבייטים שנשלחו או החבילות שנשלחו, כפי שמדווח על ידי שתי נקודות הקצה של זרימה.
      • ממוצע של מקור ויעד: ממוצע של בייטים שנשלחו או מנות שנשלחו, כפי שמדווח על ידי שתי נקודות הקצה של זרימה, אם פרטי המקור והיעד זמינים ביומני הזרימה של VPC.

      מידע נוסף זמין במאמר בנושא נקודת דגימה.

  6. לוחצים על Run new query (הרצת שאילתה חדשה).

הצגת תהליכי עבודה במצב השהיה

המסוף

  1. יצירה והרצה של שאילתה.
  2. בחלונית Display options, בודקים את Alignment period ואם רוצים, משנים אותו. מידע נוסף מופיע בקטע תקופת ההתאמה.
  3. בוחרים באפשרות חביון כמצב התצוגה.
  4. בשדה סוג המדד, בוחרים באפשרות זמן הלוך ושוב (חציון).

  5. בקטע דירוג תהליכי המרה לפי, בוחרים מדד דירוג. המדד הזה מגדיר את סדר המיון בטבלה All latency flows וקובע אילו זרימות מוצגות בתרשים Highest latency flows. אפשר לבחור מבין מדדי הדירוג הבאים:

    • ממוצע: מיון של תהליכי העבודה לפי חביון ממוצע גבוה יותר (כולל עליות פתאומיות בחביון).
    • מקסימלי: מיון של התנועות לפי העלייה הכי גבוהה בזמן האחזור.
    • חציון: מיון של תהליכי העבודה לפי החציון הגבוה ביותר של זמן האחזור (לא כולל קפיצות בזמן האחזור).
    • ‫P95: מיון של תנועות לפי זמן האחזור הגבוה ביותר באחוזון ה-95.
    • ‫P99: מיון של תהליכי העבודה לפי זמן הטעינה באחוזון ה-99.
    • סטיית תקן: מיון של תהליכי העבודה לפי השונות (חוסר עקביות) הגבוהה ביותר בזמן האחזור.

  6. בודקים את הקטע הגדרות מתקדמות ומשנים אותו לפי הצורך:

    • האפשרות נקודות דגימה: משמשת לבחירת נקודת הקצה של הדיווח, שיכולה להיות המקור או היעד.

    • האפשרות Chart aggregation: משמשת לציון שיטת החישוב של התרשים Highest latency flows. השיטה הזו מוחלת על הנתונים שנבחרו על סמך מדד הדירוג שבחרתם ברשימה Rank flows by. אפשר לבחור מבין שיטות החישוב הבאות:

      • זמן אחזור ממוצע: חישוב של זמן האחזור הממוצע (כולל קפיצות חדות בזמן האחזור).
      • זמן אחזור מקסימלי: חישוב של העליות הכי גבוהות בזמן האחזור.
      • זמן אחזור חציוני: חישוב של זמן האחזור החציוני (לא כולל עליות פתאומיות בזמן האחזור).
      • זמן טעינה P95: חישוב של זמן הטעינה באחוזון ה-95.
      • זמן טעינה P99: חישוב של זמן הטעינה באחוזון ה-99.

    • האפשרות Table aggregation: משמשת לבחירת המדדים שיוצגו כעמודות בטבלה All latency flows, בנוסף למדד הדירוג.

    • האפשרות הסתרת תהליכים שהתרומה שלהם הייתה פחות מ-: משמשת להחרגת תהליכים עם נפח נמוך מהשאילתה.

      לדוגמה, אם השאילתה סיננה סך של 1,000 יומנים, הגדרת האפשרות הזו ל-1% תסתיר כל זרימה שתרמה פחות מ-10 יומנים. אם מגדירים את הערך 0%, לא מוחל סינון וכל התהליכים מוצגים ללא קשר לתרומה שלהם.

  7. לוחצים על Run new query (הרצת שאילתה חדשה).

הצגת פרטי התהליך

כדי לראות את פרטי התהליך של תהליך נתונים שנבחר בטבלה של תהליכי הנתונים:

המסוף

  1. יצירת השאילתה.
    1. בוחרים קטגוריה ביומן. אם אתם מתכננים להשתמש בדלי _Default של יומני הגישה, אתם יכולים לדלג על השלב הזה.
    2. כדי להגדיר את טווח הזמן של השאילתה, משתמשים בבורר טווח הזמן או בוחרים באפשרות הפעלה מחדש של התקופה שנבחרה.
    3. בוחרים את המסננים.
    4. בוחרים את השדות שרוצים לארגן את התוצאות לפיהם.
  2. מריצים את השאילתה.
  3. בטבלה All data flows (כל זרימות הנתונים), לוחצים על Details (פרטים) ליד הזרימה הרצויה. בדף פרטי התנועה שמופיע מוצגים כל המשאבים שתואמים למסננים שנבחרו והתנועה של המשאבים האלה.

התעמקות בזרימות תנועה

אפשר לצמצם עוד יותר את התנועה של המשאבים שנבחרו. באמצעות Flow Analyzer, אפשר להציג את תוצאות השאילתה בפירוט באמצעות השדות שנותרו שזמינים ביומני הזרימה של VPC. מידע נוסף מופיע במאמר בנושא הצגת פרטים של זרימת נתונים.

כדי להתעמק בנתוני תנועה באמצעות שדות נוספים:

המסוף

  1. יצירת השאילתה.
    1. בוחרים קטגוריה ביומן. אם אתם מתכננים להשתמש בדלי _Default של יומני הגישה, אתם יכולים לדלג על השלב הזה.
    2. כדי להגדיר את טווח הזמן של השאילתה, משתמשים בבורר טווח הזמן או בוחרים באפשרות הפעלה מחדש של התקופה שנבחרה.
    3. בוחרים את המסננים.
    4. בוחרים את השדות שרוצים לארגן את התוצאות לפיהם.
  2. מריצים את השאילתה.

  3. בטבלה All data flows (כל זרימות הנתונים) או All latency flows (כל זרימות ההשהיה), לוחצים על Details (פרטים) של זרימה כלשהי.

    בדף Flow details שמופיע מוצגים כל המשאבים שתואמים למסננים שנבחרו והתנועה של המשאבים האלה.

  4. ברשימה Drill down by, בוחרים שדה כדי לבצע חיתוך.

  5. כדי להשוות את התנועה לתנועה בעבר, לוחצים על המתג השוואה לתנועה בעבר. התכונה הזו מאפשרת לכם לראות שישה קווים: שלושה קווים מלאים שמייצגים את שלושת זרמי התנועה המובילים מההתעמקות בנתונים, ושלושה קווים מקווקווים בצבעים תואמים שמייצגים את התנועה הקודמת.

המאמרים הבאים