VPC Flow Logs

התכונה VPC Flow Logs דוגמת מנות ברשת של הענן הווירטואלי הפרטי (VPC) כדי ליצור יומני תעבורה. יומני זרימה מצטברים לפי קישור דרך IP (5-tuple). VPC Flow Logs דוגם את החבילות הבאות:

• חבילות שנשלחות ממכונות וירטואליות (VM) ומתקבלות בהן, כולל מכונות וירטואליות שמשמשות כצמתים של Google Kubernetes Engine
• חבילות שנשלחות ממשאבי Cloud Run שהוגדרו עם יציאה ישירה מ-VPC ומתקבלות על ידם
• חבילות שנשלחות דרך קבצים מצורפים של VLAN עבור Cloud Interconnect ומנהרות Cloud VPN

אפשר לראות את יומני הזרימה ב-Cloud Logging, ולייצא את היומנים לכל יעד שנתמך בייצוא של Cloud Logging. אפשר להשתמש ביומנים האלה למעקב אחרי הרשת, לפורנזיקה דיגיטלית, לניתוח אבטחה ולאופטימיזציה של ההוצאות.

מידע נוסף זמין במאמר בנושא תצורות נתמכות.

תרחישים לדוגמה

הנה כמה תרחישי שימוש ב-VPC Flow Logs.

מעקב אחרי הרשת

יומני זרימה של VPC מספקים לכם נראות של תפוקת הרשת והביצועים שלה. אתם יכולים:

• מעקב אחרי רשת ה-VPC
• ביצוע ניתוח של הרשת
• סינון של יומני תעבורת הנתונים לפי VMs, נקודות קצה בלי שרת (serverless), צירופים ל-VLAN ומנהרות Cloud VPN כדי להבין את השינויים בתעבורה
• הסבר על גידול בתנועת הגולשים לצורך חיזוי קיבולת

הסבר על השימוש ברשת ואופטימיזציה של ההוצאות על תנועת הרשת

אפשר לנתח את השימוש ברשת באמצעות VPC Flow Logs כדי לבצע אופטימיזציה של ההוצאות על תעבורת הרשת. לדוגמה, אפשר לנתח את זרימות הנתונים ברשת במקרים הבאים:

• תנועה בין אזורים ותחומים
• תנועת גולשים למדינות ספציפיות באינטרנט
• תעבורה לרשתות מקומיות ולרשתות ענן אחרות
• הגורמים העיקריים שיוצרים תנועה ברשת, כולל מכונות וירטואליות, נקודות קצה בלי שרת (serverless), צירופים ל-VLAN ומנהרות Cloud VPN

פורנזיקה דיגיטלית ברשת

אפשר להשתמש ב-VPC Flow Logs לפורנזיקה דיגיטלית ברשת. לדוגמה, אם מתרחש אירוע, אפשר לבדוק את הדברים הבאים:

• אילו כתובות IP תקשרו זו עם זו ומתי
• אילו כתובות IP נפרצו על ידי ניתוח כל זרימות הנתונים הנכנסות והיוצאות ברשת

הגדרות נתמכות

אפשר להפעיל את יומני הזרימה של VPC ברמת הארגון וברמת הפרויקט. הגדרה של יומני זרימה של VPC ברמת הארגון מאפשרת יומני זרימה לכל רשתות המשנה, לכל חיבורי ה-VLAN ולכל מנהרות Cloud VPN בכל רשתות ה-VPC בארגון.

ברמת הפרויקט, אפשר להפעיל יומני זרימה של VPC לרשתות VPC ספציפיות, לרשתות משנה, לחיבורי VLAN ולמנהרות Cloud VPN.

היקף ההגדרה	יצירת יומני זרימה למשאבים האלה	שלבים להפעלה
ארגון	כל מופעי מכונות ה-VM ומשאבי Cloud Run בכל רשתות המשנה בארגון כל הצירופים ל-VLAN בארגון כל מנהרות ה-VPN בענן בארגון	הפעלת יומני זרימה של VPC בארגון
רשת VPC	כל המכונות הווירטואליות ומשאבי Cloud Run בכל רשתות המשנה ברשת ה-VPC כל הצירופים ל-VLAN ברשת ה-VPC כל מנהרות Cloud VPN ברשת ה-VPC	הפעלת VPC Flow Logs ברשת VPC
תת-רשת	כל המכונות הווירטואליות ומשאבי Cloud Run ברשת משנה ספציפית	הפעלת VPC Flow Logs עבור רשת משנה: מומלץ: הפעלת VPC Flow Logs עבור רשת משנה (Network Management API) הפעלת יומני זרימה של VPC עבור רשת משנה (Compute Engine API)
צירוף ל-VLAN	צירוף ספציפי ל-VLAN	הפעלת יומני זרימה של VPC לצירוף ל-VLAN
מנהרת Cloud VPN	מנהרת Cloud VPN ספציפית	הפעלת יומני זרימה של VPC למנהרת Cloud VPN

אפשר להשתמש במסננים כדי להתאים אישית את היקפי ההגדרה האלה. מידע נוסף זמין במאמר בנושא דגימה ועיבוד של יומנים.

איסוף יומנים

הדגימה של המנות מתבצעת במרווח צבירה. כל החבילות שנאספו עבור קישור דרך IP נתון בתוך מרווח הצבירה מצטברות לרשומה אחת ביומן זרימת הנתונים. הנתונים האלה נשלחים אל Logging בפרויקט Google Cloud של רשת ה-VPC שדיווחה על התנועה.

כברירת מחדל, היומנים מאוחסנים ב-Logging למשך 30 ימים. אם רוצים לשמור את היומנים למשך תקופה ארוכה יותר, אפשר להגדיר תקופת שמירה בהתאמה אישית או לייצא אותם ליעד נתמך.

דגימה ועיבוד של יומנים

כדי ליצור יומני תעבורה, התכונה 'יומני תעבורה של VPC' דוגמת מנות ברשת ה-VPC, כולל מנות שנשלחות ממכונות וירטואליות ומנקודות קצה בלי שרת (serverless) ומנות שמתקבלות מהן, ומנות שעוברות דרך שערים כמו צירופים ל-VLAN או מנהרות Cloud VPN. אחרי שיומני הזרימה נוצרים, שירות VPC Flow Logs מעבד אותם לפי התהליך שמתואר בקטע הזה.

יומני זרימה של VPC דוגמים מנות באמצעות קצב דגימה ראשי. תדירות הדגימה הראשונית היא דינמית ומשתנה בהתאם לעומס של המארח הפיזי שמריץ את משאב הדיווח בזמן הדגימה. ההסתברות לדגימה של כל חיבור IP בודד עולה עם נפח החבילות. אי אפשר לשלוט בתהליך הדגימה של יומן הזרימה הראשי או לשנות את קצב הדגימה הראשי.

אחרי שיומני הזרימה נוצרים, VPC Flow Logs מעבד אותם לפי התהליך הבא:

1. סינון. אתם יכולים לציין שיווצרו רק יומנים שתואמים לקריטריונים שצוינו. לדוגמה, אפשר לסנן כך שרק יומנים של מכונה וירטואלית מסוימת או רק יומנים עם ערך מטא-נתונים מסוים ייווצרו, והשאר יימחקו. מידע נוסף זמין במאמר בנושא סינון יומנים.
2. צבירה. המידע על מנות שנדגמו מצטבר על פני מרווח צבירה שניתן להגדרה, כדי ליצור רשומה ביומן התעבורה.
3. Secondary flow log sampling. זהו תהליך דגימה שני. רשומות ביומן של זרימת נתונים עוברות דגימה נוספת בהתאם לפרמטר שיעור דגימה משני שניתן להגדרה. הדגימה המשנית מתבצעת ביומני הזרימה שנוצרו על ידי תהליך הדגימה הראשי של יומני הזרימה. לדוגמה, אם קצב הדגימה המשני מוגדר ל-1.0, או ל-100%, אז VPC Flow Logs דוגם 100% מיומני התנועה שנוצרו על ידי הדגימה הראשית של יומני התנועה.
4. מטא-נתונים. אם האפשרות מושבתת, כל הערות המטא-נתונים נמחקות. אם רוצים לשמור את המטא-נתונים, אפשר לשמור את כל השדות או קבוצה ספציפית של שדות. מידע נוסף מופיע במאמר בנושא הערות מטא-נתונים.
5. כתיבה לרישום ביומן. רשומות היומן הסופיות נכתבות ב-Cloud Logging.

הערה: אי אפשר לשנות את האופן שבו VPC Flow Logs אוסף דגימות. עם זאת, אפשר לשלוט בדגימה של יומני הזרימה המשניים באמצעות הפרמטר Secondary sampling rate, כפי שמתואר במאמר הפעלה של יומני זרימה של VPC. אם אתם צריכים לנתח את כל החבילות, אתם יכולים להשתמש ברפליקציה של חבילות נתונים ובמופעים של כלי איסוף שמריצים תוכנת צד שלישי.

יומני הזרימה של VPC לא מתעדים כל חבילת נתונים, ולכן המערכת מפצה על חבילות שלא תועדו באמצעות אינטרפולציה מחבילות הנתונים שתועדו. המצב הזה קורה למנות שפספסנו בגלל הגדרות דגימה ראשוניות והגדרות דגימה שניתנות להגדרה על ידי המשתמש.

למרות ש Google Cloud לא מתעדת כל חבילה, רשומות ביומן יכולות להיות גדולות מאוד. כדי לאזן בין הצורך בגישה לנתוני התנועה לבין עלויות האחסון, אפשר לשנות את ההגדרות הבאות של איסוף היומנים:

• Aggregation interval. מנות שנדגמו במרווח זמן מסוים מצטברות לרשומה אחת ביומן. מרווח הזמן יכול להיות 5 שניות (ברירת מחדל), 30 שניות, דקה אחת, 5 דקות, 10 דקות או 15 דקות.
• תדירות דגימה משנית.
  • בהגדרות שנוצרו באמצעות Compute Engine API, ‏ 50% מיומני הרישום נשמרים כברירת מחדל. אפשר להגדיר את הפרמטר הזה מ-1.0 (100%, כל הרשומות ביומן נשמרות) עד 0.0 (0%, אף יומן לא נשמר).
  • בהגדרות שנוצרו באמצעות Network Management API, כל רשומות היומן נשמרות כברירת מחדל. אפשר להגדיר את הפרמטר הזה מ-1.0 עד יותר מ-0.0.
• הערות מטא-נתונים. כברירת מחדל, רשומות ביומן של זרימת נתונים מוערות בפרטי מטא-נתונים, כמו השמות של המקור והיעד בתוך Google Cloud או האזור הגיאוגרפי של מקורות ויעדים חיצוניים. כדי לחסוך במקום אחסון, אפשר להשבית את ההערות של המטא-נתונים או לציין רק הערות מסוימות.
• סינון. כברירת מחדל, יומנים נוצרים לכל זרימה שנדגמת. אפשר להגדיר מסננים כדי ליצור יומנים שתואמים רק לקריטריונים מסוימים.

מפרטים

• הפעלת VPC Flow Logs לא גורמת לעיכוב או לפגיעה בביצועים.
• ‫VPC Flow Logs פועל עם רשתות VPC, ולא עם רשתות מדור קודם.
• דוגמאות ליומני זרימה של VPC של זרימות TCP,‏ UDP,‏ ICMP,‏ ESP,‏ GRE ו-RDMA:
  • מתבצעת דגימה של תנועה נכנסת ויוצאת. ב-RDMA over Converged Ethernet ‏ (RoCE), רק זרימות יוצאות נדגמות.
  • הזרימות יכולות להיות בתוך Google Cloud או בין Google Cloud לבין רשתות אחרות.
  • אם זרימה נדגמת, מערכת VPC Flow Logs יוצרת יומן עבור הזרימה. כל רשומה של זרימה כוללת את המידע שמתואר בקטע פורמט הרשומה.
• האינטראקציה בין VPC Flow Logs לבין כללי חומת אש מתבצעת בדרכים הבאות:
  • המערכת מבצעת דגימה של חבילות נתונים יוצאות לפני כללי חומת האש של תעבורת נתונים יוצאת (egress). גם אם כלל חומת אש ליציאה דוחה חבילות יוצאות, אפשר לדגום את החבילות האלה באמצעות VPC Flow Logs.
  • מנות נתונים נכנסות נדגמות אחרי כללי חומת האש של התעבורה הנכנסת. אם כלל חומת אש לתעבורת נתונים נכנסת דוחה חבילות נתונים נכנסות, המערכת לא דוגמת את החבילות האלה ב-VPC Flow Logs.
• אפשר להשתמש במסננים ביומני התנועה של VPC כדי ליצור רק יומנים מסוימים.
• יומני תנועה של VPC תומכים במכונות וירטואליות עם כמה ממשקי רשת. בכל VPC, צריך להפעיל את VPC Flow Logs לכל תת-רשת שמכילה ממשק רשת.
• כדי לרשום ביומן את התנועה בין קבוצות Pod באותו צומת Google Kubernetes Engine ‏ (GKE), צריך להפעיל חשיפה בתוך הצומת באשכול.
• יומני תעבורה של VPC לא נתמכים בתת-רשתות עם מטרה INTERNAL_HTTPS_LOAD_BALANCER כי תת-הרשתות האלה משמשות כתת-רשתות של שרת proxy בלבד, ואין בהן מופעי VM או נקודות קצה ללא שרת.
• VPC Flow Logs כותב יומנים לפרויקט של רשת ה-VPC שמופיעה בדוח. לגבי משאבים ברשתות VPC משותפות, היומנים מדווחים בפרויקט המארח.

תמחור וחיוב

התמחור הרגיל של Logging,‏ BigQuery או Pub/Sub חל. התמחור של יומנים לתיעוד מידע על תעבורת ה-IP הנכנסת והיוצאת ב-VPC מתואר בתמחור של טלמטריה לרשתות.

החיוב על VPC Flow Logs מתבצע ב Google Cloud פרויקט של המשאב שמדווח על יומני הזרימה. אם האפשרות VPC Flow Logs מופעלת בארגון, כל פרויקט מחויב בנפרד.

המאמרים הבאים

• מידע נוסף על הפורמט של רשומות VPC Flow Logs ועל הערות המטא-נתונים שזמינות זמין במאמר מידע על רשומות VPC Flow Logs.
• כדי לראות דוגמאות ל-VPC Flow Logs שנאספים לתרחישי שימוש שונים, אפשר לעיין במאמר מידע על זרימות תנועה.
• כדי להתחיל לדווח על זרימות של רשת משנה, ראו הגדרה של יומני זרימה של VPC.