VPC-Flusslogs

Mit VPC-Flusslogs werden Stichproben von Paketen in Ihrem VPC-Netzwerk (Virtual Private Cloud) erfasst, um Flusslogs zu generieren. Flussprotokolle werden nach IP-Verbindung (5-Tupel) zusammengefasst. Bei VPC-Flusslogs werden Stichproben der folgenden Pakete erfasst:

Sie können sich die Flusslogs in Cloud Logging ansehen und sie in jedes Ziel exportieren, das vom Cloud Logging-Export unterstützt wird. Diese Protokolle können für Netzwerkmonitoring, Forensik, Sicherheitsanalysen und Kostenoptimierung verwendet werden.

Weitere Informationen finden Sie unter Unterstützte Konfigurationen.

Anwendungsfälle

Im Folgenden finden Sie Anwendungsfälle für VPC-Flusslogs.

Netzwerküberwachung

VPC-Flusslogs bieten Ihnen Informationen zum Netzwerkdurchsatz und zur Netzwerkleistung. Sie können:

  • Überwachung des VPC-Netzwerks
  • Durchführung von Netzwerkdiagnosen
  • Flusslogs nach VMs, serverlosen Endpunkten, VLAN-Anhängen und Cloud VPN-Tunneln filtern, um Trafficänderungen zu verstehen
  • Informationen zum Trafficwachstum für Kapazitätsprognosen

Netzwerknutzung verstehen und Kosten des Netzwerk-Traffics senken

Sie können die Netzwerknutzung mithilfe von VPC-Flusslogs analysieren, um die Kosten für den Netzwerkverkehr zu optimieren. Sie können die Netzwerkflüsse beispielsweise für Folgendes analysieren:

  • Traffic zwischen Regionen und Zonen
  • Traffic in bestimmte Länder im Internet
  • Traffic an lokale und andere Cloud-Netzwerke
  • Top-Sender im Netzwerk, einschließlich VMs, serverlosen Endpunkten, VLAN-Anhängen und Cloud VPN-Tunneln

Netzwerkforensik

Sie können VPC-Flusslogs für die Netzwerkforensik nutzen. Zum Beispiel haben Sie bei einem Vorfall die Möglichkeit, Folgendes zu überprüfen:

  • Welche IP-Adressen haben wann miteinander kommuniziert?
  • Welche IPs wurden gefährdet (durch die Analyse aller eingehenden und ausgehenden Netzwerkflüsse)?

Unterstützte Konfigurationen

Sie können VPC-Flusslogs auf Organisations- und Projektebene aktivieren. Mit einer VPC-Flusslogkonfiguration auf Organisationsebene werden Flusslogs für alle Subnetze, VLAN-Anhänge und Cloud VPN-Tunnel in allen VPC-Netzwerken in der Organisation aktiviert.

Auf Projektebene können Sie VPC-Flusslogs für bestimmte VPC-Netzwerke, Subnetze, VLAN-Anhänge und Cloud VPN-Tunnel aktivieren.

Konfigurationsbereich Generiert Flusslogs für diese Ressourcen Schritte zur Aktivierung
Organisation
  • Alle VM-Instanzen und Cloud Run-Ressourcen in allen Subnetzen in der Organisation
  • Alle VLAN-Anhänge in der Organisation
  • Alle Cloud VPN-Tunnel in der Organisation
 VPC-Flusslogs für eine Organisation aktivieren
VPC-Netzwerk
  • Alle VM-Instanzen und Cloud Run-Ressourcen in allen Subnetzen im VPC-Netzwerk
  • Alle VLAN-Anhänge im VPC-Netzwerk
  • Alle Cloud VPN-Tunnel im VPC-Netzwerk
 VPC-Flusslogs für ein VPC-Netzwerk aktivieren
Subnetz Alle VM-Instanzen und Cloud Run-Ressourcen in einem bestimmten Subnetz

VPC-Flusslogs für ein Subnetz aktivieren:
VLAN-Anhang Ein bestimmter VLAN-Anhang VPC-Flusslogs für einen VLAN-Anhang aktivieren
Cloud VPN-Tunnel Ein bestimmter Cloud VPN-Tunnel VPC-Flusslogs für einen Cloud VPN-Tunnel aktivieren

Sie können diese Konfigurationsbereiche mithilfe von Filtern anpassen. Weitere Informationen finden Sie unter Log-Sampling und -verarbeitung.

Logerfassung

Pakete werden innerhalb eines Aggregationsintervalls erfasst. Alle Pakete, die für eine bestimmte IP-Verbindung innerhalb des Aggregationszeitraums erfasst wurden, werden in einem einzigen Flusslogeintrag aggregiert. Diese Daten werden dann an Logging im Google Cloud Projekt des VPC-Netzwerk gesendet, in dem der Fluss gemeldet wurde.

Logs werden standardmäßig 30 Tage lang in Logging gespeichert. Wenn Sie Logs länger aufbewahren möchten, können Sie entweder eine benutzerdefinierte Aufbewahrungsdauer festlegen oder sie in eine unterstützte Aufbewahrungsdauer exportieren.

Log-Sampling und -verarbeitung

Um Flusslogs zu generieren, werden mit VPC-Flusslogs Stichproben von Paketen in Ihrem VPC-Netzwerk erfasst, einschließlich Paketen, die von VMs und serverlosen Endpunkten gesendet und empfangen werden, sowie Paketen, die Gateways wie VLAN-Anhänge oder Cloud VPN-Tunnel durchlaufen. Nachdem die Flusslogs erstellt wurden, werden sie von VPC-Flusslogs gemäß dem in diesem Abschnitt beschriebenen Verfahren verarbeitet.

Bei VPC-Flusslogs werden Pakete mit einer primären Stichprobenrate erfasst. Die primäre Stichprobenrate ist dynamisch und variiert je nach Auslastung des physischen Hosts, auf dem die meldende Ressource zum Zeitpunkt der Stichprobenerhebung ausgeführt wird. Die Wahrscheinlichkeit, dass eine einzelne IP-Verbindung ausgewählt wird, steigt mit dem Paketvolumen. Sie können den primären Samplingprozess für Flussprotokolle nicht steuern oder die primäre Abtastrate anpassen.

Nachdem die Flusslogs erstellt wurden, werden sie von VPC-Flusslogs gemäß dem folgenden Verfahren verarbeitet:

  1. Filterfunktion. Sie können festlegen, dass nur Logs generiert werden, die bestimmten Kriterien entsprechen. Sie können beispielsweise so filtern, dass nur Logs für eine bestimmte VM oder nur Logs mit einem bestimmten Metadatenwert generiert werden und der Rest verworfen wird. Weitere Informationen finden Sie unter Logfilterung.
  2. Aggregation. Die Informationen für die Stichprobenpakete werden über ein konfigurierbares Aggregationsintervall zusammengefasst. Daraus ergibt sich ein Flusslogeintrag.
  3. Sekundäre Stichprobenerhebung von Flusslogs. Dies ist ein zweiter Probenahmeprozess. Von den Flusslogeinträgen werden weitere Stichproben gemäß einem konfigurierbaren Parameter für die sekundäre Stichprobenrate erstellt. Die sekundäre Stichprobenerhebung wird für die Flusslogs ausgeführt, die durch die primäre Stichprobenerhebung von Flusslogs generiert wurden. Wenn beispielsweise die sekundäre Stichprobenrate auf 100 % festgelegt ist, erfolgt die Stichprobenerhebung von „VPC-Flusslogs“ für 100% der Flusslogs, die durch die primäre Stichprobenerhebung von Flusslogs generiert wurden.
  4. Metadaten. Wenn diese Option deaktiviert ist, werden alle Metadatenannotationen verworfen. Wenn Sie Metadaten behalten möchten, können Sie alle Felder oder eine bestimmte Gruppe von Feldern beibehalten. Weitere Informationen finden Sie unter Metadaten annotationen.
  5. In Logging schreiben. Die endgültigen Logeinträge werden in Cloud Logging geschrieben.

Da VPC-Flusslogs nicht jedes Paket erfassen, werden verpasste Pakete durch Interpolation aus den erfassten Paketen kompensiert. Dies geschieht bei Paketen, die aufgrund von anfänglichen und benutzerdefinierten Einstellungen für die Probenahme verpasst wurden.

Obwohl Google Cloud nicht jedes Paket erfasst, können die erfassten Logeinträge recht umfangreich sein. Sie können die Sichtbarkeit des Traffics und die Speicherkosten auf Ihre Bedürfnisse abstimmen, indem Sie die folgenden Aspekte der Logerfassung anpassen:

  • Aggregationsintervall. Paketstichproben für ein Zeitintervall werden in einem einzigen Logeintrag zusammengefasst. Dieses Zeitintervall kann 5 Sekunden (Standardeinstellung), 30 Sekunden, 1 Minute, 5 Minuten, 10 Minuten oder 15 Minuten sein.
  • Sekundäre Stichprobenrate.
    • Bei Konfigurationen, die mit der Compute Engine API erstellt wurden, werden standardmäßig 50% der Logeinträge aufbewahrt. Sie können diesen Parameter zwischen 1.0 (100%, alle Logeinträge werden beibehalten) und 0.0 (0%, keine Logeinträge werden beibehalten) festlegen.
    • Bei Konfigurationen, die mit der Network Management API erstellt wurden, werden standardmäßig 100% der Logeinträge aufbewahrt. Sie können diesen Parameter auf einen Wert zwischen 1.0 und über 0.0 festlegen.
  • Metadatenannotationen. Standardmäßig werden Flusslogeinträge mit Metadaten versehen, beispielsweise mit den Namen der Quell- und Ziel-VMs oder der geografischen Region externer Quellen und Ziele. Google Cloud Metadatenannotationen können deaktiviert werden. Sie können auch nur bestimmte Annotationen angeben, um Speicherplatz zu sparen.
  • Filterfunktion. Standardmäßig werden Logs für jeden gesendeten Datenstrom generiert. Sie können Filter so einrichten, dass nur Logs generiert werden, die bestimmten Kriterien entsprechen.

Spezifikationen

  • VPC-Flusslogs weisen keine Verzögerung oder Leistungseinbußen auf, wenn sie aktiviert sind.
  • VPC-Flusslogs funktionieren in Verbindung mit VPC-Netzwerken, nicht mit Legacy-Netzwerken.
  • Bei VPC-Flusslogs werden Stichproben von TCP-, UDP-, ICMP-, ESP-, GRE-, und RDMA-Flüssen erfasst:
    • Sowohl ein- als auch ausgehende Datenströme werden erfasst. Bei RDMA over Converged Ethernet (RoCE) werden nur ausgehende Datenströme erfasst.
    • Flüsse können innerhalb Google Cloud oder zwischen Google Cloud und anderen Netzwerken auftreten.
    • Wenn ein Fluss durch Stichproben erfasst wird, erstellen VPC-Flusslogs ein Log für den Fluss. Jeder Flusseintrag enthält die im Abschnitt Eintragsformat beschriebenen Daten.
    • Flusslogs geben nicht an, welcher Endpunkt den Fluss initiiert hat, sondern nur die Richtung des Pakets.
  • VPC-Flusslogs interagieren so mit Firewallregeln:
    • Ausgehende Pakete werden vor ausgehenden Firewallregeln als Stichprobe erfasst. Selbst wenn eine Firewallregel für ausgehenden Traffic ausgehende Pakete ablehnt, können diese Pakete von VPC-Flusslogs als Stichprobe verwendet werden.
    • Eingehende Pakete werden nach eingehenden Firewallregeln als Stichprobe erfasst. Wenn eine eingehende Firewallregel eingehende Pakete ablehnt, werden diese Pakete nicht von VPC-Flusslogs als Stichprobe verwendet.
  • Sie können Filter in VPC-Flusslogs verwenden, um nur bestimmte Logs zu generieren.
  • VPC-Flusslogs unterstützen VMs mit mehreren Netzwerkschnittstellen. In jeder VPC müssen Sie VPC-Flusslogs für jedes Subnetz aktivieren, das eine Netzwerkschnittstelle enthält.
  • Wenn Sie Datenflüsse zwischen Pods auf demselben GKE-Knoten (Google Kubernetes Engine) protokollieren möchten, müssen Sie die knoteninterne Sichtbarkeit für den Cluster aktivieren.
  • VPC-Flusslogs werden für Subnetze mit dem Zweck INTERNAL_HTTPS_LOAD_BALANCER nicht unterstützt, da diese Subnetze als Nur-Proxy-Subnetze verwendet werden und keine VM-Instanzen oder serverlosen Endpunkte haben.
  • VPC-Flusslogs schreiben Logs in das Projekt des meldenden VPC-Netzwerk. Für Ressourcen in freigegebene VPC-Netzwerken werden Logs im Hostprojekt gemeldet.

Preise und Abrechnung

Es gelten die Standardpreise für Logging, BigQuery oder Pub/Sub. Die Preisgestaltung für VPC-Flusslogs wird unter Netzwerktelemetrie-Preise beschrieben.

Die Kosten für VPC-Flusslogs werden dem Google Cloud Projekt der Ressource in Rechnung gestellt, die Flusslogs meldet. Wenn VPC-Flusslogs für eine Organisation aktiviert sind, wird jedes Projekt separat in Rechnung gestellt.

Nächste Schritte