Logs mit dem Log-Explorer und Loganalysen analysieren

In diesem Dokument wird beschrieben, wie Sie Logeinträge mit der Google Cloud Console abfragen, ansehen und analysieren. Es stehen zwei Oberflächen zur Verfügung: der Log-Explorer und Log Analytics. Mit beiden Oberflächen können Sie Protokolle abfragen, ansehen und analysieren. Sie verwenden jedoch unterschiedliche Abfragesprachen und haben unterschiedliche Funktionen:

  • Verwenden Sie den Log-Explorer, um Logdaten zu analysieren und Fehler zu beheben.

  • Mit Log Analytics können Sie Ihre Log- und Tracedaten zusammenführen oder Statistiken und Trends generieren.

Sie können Ihre Logs abfragen und Ihre Abfragen speichern, indem Sie Logging API-Befehle ausführen. Sie können Ihre Logs auch mit der Google Cloud CLI abfragen.

Log-Explorer verwenden

Der Log-Explorer soll Ihnen bei der Fehlerbehebung und Leistungsanalyse Ihrer Dienste und Anwendungen helfen. Ein Histogramm zeigt beispielsweise die Fehlerrate an. Wenn Sie einen Anstieg der Fehlerzahl oder etwas anderes Interessantes sehen, können Sie die entsprechenden Logeinträge suchen und ansehen. Wenn ein Logeintrag mit einer Fehlergruppe verknüpft ist, wird er mit einem Optionsmenü versehen, über das Sie auf weitere Informationen zur Fehlergruppe zugreifen können.

Die Abfragesprache wird von der Cloud Logging API, der Google Cloud CLI und dem Log-Explorer unterstützt. Um das Erstellen von Abfragen im Log-Explorer zu vereinfachen, können Sie Abfragen erstellen, indem Sie Menüs verwenden, Text eingeben und in einigen Fällen Optionen nutzen, die mit der Anzeige eines einzelnen Logeintrags bereitgestellt werden.

Der Log-Explorer unterstützt keine Aggregationsvorgänge, z. B. das Zählen der Anzahl von Logeinträgen, die ein bestimmtes Muster enthalten. Wenn Sie Aggregationsvorgänge ausführen möchten, aktivieren Sie die Analyse für den Log-Bucket und verwenden Sie dann Loganalysen.

Weitere Informationen zum Suchen und Aufrufen von Logs mit dem Log-Explorer finden Sie unter Logs mit dem Log-Explorer ansehen.

Loganalysen kennenlernen

Mit Log Analytics können Sie Informationen generieren, indem Sie Abfragen ausführen, mit denen Ihre Logdaten gruppiert und aggregiert werden. Diese Statistiken können Ihnen helfen, den Zeitaufwand für die Fehlerbehebung zu reduzieren. Sie können sich die Abfrageergebnisse in einer Tabelle, einem Diagramm oder beidem ansehen. Mithilfe von Diagrammen können Sie Muster und Trends in Ihren Logdaten erkennen. Der folgende Screenshot zeigt beispielsweise ein Abfrageergebnis, das als Tabelle und als Diagramm dargestellt wird:

Benutzeroberfläche für Log Analytics.

Log Analytics unterstützt Folgendes:

  • Logdaten gruppieren und aggregieren.

    Sie können beispielsweise eine SQL-Abfrage ausführen, mit der Logeinträge nach Stunde gruppiert und dann für jede Gruppe die durchschnittliche Latenz für HTTP-Anfragen an eine bestimmte URL berechnet wird.

  • SQL-Abfragen, die Pipe-Syntax verwenden.

  • Abfragen von Logansichten und Analytics-Ansichten.

    Logansichten haben ein systemdefiniertes Schema. Sie definieren das Schema für Analyseansichten.

  • Zusammenführen von Log- und Trace-Daten.

    Informationen zum Abfragen Ihrer Trace-Daten finden Sie unter Traces abfragen und analysieren.

Mit Cloud Logging können Sie Ihre Logdaten auch in BigQuery abfragen, ohne sie in BigQuery exportieren zu müssen. Nachdem Sie ein Upgrade Ihres Log-Buckets auf Loganalysen durchgeführt haben, erstellen Sie ein verknüpftes Dataset. Sie können das verknüpfte Dataset mit BigQuery-Diensten abfragen.

Das Upgrade eines Log-Buckets hat keine Auswirkungen auf die Verwendung des Log-Explorers. Für den Log-Explorer müssen Ihre Logdaten nur in einem Log-Bucket gespeichert sein.

Beschränkungen

  • Für das Upgrade eines vorhandenen Log-Buckets zur Verwendung von Log Analytics gelten die folgenden Einschränkungen:

    • Der Log-Bucket wurde auf der Projektebene Google Cloud erstellt.
    • Der Log-Bucket ist entsperrt, sofern es sich nicht um den Bucket _Required handelt.
    • Für den Bucket sind keine Updates ausstehend.

  • Logeinträge, die vor dem Upgrade eines Buckets geschrieben wurden, sind nicht sofort verfügbar. Wenn der Backfill-Vorgang abgeschlossen ist, können Sie diese Logeinträge analysieren. Der Backfill-Vorgang kann mehrere Tage dauern.

  • Sie können die Seite Log Analytics nicht verwenden, um Logansichten abzufragen, wenn für den Log-Bucket Zugriffssteuerungen auf Feldebene konfiguriert sind. Sie können jedoch Abfragen über die Seite Log-Explorer ausführen und ein verknüpftes BigQuery-Dataset abfragen. Da in BigQuery keine Zugriffssteuerungen auf Feldebene berücksichtigt werden, können Sie beim Abfragen eines verknüpften Datasets alle Felder in den Logeinträgen abfragen.

  • Doppelte Logeinträge werden nicht entfernt, bevor eine Abfrage ausgeführt wird. Dieses Verhalten unterscheidet sich von der Abfrage von Logeinträgen mit dem Log-Explorer. Dort werden doppelte Einträge durch Vergleichen der Felder „Lognamen“, „Zeitstempel“ und „Einfüge-ID“ entfernt. Weitere Informationen finden Sie unter Fehlerbehebung: In meinen Loganalyse-Ergebnissen sind doppelte Logeinträge vorhanden.

Einschränkungen bei Joins

Für das Zusammenführen von Ansichten gelten die folgenden Einschränkungen:

  1. Die Positionen der Ansichten erfüllen eine der folgenden Bedingungen:

    • Alle Ansichten haben denselben Standort.
    • Alle Ansichten befinden sich entweder unter global oder us.

  2. Wenn für Speicherressourcen vom Kunden verwaltete Verschlüsselungsschlüssel (Customer Managed Encryption Keys, CMEK) verwendet werden, muss eine der folgenden Bedingungen erfüllt sein:

    • Für Speicherressourcen, die CMEK verwenden, wird derselbe Cloud KMS-Schlüssel verwendet.
    • Speicherressourcen, die CMEK verwenden, haben einen gemeinsamen Vorfahren. Dieser Vorfahre gibt einen standardmäßigen Cloud KMS-Schlüssel an, der sich am selben Standort wie die Speicherressourcen befindet.

    Wenn für eine oder mehrere Speicherressourcen CMEK verwendet wird, verschlüsselt das System temporäre Daten, die durch den Join generiert werden, entweder mit dem gemeinsamen Cloud KMS-Schlüssel oder mit dem standardmäßigen Cloud KMS-Schlüssel des übergeordneten Elements.

Angenommen, Sie haben zwei Ansichten, die sich am selben Speicherort befinden. Anschließend können Sie diese Ansichten zusammenführen, wenn eine der folgenden Bedingungen zutrifft:

  • Für die Speicherressourcen wird kein CMEK verwendet.
  • Eine Speicherressource verwendet CMEK, die andere nicht.
  • Beide Speicherressourcen verwenden CMEK und denselben Cloud KMS-Schlüssel.

  • Für beide Speicherressourcen wird CMEK verwendet, aber mit unterschiedlichen Schlüsseln. Die Ressourcen haben jedoch einen gemeinsamen Vorfahren, der einen standardmäßigen Cloud KMS-Schlüssel angibt, der sich am selben Ort wie die Speicherressourcen befindet.

    Angenommen, die Ressourcenhierarchie für einen Log-Bucket und einen Observability-Bucket umfasst dieselbe Organisation. Sie können Ansichten für diese Buckets verknüpfen, wenn Sie für diese Organisation die Standardressourceneinstellungen für Cloud Logging und für Observability-Buckets mit demselben standardmäßigen Cloud KMS-Schlüssel für den Speicherort konfiguriert haben.

Preise

Preisinformationen finden Sie auf der Seite Google Cloud Observability-Preise. Wenn Sie Logdaten an andere Google Cloud -Dienste weiterleiten, lesen Sie die folgenden Dokumente:

Wenn Sie ein Upgrade eines Buckets durchführen, um Loganalysen zu verwenden, und dann ein verknüpftes Dataset erstellen, fallen keine BigQuery-Aufnahme- oder ‑Speicherkosten an. Wenn Sie ein verknüpftes Dataset für einen Log-Bucket erstellen, werden Ihre Logdaten nicht in BigQuery aufgenommen. Stattdessen erhalten Sie über das verknüpfte Dataset Lesezugriff auf die Logdaten, die in Ihrem Log-Bucket gespeichert sind.

BigQuery-Analysegebühren fallen an, wenn Sie SQL-Abfragen für verknüpfte BigQuery-Datasets ausführen. Das gilt auch für die Verwendung der Seite BigQuery Studio, der BigQuery API und des BigQuery-Befehlszeilentools.

Blogs

Weitere Informationen zu Loganalysen finden Sie in den folgenden Blogbeiträgen:

Nächste Schritte