Trace-Daten mit BigQuery analysieren

In diesem Dokument wird beschrieben, wie Sie ein verknüpftes BigQuery-Dataset für Ihre Tracedaten erstellen und wie Sie dieses Dataset abfragen. Mit einem verknüpften Dataset können Sie Abfragen erstellen und ausführen, mit denen Sie Ihre Observability-Daten mit anderen Geschäftsdaten verknüpfen. Sie können beispielsweise ein verknüpftes Dataset in BigQuery Studio und in Looker Studio abfragen. Sie können Ihre Loganalyse-Abfragen auch im BigQuery-Backend ausführen.

Informationen zu den ersten Schritten mit Loganalysen finden Sie unter Traces abfragen und analysieren.

Wann Sie ein verknüpftes Dataset benötigen

Sie benötigen kein verknüpftes BigQuery-Dataset, wenn Sie Ihre Tracedaten oder Ihre Trace- und Logdaten abfragen möchten. In diesen Fällen können Sie die Seite Loganalysen verwenden. Informationen zum Abfragen von Logdaten finden Sie unter Logs mit Loganalysen abfragen und analysieren.

Sie benötigen ein verknüpftes BigQuery-Dataset, wenn Sie eine der folgenden Aktionen ausführen möchten:

Hinweis

  1. Melden Sie sich in Ihrem Google Cloud Konto an. Wenn Sie noch kein Google Cloud-Kunde sind, erstellen Sie ein Konto, um zu testen, wie sich unsere Produkte in realen Szenarien schlagen. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Observability API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Observability API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

    8.

In diesem Abschnitt wird beschrieben, welche APIs aktiviert werden müssen, welche Rollen zum Erstellen eines verknüpften Datasets erforderlich sind und wie Sie ein verknüpftes Dataset erstellen.

Vorbereitung

  1. Führen Sie die Schritte im Abschnitt Hinweis aus.

  2. Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer Verknüpfung zu einem Observability-Dataset benötigen:

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

REST

Senden Sie eine Anfrage an den projects.locations.buckets.datasets.links.create Endpunkt, um eine Verknüpfung zu einem BigQuery-Dataset zu erstellen.

Sie müssen den Parameter `parent` angeben, der die folgende Form hat:

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

Die Felder im vorherigen Ausdruck haben die folgende Bedeutung:

  • PROJECT_ID: Die Kennung des Projekts.
  • LOCATION: Der Speicherort des Observability-Buckets.
  • BUCKET_ID: Die ID des Observability-Buckets. Diese ID kann beispielsweise _Trace sein.
  • DATASET_ID: Die ID des Datasets, das abgefragt wird. Diese ID kann beispielsweise Spans sein.

Für diesen Befehl sind ein Abfrageparameter und ein Anfragetext erforderlich:

  • Der Abfrageparameter linkId muss angegeben und auf den Namen des BigQuery-Datasets festgelegt werden. Beispiel: linkId="my_link". Der Name des BigQuery-Datasets muss für Ihr Google Cloud Projekt eindeutig sein, darf maximal 100 Zeichen lang sein und darf nur Buchstaben, Ziffern und Unterstriche enthalten.

  • Der Anfragetext ist ein Link-Objekt. Der Wert des Felds name hat das folgende Format:

    projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_ID

    Der Wert, den Sie für das Feld name angeben, muss mit dem verknüpften BigQuery-Dataset übereinstimmen, auf das der Abfrageparameter verweist.

    Das Feld LINK_ID ist der Name des BigQuery-Datasets.

Die Antwort ist ein Operation Objekt. Dieses Objekt enthält Informationen zum Fortschritt der Methode. Wenn die Methode abgeschlossen ist, enthält das Operation-Objekt Statusdaten.

Eine vollständige Liste der Observability API-Endpunkte finden Sie in der Referenzdokumentation zur Observability API.

Tracedaten aus BigQuery Studio abfragen

In diesem Abschnitt wird beschrieben, wie Sie auf der Seite BigQuery Studio Abfragen für Ihre Tracedaten erstellen.

Informationen zu den Kosten für die Verwendung von BigQuery finden Sie unter BigQuery-Preise.

Vorbereitung

  1. Führen Sie die Schritte im Abschnitt Hinweis aus.

  2. Bitten Sie Ihren Administrator, Ihnen die BigQuery-Datenbetrachter (roles/bigquery.dataViewer) IAM-Rolle für Ihr Projekt oder verknüpftes Dataset zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Abfragen eines verknüpften Datasets aus BigQuery benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

  3. Prüfen Sie, ob das verknüpfte BigQuery-Dataset für den Observability-Bucket mit dem Namen _Trace vorhanden ist. Wenn das verknüpfte Dataset nicht vorhanden ist, erstellen Sie es.

BigQuery Studio verwenden

So öffnen Sie BigQuery über die Seite „Loganalysen“ und fragen dann Ihre Tracedaten ab:

  1. Rufen Sie in der Google Cloud Console die Loganalysen Seite auf:

    Zu Loganalysen

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis mit der Zwischenüberschrift Logging aus.

  2. Geben Sie eine Abfrage ein oder laden Sie sie. Weitere Informationen finden Sie unter Traces abfragen und analysieren.

  3. Maximieren Sie in der Symbolleiste das Menü Abfrage ausführen oder In BigQuery ausführen und wählen Sie In BigQuery öffnen aus.

    Die Seite BigQuery Studio wird geöffnet. Auf dieser Seite gibt die FROM Anweisung das verknüpfte Dataset mit der Syntax für den BigQuery Tabellenpfad an. Sie können alle unterstützten Aktionen für die Abfrage ausführen, z. B. sie bearbeiten.

    Wenn die Option In BigQuery öffnen deaktiviert ist, ist entweder kein verknüpftes Dataset vorhanden oder Sie haben nicht die erforderlichen Berechtigungen, um die Abfrage in BigQuery zu öffnen und anzusehen.

  4. Klicken Sie auf der Seite BigQuery Studio auf Abfrage ausführen.

Abfragen in der BigQuery-Engine ausführen

Standardmäßig werden auf der Seite Loganalysen die Abfragen, die Sie schreiben, in der Standardabfrage-Engine ausgeführt. Die von Ihnen ausgeführten Abfragen konkurrieren mit allen anderen Abfragen um Slots. Daher kann es vorkommen, dass die Ausführung einer Abfrage verzögert wird, weil keine Slots verfügbar sind. Mit der Standardabfrage-Engine können nur Observability-Ansichten, Ansichten für Log-Buckets und Analyseansichten abgefragt werden.

Wenn Sie ein verknüpftes Dataset erstellen, können Sie auf der Seite Loganalysen zwischen der Standardabfrage-Engine und der BigQuery-Engine wählen. Wenn Sie reservierte BigQuery-Slots haben und die Option zum Ausführen der Abfrage in der BigQuery-Engine auswählen, werden Ihre reservierten Slots verwendet. Mit Abfragen, die in der BigQuery-Engine ausgeführt werden, können Observability-Ansichten, Ansichten für Log-Buckets und Analyseansichten abgefragt werden. Mit diesen Abfragen können Sie Ihre Observability-Daten auch mit einer BigQuery-Tabelle verknüpfen.

Es gibt zwei Hauptanwendungsfälle für das Ausführen von Abfragen in der BigQuery-Engine:

  • Sie erstellen SQL-basierte Benachrichtigungsrichtlinien. Die Abfragen für diese Richtlinien müssen in der BigQuery-Engine ausgeführt werden.

  • Sie möchten ein Diagramm in einem Dashboard speichern, in dem das Ergebnis einer Verknüpfung zwischen Observability-Daten und anderen Geschäftsdaten angezeigt wird.

    Die FROM-Klausel muss entweder eine Ansicht für ein Observability-Dataset oder eine Ansicht für einen Log-Bucket angeben. Außerdem muss ein verknüpftes Dataset für die abzufragenden Daten vorhanden sein. Wenn Sie Ihre Observability-Daten mit anderen Geschäftsdaten verknüpfen möchten, fügen Sie eine JOIN-Anweisung hinzu, die eine BigQuery-Tabelle angibt. Sie benötigen die erforderlichen IAM-Berechtigungen, um die BigQuery-Tabelle abzufragen.

Informationen zu den Kosten für die Verwendung von BigQuery finden Sie unter BigQuery-Preise.

Vorbereitung

  1. Führen Sie die Schritte im Abschnitt Hinweis aus.

  2. Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen von Abfragen aus Loganalysen mit BigQuery-Slots benötigen:

    • Observability View Accessor (roles/observability.viewAccessor) für die Observability-Ansichten, die Sie abfragen möchten. Diese Rolle unterstützt IAM-Bedingungen, mit denen Sie die Zuweisung auf eine bestimmte Ansicht beschränken können. Wenn Sie der Rollenzuweisung keine Bedingung hinzufügen, kann das Hauptkonto auf alle Observability-Ansichten zugreifen.
    • Logs Viewer (roles/logging.viewer) für Ihr Projekt
    • BigQuery User (roles/bigquery.user) für Ihr Projekt
    • BigQuery Job User (roles/bigquery.jobUser) für Ihr Projekt

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

  3. Prüfen Sie, ob das verknüpfte BigQuery-Dataset für den Observability-Bucket mit dem Namen _Trace vorhanden ist. Wenn das verknüpfte Dataset nicht vorhanden ist, erstellen Sie es.

Wenn Sie die Seite Loganalysen so konfigurieren möchten, dass Abfragen in Ihren BigQuery-Slots ausgeführt werden, und Projekte mit VPC Service Controls (Virtual Private Cloud) verwenden, müssen Sie die Enterprise Edition von BigQuery verwenden. Weitere Informationen finden Sie unter Informationen zu BigQuery-Versionen.

BigQuery-Engine verwenden

So führen Sie eine Abfrage in der BigQuery-Engine aus, wenn Sie die Seite Loganalysen verwenden:

  1. Rufen Sie in der Google Cloud Console die Loganalysen Seite auf:

    Zu Loganalysen

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis mit der Zwischenüberschrift Logging aus.

  2. Geben Sie eine Abfrage ein oder laden Sie sie. Weitere Informationen finden Sie unter Traces abfragen und analysieren.

  3. Rufen Sie die Symbolleiste auf und prüfen Sie, ob ein Button mit dem Label In BigQuery ausführen angezeigt wird.

    Wenn in der Symbolleiste Abfrage ausführen angezeigt wird, dann klicken Sie auf Einstellungen und wählen Sie BigQuery aus.

    Ein deaktivierter Button In BigQuery ausführen bedeutet, dass kein verknüpftes Dataset vorhanden ist. Erstellen Sie das verknüpfte BigQuery-Dataset, um dieses Problem zu beheben.

  4. Klicken Sie auf In BigQuery ausführen.

Nächste Schritte