Trace-Daten mit BigQuery analysieren

In diesem Dokument wird beschrieben, wie Sie ein verknüpftes BigQuery-Dataset für Ihre Tracedaten erstellen und wie Sie dieses Dataset abfragen. Mit einem verknüpften Dataset können Sie Abfragen erstellen und ausführen, mit denen Ihre Observability-Daten mit anderen Geschäftsdaten verknüpft werden. Sie können beispielsweise ein verknüpftes Dataset in BigQuery Studio und in Looker Studio abfragen. Sie können Ihre Observability Analytics-Abfragen auch im BigQuery-Backend ausführen.

Informationen zum Einstieg in Observability Analytics finden Sie unter Traces abfragen und analysieren.

Wann Sie ein verknüpftes Dataset benötigen

Sie benötigen kein verknüpftes BigQuery-Dataset, wenn Sie Ihre Trace- oder Trace- und Logdaten abfragen möchten. Für diese Szenarien können Sie die Seite Observability Analytics verwenden. Informationen zum Abfragen von Logdaten finden Sie unter Logs mit Observability Analytics abfragen und analysieren.

Sie benötigen ein verknüpftes BigQuery-Dataset, wenn Sie eine der folgenden Aktionen ausführen möchten:

Hinweis

  1. Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Observability API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Observability API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

    8.

In diesem Abschnitt wird beschrieben, welche APIs aktiviert sein müssen, welche Rollen zum Erstellen eines verknüpften Datasets erforderlich sind und wie Sie ein verknüpftes Dataset erstellen.

Vorbereitung

  1. Führen Sie die Schritte im Abschnitt Vorbereitung aus.

  2. Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Links für ein Observability-Dataset benötigen:

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

gcloud

Ersetzen Sie folgende Werte, bevor sie einen der Befehlsdaten verwenden:

  • LINK_ID: Der Name des BigQuery-Datasets.
  • DATASET_ID: Die ID des Datasets. Ihre Tracedaten werden in einem Dataset mit dem Namen Spans gespeichert.
  • BUCKET_ID: Die ID des Observability-Buckets. Diese ID könnte beispielsweise _Trace lauten.
  • LOCATION: Der Speicherort der Observability-Buckets.
  • PROJECT_ID: Die Kennung des Projekts.

Führen Sie den Befehl gcloud beta observability buckets datasets links create aus:

Linux, macOS oder Cloud Shell

gcloud beta observability buckets datasets links create \
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID \
 --dataset=DATASET_ID\
 --bucket=BUCKET_ID \
 --location=LOCATION \
 --project=PROJECT_ID

Windows (PowerShell)

gcloud beta observability buckets datasets links create `
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID `
 --dataset=DATASET_ID`
 --bucket=BUCKET_ID `
 --location=LOCATION `
 --project=PROJECT_ID

Windows (cmd.exe)

gcloud beta observability buckets datasets links create ^
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID ^
 --dataset=DATASET_ID^
 --bucket=BUCKET_ID ^
 --location=LOCATION ^
 --project=PROJECT_ID

Der Befehl „create“ initiiert einen Vorgang mit langer Ausführungszeit. Das Folgende ist ein Beispiel für eine Antwort, wenn der Befehl erfolgreich ist: 

Create request issued for: [mydataset]
Waiting for operation [projects/my-project/locations/us/operations/operation-1775164903749-64e80c9817833-9ff804b6-c3e9cbe7] to complete...done.
Created link [mydataset].

REST

Wenn Sie eine Verknüpfung zu einem BigQuery-Dataset erstellen möchten, senden Sie eine Anfrage an den projects.locations.buckets.datasets.links.create-Endpunkt.

Sie müssen den Parameter „parent“ angeben, der das folgende Format hat:

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

Die Felder im vorherigen Ausdruck haben die folgende Bedeutung:

  • PROJECT_ID: Die Kennung des Projekts.
  • LOCATION: Der Speicherort des Observability-Buckets.
  • BUCKET_ID: Die ID des Observability-Buckets. Diese ID könnte beispielsweise _Trace sein.
  • DATASET_ID: Die ID des Datasets, das abgefragt wird. Diese ID könnte beispielsweise Spans sein.

Für diesen Befehl sind ein Abfrageparameter und ein Anfragetext erforderlich:

  • Der Abfrageparameter linkId muss angegeben und auf den Namen des BigQuery-Datasets festgelegt werden. Beispiel: linkId="my_link". Der Name des BigQuery-Datasets muss für Ihr Google Cloud -Projekt eindeutig sein und darf nur Buchstaben, Ziffern und Unterstriche enthalten. Außerdem darf er maximal 100 Zeichen lang sein.

  • Der Anfragetext ist ein Link-Objekt. Der Wert des Felds name hat das folgende Format:

    projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_ID

    Der Wert, den Sie für das Feld name angeben, muss mit dem verknüpften BigQuery-Dataset übereinstimmen, auf das im Abfrageparameter verwiesen wird.

    Das Feld LINK_ID ist der Name des BigQuery-Datasets.

Die Antwort ist ein Operation-Objekt. Dieses Objekt enthält Informationen zum Fortschritt der Methode. Wenn die Methode abgeschlossen ist, enthält das Operation-Objekt Statusdaten.

Eine vollständige Liste der Observability API-Endpunkte finden Sie in der Observability API-Referenzdokumentation.

Trace-Daten aus BigQuery Studio abfragen

In diesem Abschnitt wird beschrieben, wie Sie Ihre Tracedaten über die Seite BigQuery Studio abfragen.

Informationen zu den Kosten für die Verwendung von BigQuery finden Sie unter BigQuery-Preise.

Vorbereitung

  1. Führen Sie die Schritte im Abschnitt Vorbereitung aus.

  2. Um die Berechtigungen zu erhalten, die Sie zum Abfragen eines verknüpften Datasets aus BigQuery benötigen, bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery-Datenbetrachter (roles/bigquery.dataViewer) für Ihr Projekt oder verknüpftes Dataset zu gewähren. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

  3. Prüfen Sie, ob das verknüpfte BigQuery-Dataset für den Observability-Bucket mit dem Namen _Trace vorhanden ist. Wenn das verknüpfte Dataset nicht vorhanden ist, erstellen Sie es.

BigQuery Studio verwenden

So öffnen Sie BigQuery über die Seite „Observability Analytics“ und fragen dann Ihre Trace-Daten ab:

  1. Rufen Sie in der Google Cloud -Console die Seite Loganalysen auf.

    Zu Loganalysen

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis mit der Zwischenüberschrift Logging aus.

  2. Geben Sie eine Abfrage ein oder laden Sie eine Abfrage. Weitere Informationen finden Sie unter Traces abfragen und analysieren.

  3. Maximieren Sie in der Symbolleiste das Menü Abfrage ausführen oder In BigQuery ausführen und wählen Sie In BigQuery öffnen aus.

    Die Seite BigQuery Studio wird geöffnet. Auf dieser Seite wird das verknüpfte Dataset in der FROM-Anweisung anhand der BigQuery-Tabellenpfadsyntax angegeben. Sie können alle unterstützten Aktionen für die Anfrage ausführen, z. B. sie bearbeiten.

    Wenn die Option In BigQuery öffnen deaktiviert ist, ist entweder kein verknüpftes Dataset vorhanden oder Sie haben nicht die erforderlichen Berechtigungen, um die Abfrage in BigQuery zu öffnen und anzusehen.

  4. Klicken Sie auf der Seite BigQuery Studio auf Abfrage ausführen.

Abfragen in der BigQuery-Engine ausführen

Standardmäßig werden auf der Seite Observability Analytics die Abfragen, die Sie schreiben, mit der Standard-Abfrage-Engine ausgeführt. Die von Ihnen ausgeführten Abfragen konkurrieren mit allen anderen Abfragen um Slots. Daher kann es vorkommen, dass die Ausführung einer Abfrage verzögert wird, weil keine Slots verfügbar sind. Mit der Standard-Abfrage-Engine können nur Observability-Ansichten, Ansichten für Log-Buckets und Analyseansichten abgefragt werden.

Wenn Sie ein verknüpftes Dataset erstellen, können Sie auf der Seite Observability Analytics zwischen der Standard-Query-Engine und der BigQuery-Engine wählen. Wenn Sie reservierte BigQuery-Slots haben und die Option zum Ausführen der Abfrage in der BigQuery-Engine auswählen, werden Ihre reservierten Slots verwendet. Mit Abfragen, die in der BigQuery-Engine ausgeführt werden, können Sie Observability-Ansichten, Ansichten für Log-Buckets und Analyseansichten abfragen. Mit diesen Abfragen können Sie Ihre Observability-Daten auch mit einer BigQuery-Tabelle verknüpfen.

Es gibt zwei Hauptanwendungsfälle für das Ausführen von Abfragen in der BigQuery-Engine:

  • Sie erstellen SQL-basierte Benachrichtigungsrichtlinien. Die Abfragen für diese Richtlinien müssen in der BigQuery-Engine ausgeführt werden.

  • Sie möchten ein Diagramm in einem Dashboard speichern, in dem das Ergebnis eines Joins zwischen Daten zur Beobachtbarkeit und anderen Geschäftsdaten angezeigt wird.

    In der FROM-Klausel muss entweder eine Ansicht für ein Beobachtbarkeits-Dataset oder eine Ansicht für einen Log-Bucket angegeben werden. Außerdem muss ein verknüpftes Dataset für die abgefragten Daten vorhanden sein. Wenn Sie Ihre Observability-Daten mit anderen Geschäftsdaten verknüpfen möchten, fügen Sie eine JOIN-Anweisung hinzu, in der eine BigQuery-Tabelle angegeben wird. Sie benötigen die erforderlichen IAM-Berechtigungen, um die BigQuery-Tabelle abzufragen.

Informationen zu den Kosten für die Verwendung von BigQuery finden Sie unter BigQuery-Preise.

Vorbereitung

  1. Führen Sie die Schritte im Abschnitt Vorbereitung aus.

  2. Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen von Abfragen aus Observability Analytics mit BigQuery-Slots benötigen:

    • Observability View Accessor (roles/observability.viewAccessor) für die Observability-Ansichten, die Sie abfragen möchten. Diese Rolle unterstützt IAM-Bedingungen, mit denen Sie die Zuweisung auf eine bestimmte Ansicht beschränken können. Wenn Sie der Rollenzuweisung keine Bedingung hinzufügen, kann das Hauptkonto auf alle Ansichten für die Beobachtbarkeit zugreifen.
    • Loganzeige (roles/logging.viewer) für Ihr Projekt
    • BigQuery-Nutzer (roles/bigquery.user) für Ihr Projekt
    • BigQuery-Jobnutzer (roles/bigquery.jobUser) für Ihr Projekt

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

  3. Prüfen Sie, ob das verknüpfte BigQuery-Dataset für den Observability-Bucket mit dem Namen _Trace vorhanden ist. Wenn das verknüpfte Dataset nicht vorhanden ist, erstellen Sie es.

Wenn Sie die Seite Observability Analytics so konfigurieren möchten, dass Abfragen für Ihre BigQuery-Slots ausgeführt werden, und Projekte mit VPC Service Controls (Virtual Private Cloud) verwenden, müssen Sie die Enterprise Edition von BigQuery verwenden. Weitere Informationen finden Sie unter Informationen zu BigQuery-Versionen.

BigQuery-Engine verwenden

So führen Sie eine Abfrage für die BigQuery-Engine aus, wenn Sie die Seite Observability Analytics verwenden:

  1. Rufen Sie in der Google Cloud -Console die Seite Loganalysen auf.

    Zu Loganalysen

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis mit der Zwischenüberschrift Logging aus.

  2. Geben Sie eine Abfrage ein oder laden Sie eine Abfrage. Weitere Informationen finden Sie unter Traces abfragen und analysieren.

  3. Rufen Sie die Symbolleiste auf und prüfen Sie, ob ein Button mit dem Label In BigQuery ausführen angezeigt wird.

    Wenn in der Symbolleiste Abfrage ausführen angezeigt wird, klicken Sie auf  Einstellungen und wählen Sie BigQuery aus.

    Wenn der Button In BigQuery ausführen deaktiviert ist, bedeutet das, dass kein verknüpftes Dataset vorhanden ist. Um diesen Fehler zu beheben, erstellen Sie das verknüpfte BigQuery-Dataset.

  4. Klicken Sie auf In BigQuery ausführen.

Nächste Schritte