Verknüpftes BigQuery-Dataset erstellen

Sie können ein verknüpftes BigQuery-Dataset für Ihr Observability-Dataset erstellen, mit dem Sie BigQuery-Dienste verwenden können, um Ihre Trace-Daten abzufragen. Anschließend können Sie Trace-Daten mit Geschäfts-Datasets verknüpfen und Spans mit BigQuery Studio oder der BigQuery API analysieren.

Sie benötigen kein verknüpftes BigQuery-Dataset, um Ihre Trace-Daten mit SQL zu analysieren, wenn Sie Observability Analytics verwenden. Sie können Ihre Trace- und Logdaten auch verknüpfen, wenn Sie Observability Analytics verwenden. Weitere Informationen finden Sie unter Traces mit SQL abfragen und analysieren und Logs mit Observability Analytics abfragen und analysieren.

Wann Sie ein verknüpftes Dataset benötigen

Sie benötigen ein verknüpftes BigQuery-Dataset, wenn Sie eine der folgenden Aktionen ausführen möchten:

Verknüpftes BigQuery-Dataset erstellen

In diesem Abschnitt wird beschrieben, wie Sie ein verknüpftes BigQuery-Dataset für ein Observability-Dataset erstellen, mit dem Sie BigQuery-Dienste verwenden können, um Ihre Trace-Daten abzufragen. Jedes Observability-Dataset unterstützt ein verknüpftes BigQuery-Dataset.

Wenn Sie einen Link zu einem Observability-Dataset erstellen, geschieht Folgendes:

  • Google Cloud Observability kann die folgenden Dienstkonten erstellen oder ihre IAM-Rollenzuweisungen ändern:

    • Monitoring-Dienstkonto: Erforderlich, um einen Link zu einem verknüpften BigQuery-Dataset zu erstellen. Die Cloud Monitoring API muss aktiviert sein, damit Google Cloud Observability dieses Dienstkonto erstellen kann.

    • Cloud Observability-Dienstkonto: Erforderlich, um einen Link zu einem Observability-Dataset zu erstellen.

    • Cloud Logging-Dienstkonto: Erforderlich, um einen Link zu einem Log-Bucket zu erstellen.

  • In Audit-Logs werden die Anfrage zum Erstellen eines Links und die Anfrage des Dienstagenten-Managers aufgezeichnet, dem Monitoring-Dienstkonto die IAM-Rolle „Monitoring-Dienstagent“ zuzuweisen. In diesen Protokollen wird auch der Abschluss des Vorgangs mit langer Ausführungszeit aufgezeichnet.

Hinweis

  1. Melden Sie sich in Ihrem Google Cloud Konto an. Wenn Sie noch kein Google Cloud-Nutzer sind, erstellen Sie ein Konto, um zu sehen, wie sich unsere Produkte in realen Szenarien schlagen. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Cloud Monitoring and Observability APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Cloud Monitoring and Observability APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

    8.

  8. Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle „Observability Editor“ (roles/observability.editor) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Links zu einem Observability-Dataset benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

    Möglicherweise können Sie die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Dataset erstellen

gcloud

Ersetzen Sie folgende Werte, bevor sie einen der Befehlsdaten verwenden:

  • LINK_ID: Der Name des BigQuery-Datasets.
  • DATASET_ID: Die ID des Datasets. Ihre Trace-Daten werden in einem Dataset mit dem Namen Spans gespeichert.
  • BUCKET_ID: Die ID des Observability-Buckets. Beispiel: _Trace.
  • LOCATION: Der Speicherort der Observability-Buckets.
  • PROJECT_ID: Die Kennung des Projekts.

Führen Sie den gcloud beta observability buckets datasets links create Befehl aus:

Linux, macOS oder Cloud Shell

gcloud beta observability buckets datasets links create \
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID \
 --dataset=DATASET_ID\
 --bucket=BUCKET_ID \
 --location=LOCATION \
 --project=PROJECT_ID

Windows (PowerShell)

gcloud beta observability buckets datasets links create `
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID `
 --dataset=DATASET_ID`
 --bucket=BUCKET_ID `
 --location=LOCATION `
 --project=PROJECT_ID

Windows (cmd.exe)

gcloud beta observability buckets datasets links create ^
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID ^
 --dataset=DATASET_ID^
 --bucket=BUCKET_ID ^
 --location=LOCATION ^
 --project=PROJECT_ID

Der Befehl „create“ initiiert einen Vorgang mit langer Ausführungszeit. Im Folgenden sehen Sie ein Beispiel für eine Antwort, wenn der Befehl erfolgreich ist: 

Create request issued for: [mydataset]
Waiting for operation [projects/my-project/locations/us/operations/operation-1775164903749-64e80c9817833-9ff804b6-c3e9cbe7] to complete...done.
Created link [mydataset].

REST

Senden Sie eine Anfrage an den projects.locations.buckets.datasets.links.create Endpunkt, um einen Link zu einem BigQuery-Dataset zu erstellen.

Sie müssen den Parameter „parent“ angeben, der die folgende Form hat:

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

Die Felder im vorherigen Ausdruck haben die folgende Bedeutung:

  • PROJECT_ID: Die Kennung des Projekts.
  • LOCATION: Der Speicherort des Observability-Buckets.
  • BUCKET_ID: Die ID des Observability-Buckets. Beispiel: _Trace.
  • DATASET_ID: Die ID des Datasets, das abgefragt wird. Beispiel: Spans.

Dieser Befehl erfordert einen Abfrageparameter und einen Anfragetext:

  • Der Abfrageparameter linkId muss angegeben und auf den Namen des BigQuery-Datasets festgelegt werden. Beispiel: linkId="my_link". Der Name des BigQuery-Datasets muss für Ihr Google Cloud Projekt eindeutig sein, darf maximal 100 Zeichen lang sein und darf nur Buchstaben, Ziffern und Unterstriche enthalten.

  • Der Anfragetext ist ein Link-Objekt. Der Wert des Felds name hat das folgende Format:

    projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID

    Der Wert, den Sie für das Feld name angeben, muss mit dem verknüpften BigQuery-Dataset übereinstimmen, auf das der Abfrageparameter verweist.

    Das Feld LINK_ID ist der Name des BigQuery-Datasets.

Die Antwort ist ein Operation Objekt. Dieses Objekt enthält Informationen zum Fortschritt der Methode. Wenn die Methode abgeschlossen ist, enthält das Operation-Objekt Statusdaten.

Eine vollständige Liste der Observability API-Endpunkte finden Sie in der Referenzdokumentation zur Observability API.

Wenn beim Erstellen eines verknüpften Datasets Berechtigungsfehler auftreten, lesen Sie den Abschnitt Berechtigungsfehler beheben.

Nächste Schritte