Verknüpftes BigQuery-Dataset erstellen

In diesem Dokument wird beschrieben, wie Sie ein verknüpftes BigQuery-Dataset für Ihr Observability-Dataset erstellen. Anschließend können Sie BigQuery-Dienste wie BigQuery Studio und die BigQuery API verwenden, um das verknüpfte Dataset abzufragen.

Informationen zum Einstieg in Observability Analytics finden Sie unter Traces abfragen und analysieren.

Wann Sie ein verknüpftes Dataset benötigen

Sie benötigen kein verknüpftes BigQuery-Dataset, wenn Sie Ihre Trace- oder Trace- und Logdaten abfragen möchten. Für diese Szenarien können Sie die Seite Observability Analytics verwenden. Informationen zum Abfragen von Logdaten finden Sie unter Logs mit Observability Analytics abfragen und analysieren.

Sie benötigen ein verknüpftes BigQuery-Dataset, wenn Sie eine der folgenden Aktionen ausführen möchten:

Verknüpftes BigQuery-Dataset erstellen

In diesem Abschnitt wird beschrieben, wie Sie ein verknüpftes BigQuery-Dataset erstellen, mit dem Ihre Tracedaten von BigQuery-Diensten abgefragt werden können. Sie können ein verknüpftes BigQuery-Dataset für ein Observability-Dataset erstellen.

Wenn Sie ein verknüpftes Dataset erstellen, starten Sie einen lang andauernden Vorgang. Im Rahmen dieses Vorgangs werden mehrere Aktionen ausgeführt:

  • Audit-Logs erfassen die Anfrage zum Erstellen eines Links und den Abschluss des Vorgangs.

  • Wenn das Monitoring-Dienstkonto nicht vorhanden ist, wird es von Google Cloud Observability erstellt.

    Die Cloud Monitoring API muss aktiviert sein, damit dieses Dienstkonto erstellt werden kann.

  • Für Google Cloud Observability ist ein Dienstkonto erforderlich, bevor ein verknüpftes Dataset erstellt werden kann. Bei Bedarf wird ein Dienstkonto erstellt:

  • In einem Audit-Log wird die Anfrage des Dienst-Agent-Administrators aufgezeichnet, dem Monitoring-Dienstkonto die IAM-Rolle Monitoring-Dienst-Agent zuzuweisen.

Hinweis

  1. Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Cloud Monitoring and Observability APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Cloud Monitoring and Observability APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

  8. Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Observability Editor (roles/observability.editor) für Ihr Projekt zuzuweisen, damit Sie die Berechtigungen erhalten, die Sie zum Erstellen eines Links für ein Observability-Dataset benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Dataset erstellen

gcloud

Ersetzen Sie folgende Werte, bevor sie einen der Befehlsdaten verwenden:

  • LINK_ID: Der Name des BigQuery-Datasets.
  • DATASET_ID: Die ID des Datasets. Ihre Tracedaten werden in einem Dataset mit dem Namen Spans gespeichert.
  • BUCKET_ID: Die ID des Observability-Buckets. Diese ID könnte beispielsweise _Trace lauten.
  • LOCATION: Der Speicherort der Observability-Buckets.
  • PROJECT_ID: Die Kennung des Projekts.

Führen Sie den Befehl gcloud beta observability buckets datasets links create aus:

Linux, macOS oder Cloud Shell

gcloud beta observability buckets datasets links create \
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID \
 --dataset=DATASET_ID\
 --bucket=BUCKET_ID \
 --location=LOCATION \
 --project=PROJECT_ID

Windows (PowerShell)

gcloud beta observability buckets datasets links create `
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID `
 --dataset=DATASET_ID`
 --bucket=BUCKET_ID `
 --location=LOCATION `
 --project=PROJECT_ID

Windows (cmd.exe)

gcloud beta observability buckets datasets links create ^
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID ^
 --dataset=DATASET_ID^
 --bucket=BUCKET_ID ^
 --location=LOCATION ^
 --project=PROJECT_ID

Der Befehl „create“ initiiert einen Vorgang mit langer Ausführungszeit. Das Folgende ist ein Beispiel für eine Antwort, wenn der Befehl erfolgreich ist: 

Create request issued for: [mydataset]
Waiting for operation [projects/my-project/locations/us/operations/operation-1775164903749-64e80c9817833-9ff804b6-c3e9cbe7] to complete...done.
Created link [mydataset].

REST

Wenn Sie eine Verknüpfung zu einem BigQuery-Dataset erstellen möchten, senden Sie eine Anfrage an den projects.locations.buckets.datasets.links.create-Endpunkt.

Sie müssen den Parameter „parent“ angeben, der das folgende Format hat:

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

Die Felder im vorherigen Ausdruck haben die folgende Bedeutung:

  • PROJECT_ID: Die Kennung des Projekts.
  • LOCATION: Der Speicherort des Observability-Buckets.
  • BUCKET_ID: Die ID des Observability-Buckets. Diese ID könnte beispielsweise _Trace sein.
  • DATASET_ID: Die ID des Datasets, das abgefragt wird. Diese ID könnte beispielsweise Spans sein.

Für diesen Befehl sind ein Abfrageparameter und ein Anfragetext erforderlich:

  • Der Abfrageparameter linkId muss angegeben und auf den Namen des BigQuery-Datasets festgelegt werden. Beispiel: linkId="my_link". Der Name des BigQuery-Datasets muss für Ihr Google Cloud -Projekt eindeutig sein und darf nur Buchstaben, Ziffern und Unterstriche enthalten. Außerdem darf er maximal 100 Zeichen lang sein.

  • Der Anfragetext ist ein Link-Objekt. Der Wert des Felds name hat das folgende Format:

    projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_ID

    Der Wert, den Sie für das Feld name angeben, muss mit dem verknüpften BigQuery-Dataset übereinstimmen, auf das im Abfrageparameter verwiesen wird.

    Das Feld LINK_ID ist der Name des BigQuery-Datasets.

Die Antwort ist ein Operation-Objekt. Dieses Objekt enthält Informationen zum Fortschritt der Methode. Wenn die Methode abgeschlossen ist, enthält das Operation-Objekt Statusdaten.

Eine vollständige Liste der Observability API-Endpunkte finden Sie in der Observability API-Referenzdokumentation.

Wenn beim Erstellen eines verknüpften Datasets Berechtigungsfehler auftreten, lesen Sie den Abschnitt Berechtigungsfehler beheben.

Nächste Schritte