In diesem Dokument wird beschrieben, wie Sie den von Google entwickelten OpenTelemetry Collector in Google Kubernetes Engine ausführen, um OTLP-Logs, -Messwerte und -Traces aus instrumentierten Anwendungen zu erfassen und diese Daten dann nach zu exportieren Google Cloud.
Hinweis
Für die Ausführung des von Google entwickelten OpenTelemetry Collector sind die folgenden Ressourcen erforderlich:
- Melden Sie sich in Ihrem Google Cloud Konto an. Wenn Sie noch kein Konto bei Google Cloudhaben, erstellen Sie ein Konto, um die Leistung unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Telemetry, Cloud Logging, Cloud Monitoring, and Cloud Trace APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Telemetry, Cloud Logging, Cloud Monitoring, and Cloud Trace APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles.Einen Kubernetes-Cluster. Wenn Sie keinen Kubernetes-Cluster haben, folgen Sie der Anleitung in der Kurzanleitung für GKE.
Die folgenden Befehlszeilentools:
gcloudkubectl
Die
gcloudundkubectlTools sind Teil der Google Cloud CLI. Informationen zur Installation finden Sie unter Komponenten der Google Cloud CLI verwalten. Führen Sie den folgenden Befehl aus, um die installierten gcloud CLI-Komponenten aufzurufen:gcloud components list
Berechtigungen für den Collector konfigurieren
Wenn Sie die GKE-Workload Identity deaktiviert haben, können Sie diesen Abschnitt überspringen.
Damit das Kubernetes-Dienstkonto des OpenTelemetry Collector die erforderlichen Berechtigungen zum Exportieren von Telemetriedaten hat, bitten Sie Ihren Administrator, dem Kubernetes-Dienstkonto des OpenTelemetry Collector die folgenden IAM-Rollen für Ihr Projekt zu gewähren:
- Monitoring-Messwert-Autor (
roles/monitoring.metricWriter) - Logging-Log-Writer (
roles/logging.logWriter) - Cloud Trace-Agent (
roles/cloudtrace.agent)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Ihr Administrator kann dem Kubernetes-Dienstkonto des OpenTelemetry Collector möglicherweise auch die erforderlichen Berechtigungen über benutzerdefinierte Rollen oder andere vordefinierte Rollen erteilen.
Verwenden Sie die folgenden
add-iam-policy-binding
Befehle, um die Berechtigungen zu konfigurieren:
gcloud projects add-iam-policy-binding projects/PROJECT_ID \
--role=roles/logging.logWriter \
--member=principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/opentelemetry/sa/opentelemetry-collector
gcloud projects add-iam-policy-binding projects/PROJECT_ID \
--role=roles/monitoring.metricWriter \
--member=principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/opentelemetry/sa/opentelemetry-collector
gcloud projects add-iam-policy-binding projects/PROJECT_ID \
--role=roles/cloudtrace.agent \
--member=principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/opentelemetry/sa/opentelemetry-collector
Ersetzen Sie vor dem Ausführen der Befehle die folgenden Variablen:
- PROJECT_ID: Die Kennung des Projekts.
- PROJECT_NUMBER: Die Google Cloud Projektnummer.
Collector bereitstellen
Die Collector-Pipeline kann direkt aus den geprüften Beispielen bereitgestellt werden, die im Repository für die selbstverwaltete OTLP-Kubernetes-Aufnahme bereitgestellt werden. Sie können die Bereitstellung direkt von GitHub aus mit den folgenden Befehlen ausführen, nachdem Sie PROJECT_ID durch die ID Ihres Google Cloud Projekts ersetzt haben:
export GOOGLE_CLOUD_PROJECT=PROJECT_ID export PROJECT_NUMBER=PROJECT_NUMBER kubectl kustomize https://github.com/GoogleCloudPlatform/otlp-k8s-ingest.git/k8s/base | envsubst | kubectl apply -f -
Ersetzen Sie vor dem Ausführen der Befehle die folgenden Variablen:
- PROJECT_ID: Die Kennung des Projekts.
- PROJECT_NUMBER: Die numerische Kennung des Projekts.
Collector konfigurieren
Wir stellen eine OpenTelemetry Collector-Konfiguration zur Verfügung, die Sie mit dem von Google entwickelten Collector verwenden können. Diese Konfiguration ist so konzipiert, dass große Mengen an OTLP-Messwerten, -Logs und -Traces mit konsistenten GKE- und Kubernetes-Metadaten angehängt werden. Diese Konfiguration soll auch häufige Probleme bei der Aufnahme verhindern. Sie können der Konfiguration Elemente hinzufügen, wir empfehlen jedoch dringend, keine Elemente zu entfernen.
In diesem Abschnitt werden die bereitgestellte Konfiguration, die wichtigsten Komponenten wie Exporteure, Prozessoren, Empfänger und andere verfügbare Komponenten beschrieben.
Bereitgestellte Collector-Konfiguration
Die Collector-Konfiguration für Kubernetes Umgebungen finden Sie imotlp-k8s-ingest Repository:
Exporteure
Die Collector-Konfiguration enthält die folgenden Exporteure:
googlecloudExporter für Logs und Traces. Dieser Exporter ist mit einem Standardlognamen konfiguriert.googlemanagedprometheusExporter für Messwerte. Für diesen Exporter ist keine Konfiguration erforderlich, es gibt aber Konfigurationsoptionen. Informationen zu den Konfigurations optionen für dengooglemanagedprometheusExporter finden Sie unter Erste Schritte mit dem OpenTelemetry Collector in der Dokumentation zu Google Cloud Managed Service for Prometheus.
Prozessoren
Die Collector-Konfiguration enthält die folgenden Prozessoren:
batch: Konfiguriert, um Telemetrieanfragen mit der Google Cloud maximalen Anzahl von Einträgen pro Anfrage oder mit dem Google Cloud minimalen Intervall von 5 Sekunden (je nachdem, was zuerst erreicht ist) in Batches zu verarbeiten.memory_limiter: Begrenzt die Arbeitsspeichernutzung des Collectors, um Abstürze aufgrund von Arbeitsspeichermangel zu verhindern. Dazu werden Datenpunkte verworfen, wenn das Limit überschritten wird.resourcedetection: Erkennt automatisch Google Cloud Ressourcenlabels wieproject_idundcluster_name.k8sattributes: Ordnet Kubernetes-Ressourcenattribute automatisch Telemetrielabels zu.transform: Benennt Messwertlabels um, die mit Labels für Google Cloud überwachte Ressourcen in Konflikt stehen.
Empfänger
Die Collector-Konfiguration enthält nur den
otlp Empfänger.
Informationen zum Instrumentieren Ihrer Anwendungen, um OTLP-Traces
und -Messwerte an den OTLP-Endpunkt des Collectors zu senden, finden Sie unter
Instrumentierungsansatz
auswählen.
Verfügbare Komponenten
Der von Google entwickelte OpenTelemetry Collector enthält die Komponenten, die die meisten Nutzer benötigen, um eine umfassende Nutzung von Google Cloud Observability zu ermöglichen. Eine vollständige Liste der
verfügbaren Komponenten finden Sie unter
Komponenten
im opentelemetry-operations-collector Repository.
Wenn Sie Änderungen oder Ergänzungen an den verfügbaren Komponenten anfordern möchten, öffnen Sie einen Feature Request. im opentelemetry-operations-collector Repository.
Telemetriedaten generieren
In diesem Abschnitt wird beschrieben, wie Sie eine Beispielanwendung bereitstellen, diese Anwendung auf den OTLP-Endpunkt des Collectors verweisen und die Telemetriedaten in Google Cloudansehen. Die Beispielanwendung ist ein kleiner Generator, der Traces, Logs und Messwerte an den Collector exportiert.
Wenn Sie bereits eine Anwendung haben, die mit einem OpenTelemetry SDK instrumentiert wurde, können Sie Ihre Anwendung stattdessen auf den Endpunkt des Collectors verweisen.
Führen Sie den folgenden Befehl aus, um die Beispielanwendung bereitzustellen:
kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/otlp-k8s-ingest/main/sample/app.yaml
Wenn Sie vorhandene Anwendungen, die das OpenTelemetry SDK verwenden, auf den Endpunkt des Collectors verweisen möchten, legen Sie die Umgebungsvariable OTEL_EXPORTER_OTLP_ENDPOINT auf http://opentelemetry-collector.opentelemetry.svc.cluster.local:4317 fest.
Nach einigen Minuten beginnt die von der Anwendung generierte Telemetrie, durch den Collector an die Google Cloud Console zu fließen.
Telemetriedaten ansehen
Der von Google entwickelte OpenTelemetry Collector sendet Messwerte, Logs und Traces aus Ihren instrumentierten Anwendungen an Google Cloud Observability. Der Collector sendet auch Messwerte zur Selbstbeobachtbarkeit. In den folgenden Abschnitten wird beschrieben, wie Sie diese Telemetriedaten ansehen.
Messwerte ansehen
Der von Google entwickelte OpenTelemetry Collector erfasst Prometheus-Messwerte, die Sie mit dem Metrics Explorer aufrufen können. Die erfassten Messwerte hängen von der Instrumentierung der App ab. Der von Google entwickelte Collector schreibt jedoch auch einige eigene Messwerte.
So rufen Sie die vom von Google entwickelten OpenTelemetry Collector erfassten Messwerte auf:-
Rufen Sie in der Google Cloud Console das leaderboard Metrics Explorer auf:
Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.
- Wählen Sie in der Symbolleiste der Google Cloud Console Ihr Projekt von Google Cloud aus. Wählen Sie für App Hub-Konfigurationen das App Hub-Hostprojekt oder das Verwaltungsprojekt des für Apps aktivierten Ordners aus.
- Maximieren Sie im Element Messwert das Menü Messwert auswählen , geben Sie
Prometheus Targetin die Filterleiste ein und wählen Sie dann über die Untermenüs einen bestimmten Ressourcentyp und Messwert aus:- Wählen Sie im Menü Aktive Ressourcen die Option Prometheus-Ziel aus.
- Einen Messwert wählen Sie in den Menüs Aktive Messwertkategorien und Aktive Messwerte aus.
Messwerte, die vom von Google entwickelten OpenTelemetry Collector erfasst werden, haben das Präfix
prometheus.googleapis.com. - Klicken Sie auf Übernehmen.
Verwenden Sie das Filter-Element, um Filter hinzuzufügen, mit denen Zeitreihen aus den Abfrageergebnissen entfernt werden.
- Konfigurieren Sie, wie die Daten angezeigt werden.
Wenn die Messungen für einen Messwert kumulativ sind, normalisiert Metrics Explorer die gemessenen Daten automatisch nach dem Ausrichtungszeitraum. Dadurch wird im Diagramm eine Rate angezeigt. Weitere Informationen finden Sie unter Arten, Typen und Umwandlungen.
Wenn ganzzahlige oder doppelte Werte gemessen werden, z. B. mit
counter-Messwerten, summiert der Metrics Explorer automatisch alle Zeitachsen. Wenn Sie dieses Verhalten ändern möchten, legen Sie im ersten Menü des Eintrags Aggregation die Option Keine fest.Weitere Informationen zum Konfigurieren eines Diagramms finden Sie unter Messwerte bei Verwendung von Metrics Explorer auswählen.
Traces ansehen
So rufen Sie Ihre Trace-Daten auf:
-
Rufen Sie in der Google Cloud Console die Seite
Trace Explorer auf:
Sie können diese Seite auch über die Suchleiste finden.
- Wählen Sie in der Symbolleiste der Google Cloud Console, Ihr Google Cloud Projekt von aus. Wählen Sie für App Hub Konfigurationen das App Hub-Hostprojekt oder das Verwaltungsprojekt aus.
- Wählen Sie im Tabellenbereich der Seite eine Zeile aus.
Wählen Sie im Gantt-Diagramm im Bereich Trace-Details einen Span aus.
Ein Steuerfeld mit Informationen zur getraceten Anfrage wird geöffnet. Zu diesen Details gehören die Methode, der Statuscode, die Anzahl der Byte und der User-Agent des Aufrufers.
Wählen Sie den Tab Logs und Ereignisse aus, um die mit diesem Trace verknüpften Logs aufzurufen.
Auf dem Tab werden einzelne Logs angezeigt. Maximieren Sie den Logeintrag, um die Details anzusehen. Sie können auch auf Logs ansehen klicken und das Log mit dem Log-Explorer aufrufen.
Weitere Informationen zur Verwendung von Cloud Trace-Explorer finden Sie unter Traces suchen und untersuchen.
Logs ansehen
Im Log-Explorer können Sie Ihre Logs prüfen und sich auch die zugehörigen Traces ansehen, sofern vorhanden.
-
Rufen Sie in der Google Cloud Console das Log-Explorer auf:
Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis mit der Zwischenüberschrift Logging aus.
Suchen Sie einen Logeintrag aus Ihrer instrumentierten App. Maximieren Sie den Logeintrag, um die Details aufzurufen.
Klicken Sie auf
Traces für einen Logeintrag mit einer Trace
Nachricht und wählen Sie dann Trace-Details anzeigen aus.Der Bereich Trace-Details wird geöffnet und zeigt den ausgewählten Trace an.
Weitere Informationen zur Verwendung des Log-Explorers finden Sie unter Logs mit dem Log-Explorer ansehen.
Collector beobachten und debuggen
Der von Google entwickelte OpenTelemetry Collector bietet automatisch Messwerte zur Selbstbeobachtbarkeit, mit denen Sie die Leistung überwachen und eine kontinuierliche Verfügbarkeit der OTLP-Aufnahmepipeline gewährleisten können.
Wenn Sie den Collector überwachen möchten, installieren Sie das Beispiel-Dashboard für den Collector. Dieses Dashboard bietet einen übersichtlichen Überblick über verschiedene Messwerte des Collectors, einschließlich Betriebszeit, Arbeitsspeichernutzung und API-Aufrufe an Google Cloud Observability.
So installieren Sie das Dashboard:
-
Öffnen Sie in der Google Cloud Console die Dashboards Seite:
Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.
- Klicken Sie auf Dashboard-Vorlagen.
- Suchen Sie nach dem Dashboard OpenTelemetry Collector.
- Optional: Wenn Sie eine Vorschau des Dashboards aufrufen möchten, wählen Sie es aus.
Klicken Sie auf playlist_add Dashboard in Liste aufnehmen und füllen Sie das Dialogfeld aus.
Im Dialogfeld können Sie den Namen des Dashboards auswählen und Labels hinzufügen.
Weitere Informationen zum Installieren von Dashboards finden Sie unter Dashboard Vorlage installieren.