Probleme mit dem verwalteten Cloud Service Mesh beheben
In diesem Dokument werden häufig auftretende Cloud Service Mesh-Probleme und deren Behebung erläutert. Beispiel: Ein Pod wird mit istio.istio-system eingefügt und das Installationstool generiert Fehler wie HTTP-400-Statuscodes und Fehler bei der Clustermitgliedschaft.
Weitere Informationen zur Fehlerbehebung bei Cloud Service Mesh finden Sie unter Support.
Version(en) wird/werden als fehlerhaft gemeldet
Möglicherweise wird ein allgemeiner Revision(s) reporting unhealthy-Fehler angezeigt, wenn der Dienst-Agent für das verwaltete Cloud Service Mesh nicht die erforderliche IAM-Rolle (Identity and Access Management) hat.
Folgen Sie der Anleitung zum Zuweisen der Rolle „Cloud Service Mesh-Dienst-Agent“, um diesen Fehler zu beheben.
Das Installationstool generiert HTTP-400-Fehler
Das Installationstool generiert möglicherweise HTTP-400-Fehler wie diese:
HealthCheckContainerError, message: Cloud Run error: Container failed to start.
Failed to start and then listen on the port defined by the PORT environment
variable. Logs for this revision might contain more information.
Dieser Fehler kann auftreten, wenn Sie Workload Identity nicht in Ihrem Kubernetes-Cluster aktiviert haben. Zum Aktivieren können Sie den folgenden Befehl verwenden:
export CLUSTER_NAME=...
export PROJECT_ID=...
export LOCATION=...
gcloud container clusters update $CLUSTER_NAME --zone $LOCATION \
--workload-pool=$PROJECT_ID.svc.id.goog
Status der verwalteten Datenebene
Der folgende Befehl zeigt den Status der verwalteten Datenebene an:
gcloud container fleet mesh describe --project PROJECT_ID
In der folgenden Tabelle sind alle möglichen Status der verwalteten Datenebene aufgeführt:
| Status | Code | Beschreibung |
|---|---|---|
ACTIVE |
OK |
Die verwaltete Datenebene wird normal ausgeführt. |
DISABLED |
DISABLED |
Die verwaltete Datenebene hat diesen Status, wenn kein Namespace oder keine Überarbeitung für deren Verwendung konfiguriert ist. Folgen Sie der Anleitung unter
Verwaltetes Cloud Service Mesh über die Fleet API aktivieren, oder
Verwaltete Datenebene nach der Bereitstellung des verwalteten Cloud Service Mesh mitasmcli aktivieren.
Beachten Sie, dass die Statusberichte zu verwalteten Datenebenen nur verfügbar sind, wenn Sie die verwaltete Datenebene durch Annotierung eines Namespace oder einer Überarbeitung aktiviert haben.
Das Annotieren einzelner Pods führt dazu, dass diese Pods verwaltet werden, aber mit dem Feature-Status DISABLED, wenn keine Namespaces oder Versionen annotiert sind. |
FAILED_PRECONDITION |
MANAGED_CONTROL_PLANE_REQUIRED |
Die verwaltete Datenebene erfordert eine aktive verwaltete Steuerungsebene von Cloud Service Mesh. |
PROVISIONING |
PROVISIONING |
Die verwaltete Datenebene wird bereitgestellt. Wenn der Status länger als zehn Minuten andauert, ist wahrscheinlich ein Fehler aufgetreten und Sie sollten den Support kontaktieren. |
STALLED |
INTERNAL_ERROR |
Die verwaltete Datenebene ist aufgrund eines internen Fehlerzustands für den Betrieb blockiert. Sollte das Problem weiterhin auftreten, wenden Sie sich bitte an den Support. |
NEEDS_ATTENTION |
UPGRADE_FAILURES |
Die verwaltete Datenebene erfordert manuelle Eingriffe, um den Dienst wieder in den normalen Status zu versetzen. Weitere Informationen und Hinweise zur Behebung dieses Problems finden Sie unter dem NEEDS_ATTENTION-Status. |
NEEDS_ATTENTION-Status
Wenn der Befehl gcloud container fleet mesh describe anzeigt, dass der Status der verwalteten Datenebene den Status NEEDS_ATTENTION und der Code UPGRADE_FAILURES hat, konnte die verwaltete Datenebene bestimmte Arbeitslasten nicht aktualisieren. finden Sie weitere Informationen. Diese Arbeitslasten werden vom weiteren Dienst der verwalteten Datenebene zur weiteren Analyse mit dataplane-upgrade: failed gekennzeichnet. Die Proxys müssen manuell neu gestartet werden, um ein Upgrade durchzuführen. Führen Sie den folgenden Befehl aus, um die Liste der Pods abzurufen, die Ihre Aufmerksamkeit erfordern:
kubectl get pods --all-namespaces -l dataplane-upgrade=failed
Fehler bei der Clustermitgliedschaft (kein Identitätsanbieter angegeben)
Das Installationstool kann mit folgenden Fehlern bei der Clustermitgliedschaft fehlschlagen:
asmcli: [ERROR]: Cluster has memberships.hub.gke.io CRD but no identity
provider specified. Please ensure that an identity provider is available for the
registered cluster.
Der Fehler kann auftreten, wenn Sie vor der Registrierung des Clusters GKE-Workload Identity nicht aktiviert haben. Sie können den Cluster in der Befehlszeile mit dem gcloud container fleet memberships register --enable-workload-identity-Befehl noch einmal registrieren.
Status der verwalteten Steuerungsebene prüfen
Führen Sie gcloud container fleet mesh describe --project FLEET_PROJECT_ID aus, um den Status der verwalteten Steuerungsebene zu prüfen.
In der Antwort wird der spezifische Fehler möglicherweise im Feld membershipStates[].servicemesh.controlPlaneManagement.details erläutert.
Wenn Sie weitere Details benötigen, prüfen Sie die benutzerdefinierte Ressource ControlPlaneRevision im Cluster. Diese wird aktualisiert, wenn die verwaltete Steuerungsebene bereitgestellt wird oder wenn die Bereitstellung fehlschlägt.
Wenn Sie den Status der Ressource prüfen möchten, ersetzen Sie NAME durch den Wert des jeweiligen Kanals: asm-managed, asm-managed-stable oder asm-managed-rapid.
kubectl describe controlplanerevision NAME -n istio-system
Die Ausgabe sieht etwa so aus:
Name: asm-managed
…
Status:
Conditions:
Last Transition Time: 2021-08-05T18:56:32Z
Message: The provisioning process has completed successfully
Reason: Provisioned
Status: True
Type: Reconciled
Last Transition Time: 2021-08-05T18:56:32Z
Message: Provisioning has finished
Reason: ProvisioningFinished
Status: True
Type: ProvisioningFinished
Last Transition Time: 2021-08-05T18:56:32Z
Message: Provisioning has not stalled
Reason: NotStalled
Status: False
Type: Stalled
Die Bedingung Reconciled bestimmt, ob die verwaltete Steuerungsebene ordnungsgemäß ausgeführt wird. Wenn true, wird die Steuerungsebene erfolgreich ausgeführt.
Stalled bestimmt, ob beim Bereitstellungsprozess der verwalteten Steuerungsebene ein Fehler aufgetreten ist. Bei Stalled enthält das Feld Message weitere Informationen zum jeweiligen Fehler. Weitere Informationen zu möglichen Fehlern finden Sie unter Fehlercodes.
Stalled-Codes von ControlPlaneRevision
Es gibt mehrere Gründe, warum die Bedingung Stalled im Status ControlPlaneRevisions erfüllt sein kann.
| Grund | Meldung | Beschreibung |
|---|---|---|
| PreconditionFailed | Es werden nur GKE-Mitgliedschaften unterstützt, aber ${CLUSTER_NAME} ist kein GKE-Cluster. | Der aktuelle Cluster scheint kein GKE-Cluster zu sein. Eine verwaltete Steuerungsebene funktioniert nur in GKE-Clustern. |
| Nicht unterstützter ControlPlaneRevision-Name: ${NAME} | Der Name von ControlPlaneRevision muss einer der folgenden sein:
|
|
| Nicht unterstützter ControlPlaneRevision-Namespace: ${NAMESPACE} | Der Namespace von ControlPlaneRevision muss istio-system sein. |
|
| Nicht unterstützte Version ${CHANNEL} für ControlPlaneRevision mit dem Namen ${NAME}. Voraussichtliche Lieferung: ${OTHER_CHANNEL} | Der Name von ControlPlaneRevision muss mit dem Kanal von ControlPlaneRevision übereinstimmen:
|
|
| Der Kanal darf nicht weggelassen werden oder leer sein. | Channel ist ein Pflichtfeld für ControlPlaneRevision. Es fehlt in der benutzerdefinierten Ressource oder ist leer. |
|
| Nicht unterstützter Typ der Steuerungsebenen-Version: ${TYPE} | managed_service ist das einzige zulässige Feld für das Feld ControlPlaneRevisionType. |
|
| Nicht unterstützte Kubernetes-Version: ${VERSION} | Kubernetes-Versionen ab 1.15 werden unterstützt. | |
| Workload Identity ist nicht aktiviert. | Aktivieren Sie Workload Identity in Ihrem Cluster. | |
| Nicht unterstützter Arbeitslastpool: ${POOL} | Der Arbeitslastpool muss das Format ${PROJECT_ID}.svc.id.goog haben. |
|
| ProvisioningFailed | Beim Aktualisieren von Clusterressourcen ist ein Fehler aufgetreten. | Google konnte Ihre clusterinternen Ressourcen wie CRDs und Webhooks nicht aktualisieren. |
| MutatingWebhookConfiguration „istiod-asm-managed“ enthält einen Webhook mit der URL ${EXISTING_URL}, aber ${EXPECTED_URL} wurde erwartet | Google überschreibt keine vorhandenen Webhooks, damit die Installation nicht geändert wird. Aktualisieren Sie diesen manuell, wenn es erforderlich ist. | |
| ValidatingWebhookConfiguration ${NAME} enthält einen Webhook mit der URL ${EXISTING_URL}, erwartet wurde jedoch ${EXPECTED_URL} | Google überschreibt keine vorhandenen Webhooks, damit die Installation nicht geändert wird. Aktualisieren Sie diesen manuell, wenn es erforderlich ist. |
Managed Cloud Service Mesh kann keine Verbindung zum GKE-Cluster herstellen
Zwischen Juni 2022 und September 2022 hat Google Sicherheitsarbeiten im Zusammenhang mit autorisierten Netzwerken, Cloud Run und Cloud Run Functions in der Google Kubernetes Engine (GKE) abgeschlossen. Projekte, die zuvor das verwaltete Cloud Service Mesh verwendet haben, aber vor der Migration nicht mehr, haben nicht die API, die für die Kommunikation zwischen Cloud Run und GKE erforderlich ist.
In diesem Szenario schlägt die Bereitstellung des verwalteten Cloud Service Mesh fehl und in Cloud Logging wird die folgende Fehlermeldung angezeigt:
Connect Gateway API has not been used in project [*PROJECT_NUMBER*] before or it is disabled.
Enable it by visiting https://console.developers.google.com/apis/api/connectgateway.googleapis.com/overview?project=[*PROJECT_NUMBER*] then retry.
If you enabled this API recently, wait a few minutes for the action to propagate to our systems and retry.
Filtern Sie diese Nachricht mit der folgenden Abfrage:
resource.type="istio_control_plane"
resource.labels.project_id=[*PROJECT_ID*]
resource.labels.location=[*REGION*]
severity=ERROR
jsonPayload.message=~"Connect Gateway API has not been used in project"
In der Zwischenzeit schlagen auch die Sidecar-Injektion und die Bereitstellung von benutzerdefinierten Kubernetes-Ressourcen im Zusammenhang mit Cloud Service Mesh fehl und in Cloud Logging wird die folgende Warnmeldung angezeigt:
Error creating: Internal error occurred: failed calling webhook
"rev.namespace.sidecar-injector.istio.io": failed to call webhook: an error on
the server ("unknown") has prevented the request from succeeding.
Filtern Sie diese Nachricht mit der folgenden Abfrage:
resource.type="k8s_cluster"
resource.labels.project_id=[*PROJECT_ID*]
resource.labels.location=[*REGION*]
resource.labels.cluster_name=[*CLUSTER_NAME*]
severity=WARNING
jsonPayload.message=~"Internal error occurred: failed calling webhook"
So beheben Sie das Problem:
Aktivieren Sie die erforderliche
connectgatewayAPI:gcloud services enable connectgateway.googleapis.com --project=[*PROJECT_ID*]Führen Sie einen rollierenden Neustart der Arbeitslasten durch.
Google Cloud APIs sind nicht aktiviert
Wenn Ihre verwaltete Cloud Service Mesh-Flotte die Steuerungsebenen-Implementierung TRAFFIC_DIRECTOR verwendet, müssen bestimmte APIs aktiviert sein.
Aktivieren Sie alle erforderlichen APIs, einschließlich der APIs, die als „Kann deaktiviert werden“ aufgeführt sind, wenn Sie kein verwaltetes Cloud Service Mesh verwenden.
gcloud services enable --project=[*PROJECT_ID*] \ trafficdirector.googleapis.com \ networkservices.googleapis.com \ networksecurity.googleapis.comAchten Sie darauf, dass Sie keine automatisierten Tools nutzen, die diese Änderung rückgängig machen. Tritt der Fehler wieder auf, aktualisieren Sie alle relevanten Konfigurationen oder Zulassungslisten.