Ingress mTLS CA 憑證無效

您目前查看的是 ApigeeApigee Hybrid 說明文件。
這個主題沒有對應的 Apigee Edge 說明文件。

問題

apigee 命名空間中查看資源時,會顯示含有 Reason AIS_INGRESS_MTLS_CA_CERT_INVALIDApigeeIssue

錯誤訊息

執行 kubectl -n apigee get apigeeissues 後,系統會顯示類似下列的錯誤:

NAME                                    SEVERITY   REASON                             DOCUMENTATION                                                                                  AGE
ca-cert-invalid-my-org-my-virtualhost   ERROR      AIS_INGRESS_MTLS_CA_CERT_INVALID   https://cloud.google.com/apigee/docs/hybrid/troubleshooting/AIS_INGRESS_MTLS_CA_CERT_INVALID   5h18m

可能原因

原因 說明
Ingress mTLS CA 憑證未採用 PEM 編碼 設定的 Ingress mTLS CA 憑證未採用 PEM 編碼。
Ingress mTLS CA 憑證格式有誤 設定的 Ingress mTLS CA 憑證格式錯誤。

原因:Ingress mTLS CA 憑證未採用 PEM 編碼

Kubernetes 密鑰 (由 ApigeeRouteConfig 參照) 中儲存的 Ingress mTLS CA 憑證缺少 PEM 編碼文字區塊 (或格式錯誤)。

診斷

請執行下列指令:

kubectl -n apigee describe apigeeissue ISSUE_NAME

其中 ISSUE_NAME 是問題的名稱。例如:ca-cert-invalid-my-org-my-virtualhost

輸出內容應如下所示:

Name:         ca-cert-invalid-my-org-my-virtualhost
Namespace:    apigee
Labels:       ais-reason=AIS_INGRESS_MTLS_CA_CERT_INVALID
Annotations:  <none>
API Version:  apigee.cloud.google.com/v1alpha1
Kind:         ApigeeIssue
Metadata:
  Creation Timestamp:  2023-06-12T17:03:43Z
  Generation:          1
  Owner References:
    API Version:     apigee.cloud.google.com/v1alpha2
    Kind:            ApigeeOrganization
    Name:            my-org
    UID:             7e83a52c-ce00-4bed-98be-55835ada1817
  Resource Version:  3281563
  UID:               adc775c2-376d-4bf9-9860-500b2b2b8273
Spec:
  Details:        CA certificate in secret "my-org-my-virtualhost" for ApigeeRouteConfig "my-org-my-virtualhost" is not PEM encoded
  Documentation:  https://cloud.google.com/apigee/docs/hybrid/troubleshooting/AIS_INGRESS_MTLS_CA_CERT_INVALID
  Reason:         AIS_INGRESS_MTLS_CA_CERT_INVALID
  Severity:       ERROR
Events:           <none>
Spec:
  Details:        CA certificate in secret "my-org-my-virtualhost" for ApigeeRouteConfig "my-org-my-virtualhost" is not PEM encoded

Spec.Details 說明 ApigeeRouteConfig 的名稱,該名稱是指包含非 PEM 編碼的 Ingress mTLS CA 憑證的 Kubernetes 密鑰。

解析度

  1. 使用 kubectl describe 顯示具有非 PEM 編碼的 Ingress mTLS CA 憑證的 ApigeeRouteConfig 名稱:

    kubectl -n apigee describe apigeeissue ISSUE_NAME

    其中 ISSUE_NAME 是問題的名稱。例如:ca-cert-invalid-my-org-my-virtualhost

    在本範例中,ApigeeRouteConfig my-org-my-virtualhost 是參照密鑰 my-org-my-virtualhost

  2. ApigeeRouteConfig 判斷 virtualhost 名稱。

    ApigeeRouteConfig 的名稱格式為: <Apigee organization>-<virtualhost name>

    在本範例中,my-org 是 Apigee 機構,虛擬主機名稱為 my-virtualhost

  3. overrides.yaml 中找出對應的虛擬主機。

    virtualhosts:
    ...
    - name: my-virtualhost
      selector:
        app: apigee-ingressgateway
      caCertPath: ./certs/ca.pem
      sslCertPath: ./certs/vhost.pem
      sslKeyPath: ./certs/vhost.key
    ...
  4. 驗證透過 caCertPath 中宣告路徑提供的檔案內容。 請確認內容包含必要的開始和結束憑證區塊。例如:

    -----BEGIN CERTIFICATE-----
    MIIDYTCCAkmgAwIBAgIUSXeU0pQYRFzYlqZpKhNNJdBLFBIwDQYJKoZIhvcNAQEL
    ... <contents omitted> ...
    eWJyaWQuZTJlLmFwaWdlZWtzLm5ldDCCASIwDQYJKoZIhvcNAQEBBQADggEPADCC
    MMM=
    -----END CERTIFICATE-----
  5. 修正檔案內容和格式後,請將變更套用至虛擬主機:

    helm upgrade ENV_GROUP_NAME apigee-virtualhost/ \
      --namespace apigee \
      --set envgroup=ENV_GROUP_NAME \
      -f overrides.yaml

原因:Ingress mTLS CA 憑證格式錯誤

儲存在 Kubernetes 密鑰中的 Ingress mTLS CA 憑證 (由 ApigeeRouteConfig 參照) 格式有誤。

診斷

請執行下列指令:

kubectl -n apigee describe apigeeissue ISSUE_NAME

其中 ISSUE_NAME 是問題的名稱。例如:ca-cert-invalid-my-org-my-virtualhost

輸出內容應如下所示:

Name:         ca-cert-invalid-my-org-my-virtualhost
Namespace:    apigee
Labels:       ais-reason=AIS_INGRESS_MTLS_CA_CERT_INVALID
Annotations:  <none>
API Version:  apigee.cloud.google.com/v1alpha1
Kind:         ApigeeIssue
Metadata:
  Creation Timestamp:  2023-06-12T17:03:43Z
  Generation:          1
  Owner References:
    API Version:     apigee.cloud.google.com/v1alpha2
    Kind:            ApigeeOrganization
    Name:            my-org
    UID:             7e83a52c-ce00-4bed-98be-55835ada1817
  Resource Version:  3281563
  UID:               adc775c2-376d-4bf9-9860-500b2b2b8273
Spec:
  Details:        CA certificate in secret "my-org-my-virtualhost" for ApigeeRouteConfig "my-org-my-virtualhost" is invalid
  Documentation:  https://cloud.google.com/apigee/docs/hybrid/troubleshooting/AIS_INGRESS_MTLS_CA_CERT_INVALID
  Reason:         AIS_INGRESS_MTLS_CA_CERT_INVALID
  Severity:       ERROR
Events:           <none>
Spec:
  Details:        CA certificate in secret "my-org-my-virtualhost" for ApigeeRouteConfig "my-org-my-virtualhost" is invalid

Spec.Details 的內容說明 ApigeeRouteConfig 的名稱,是指包含 Ingress mTLS CA 憑證的 Kubernetes 密鑰,該憑證格式錯誤且無法剖析。

解析度

  1. 使用 kubectl describe 顯示具有格式錯誤的 Ingress mTLS CA 憑證的 ApigeeRouteConfig 名稱:

    kubectl -n apigee describe apigeeissue ISSUE_NAME

    其中 ISSUE_NAME 是問題的名稱。例如:ca-cert-invalid-my-org-my-virtualhost

    在本範例中,ApigeeRouteConfig my-org-my-virtualhost 是參照密鑰 my-org-my-virtualhost

  2. ApigeeRouteConfig 判斷 virtualhost 名稱。

    ApigeeRouteConfig 的名稱格式為: <Apigee organization>-<virtualhost name>

    在本範例中,my-org 是 Apigee 機構,虛擬主機名稱為 my-virtualhost

  3. overrides.yaml 中找出對應的虛擬主機。

    virtualhosts:
    ...
    - name: my-virtualhost
      selector:
        app: apigee-ingressgateway
      caCertPath: ./certs/ca.pem
      sslCertPath: ./certs/vhost.pem
      sslKeyPath: ./certs/vhost.key
    ...
  4. 驗證透過 caCertPath 中宣告路徑提供的檔案內容。 確認內容包含完整憑證。例如:

    -----BEGIN CERTIFICATE-----
    MIIDYTCCAkmgAwIBAgIUSXeU0pQYRFzYlqZpKhNNJdBLFBIwDQYJKoZIhvcNAQEL
    BQAwQDE+MDwGA1UEAww1bWF4bWlsbGlvbi1oeWJyaWQtc3RhZ2luZy1kZXYuaHli
    ... <contents omitted> ...
    0TPPaik8U9dtFXMGT1DJkjPRPO0Jw5rlU8DKlNA/Kkv52aKJZNwB/cwmvoa/BFji
    PIPa9wY=
    -----END CERTIFICATE-----
  5. 修正檔案內容和格式後,請將變更套用至虛擬主機:

    helm upgrade ENV_GROUP_NAME apigee-virtualhost/ \
      --namespace apigee \
      --set envgroup=ENV_GROUP_NAME \
      -f overrides.yaml

必須收集診斷資訊

如果按照上述指示操作後問題仍未解決,請收集下列診斷資訊,然後與 Google Cloud Customer Care 團隊聯絡:

  1. Google Cloud 專案 ID。
  2. Apigee Hybrid 機構的名稱。
  3. ApigeeIssueSpec.Details 欄位。
  4. (選用) 受影響虛擬主機的 caCertPath 參照檔案。