執行個體未回報環境群組的狀態

本頁面適用於 Apigee 和 Apigee Hybrid。

查看 Apigee Edge 說明文件。

問題

在 Apigee Hybrid UI 中,API Proxy 或共用流程的部署作業失敗,並顯示 Instance INSTANCE_NAME is not reporting status for environment group ENV_GROUP_NAME 錯誤。

錯誤訊息

將滑鼠游標懸停在「Deployments」(部署作業) 區段「Status」(狀態) 欄中的紅色驚嘆號上時,「API proxies」(API Proxy) 選單的「Overview」(總覽) 分頁會顯示「The Instance INSTANCE_NAME is not reporting status for environment group ENV_GROUP_NAME」錯誤:

instance-not-reporting-status

可能原因

原因 說明
缺少選取器 app: apigee-ingressgateway 使用 Apigee 輸入時,overrides.yaml 檔案必須在 virtualhosts 區段下方包含選取器 app: apigee-ingressgateway。
ApigeeRoute 過時,或環境僅在控制層中刪除 環境或部署作業已從控制層或叢集移除,但未完成完整刪除工作流程,導致叢集中留有過時的 ApigeeRoute 或環境資源。
封鎖傳送至 Google API 的網路輸出 叢集 worker 節點無法建立傳出連線,連至 *.googleapis.com:443 的 Google 驗證和 Apigee 控制層 API。
Ingress 閘道或執行階段 Pod 尚未就緒 apigee-ingressgateway 個 Pod 正在執行,但並非所有容器都已就緒 (2/2),或 apigee-runtime 個 Pod 因 READINESS:VersionLoadProbe 檢查失敗而未就緒 (0/1)。

原因:缺少選取器 app: apigee-ingressgateway

使用 Apigee 輸入閘道時,overrides.yaml 檔案會包含 virtualhosts 設定區段,其中必須設定選取器 app: apigee-ingressgateway。

診斷

首先,請確認您使用的是 Apigee 輸入閘道,該閘道適用於 Hybrid 1.8 以上版本 (下列設定不適用於客戶自行管理的 Istio ASM)。在包含錯誤訊息中提及的環境群組的 overrides.yaml 檔案中,找出 virtualhosts 區段,並檢查是否缺少下列選取器:

  selector:
    app: apigee-ingressgateway
    ingress_name: INGRESS_NAME

解析度

編輯 overrides.yaml 檔案,讓 virtualhosts[].selector 區段看起來與以下範例類似:

    virtualhosts:
    - name: my-environment-group
      sslCertPath: my-cert.crt
      sslKeyPath: my-cert.key
      selector:
        app: apigee-ingressgateway
        ingress_name: INGRESS_NAME
  

編輯 overrides.yaml 檔案後,請使用 Helm 套用新設定:

模擬測試:

helm upgrade ENV_GROUP_RELEASE_NAME apigee-virtualhost/ \
--namespace APIGEE_NAMESPACE \
--atomic \
--set envgroup=ENV_GROUP \
-f OVERRIDES_FILE \
--dry-run=server

請務必加入所有顯示的設定,包括 --atomic,以便在失敗時復原動作。

安裝作業不一定會使用與 ENV_GROUP 不同的 ENV_GROUP_RELEASE_NAME 進行設定。如要瞭解設定,請參閱「使用 Helm 安裝 Apigee hybrid」。

安裝圖表:

helm upgrade ENV_GROUP_RELEASE_NAME apigee-virtualhost/ \
--namespace APIGEE_NAMESPACE \
--atomic \
--set envgroup=ENV_GROUP \
-f OVERRIDES_FILE

原因:ApigeeRoute 過時,或環境僅在控制層中刪除

如果環境或執行階段部署作業從控制層或叢集移除,但未完成 Full Delete 工作流程,叢集中可能會保留過時的 ApigeeRoute 或環境資源。當 apigee-watcher 嘗試協調環境群組的轉送作業,但找不到 Kubernetes 服務、Deployment 或控制層環境時,就無法完成路徑更新,也無法向控制層回報 Deployment 狀態。

診斷

  1. 查看 apigee-watcher Pod 記錄,確認是否有服務或環境遺漏錯誤:

    kubectl logs -n APIGEE_NAMESPACE -l app=apigee-watcher --since=2h
    

    尋找類似下列內容的記錄項目:

    • 過時的 ApigeeRoute 參照已刪除的執行階段服務或部署作業:

      {"level":"error","caller":"watcher/watcher.go:60","msg":"error during watch","name":"ingressstatus","error":"INTERNAL: NOT_FOUND: failed to get service: services \"apigee-runtime-ORG_ENV_HASH\" not found"}
    • 控制層中的環境已刪除,但其執行階段資源仍保留在叢集中:

      {"level":"error","caller":"watcher/watcher.go:60","msg":"error during watch","name":"ingress","error":"INVALID_ARGUMENT: err fetching environment data: NOT_FOUND: {\n  \"error\": {\n    \"code\": 404,\n    \"message\": \"generic::not_found: resource organizations/ORG_NAME/environments/ENV_NAME not found\",\n    \"status\": \"NOT_FOUND\"\n  }\n}"}
  2. 檢查命名空間 (預設為 apigee) 中的 ApigeeRoute 資源,找出指向不存在 ApigeeDeployment 或服務的任何路徑:

    kubectl get ApigeeRoute -n APIGEE_NAMESPACE
    kubectl describe ApigeeRoute APIGEE_ROUTE_NAME -n APIGEE_NAMESPACE
    

解析度

  1. 刪除無效的 ApigeeRoute 資源:

    kubectl delete ApigeeRoute APIGEE_ROUTE_NAME -n APIGEE_NAMESPACE
    
  2. 重新套用 apigee-virtualhost Helm 圖表,重新建立路徑設定:

    helm upgrade ENV_GROUP_RELEASE_NAME apigee-virtualhost/ \
      -n APIGEE_NAMESPACE \
      --atomic \
      --set envgroup=ENV_GROUP \
      -f OVERRIDES_FILE
    
  3. 如果環境僅在控制層中刪除 (導致 err fetching environment data: NOT_FOUND),請解除安裝環境的 Helm 版本 (helm delete ENV_RELEASE_NAME -n APIGEE_NAMESPACE),並按照「刪除環境」一節所述,從 overrides.yaml 檔案中移除環境。

原因:傳出至 Google API 的網路流量遭到封鎖

apigee-synchronizer 元件會輪詢 Apigee 控制層,下載 apigee-runtime Pod 的執行階段設定合約,而 apigee-watcher 則會連線至控制層,擷取輸入設定並回報部署狀態。如果從叢集 worker 節點傳出至 Google API 的流量遭到封鎖,這些元件就無法向控制層進行驗證或與控制層通訊。

診斷

  1. 檢查 apigee-synchronizer Pod 記錄,查看是否有驗證和連線逾時錯誤:

    kubectl logs -n APIGEE_NAMESPACE -l app=apigee-synchronizer --since=2h
    

    擷取存取權杖時,請留意 GoogleAuthException 逾時錯誤:

    "logger":"CONTRACT-REPLICATION","exceptionStackTrace":"com.google.auth.oauth2.GoogleAuthException: Error getting access token for service account: connect timed out, iss: SERVICE_ACCOUNT_EMAIL"
  2. 查看 apigee-watcher Pod 記錄,確認控制層連線是否失敗:

    kubectl logs -n APIGEE_NAMESPACE -l app=apigee-watcher --since=2h
    

    尋找 TCP 逾時至通訊埠 443 的 control-plane connectivity test failed 錯誤:

    {"level":"error","caller":"issuescan/cp_connectivity_scanner.go:68","msg":"control-plane connectivity test failed","organization":"ORG_NAME","error":"Get \"https://apigee.googleapis.com/v1/organizations/ORG_NAME\": oauth2: cannot fetch token: Post \"https://oauth2.googleapis.com/token\": dial tcp IP_ADDRESS:443: i/o timeout"}

解析度

確認傳出防火牆規則、NAT 閘道、網路 ACL,以及 HTTP 或 HTTPS 轉送 Proxy 設定,允許叢集 worker 節點連線至 *.googleapis.com:443 (包括 apigee.googleapis.com 和 oauth2.googleapis.com)。如需必要網域的完整清單和連線能力疑難排解步驟,請參閱「要為混合式服務允許的 Google Cloud 網址」和「執行階段層與控制層之間沒有網路連線」。

原因:輸入閘道或執行階段 Pod 尚未就緒

為驗證及回報部署狀態,apigee-watcher 會從 apigee-ingressgateway Pod 擷取轉送設定轉儲,並檢查 apigee-runtime Pod 的就緒狀態。如果輸入閘道 Pod 未執行且未就緒,或執行階段 Pod 未載入環境合約,部署狀態回報就會失敗。

診斷

  1. 檢查 apigee-ingressgateway Pod 的狀態:

    kubectl get pods -n APIGEE_NAMESPACE -l app=apigee-ingressgateway
    

    確認所有 apigee-ingressgateway Pod 都處於 Running 狀態,且 2/2 容器已準備就緒。如果輸入閘道 Pod 未執行 2/2,apigee-watcher 就無法擷取驗證部署作業所需的 Envoy 設定轉儲。

  2. 檢查 apigee-runtime Pod 的狀態:

    kubectl get pods -n APIGEE_NAMESPACE -l app=apigee-runtime
    

    如果 apigee-runtime 個 Pod 處於 Running 狀態,但尚未就緒 (0/1),請檢查 Pod 事件和記錄:

    kubectl describe pod RUNTIME_POD_NAME -n APIGEE_NAMESPACE
    kubectl logs RUNTIME_POD_NAME -n APIGEE_NAMESPACE
    

    找出 readiness 探測失敗 (Readiness probe failed: HTTP probe failed with statuscode: 500) 和 READINESS:VersionLoadProbe 錯誤,指出執行階段合約未載入:

    {"level":"SEVERE","className":"com.apigee.probe.ProbeServiceImpl","severity":"SEVERE","message":"probe \"READINESS:VersionLoadProbe\" execution failed due to Version not loaded by Message Processor","logger":"ProbeServiceImpl"}

解析度

請先解決所有 Pod 啟動失敗、叢集資源限制 (CPU 或記憶體限制) 或同步器合約下載問題,讓 apigee-ingressgateway Pod 達到 2/2 就緒狀態,且 apigee-runtime Pod 達到 1/1 就緒狀態,再重新部署。如需排解 apigee-runtime 準備度失敗問題的其他步驟,請參閱訊息處理器疑難排解指南。

參考資料