Problemi di spazio heap Java di Cassandra

Stai visualizzando la documentazione di Apigee e Apigee hybrid.
Non esiste una documentazione Apigee Edge equivalente per questo argomento.

Sintomo

I problemi di heap di Cassandra possono causare lentezza nell'esecuzione del proxy Apigee hybrid o persino errori Datastore. A volte i log sono un indicatore precoce, anche prima dell'insorgere dei sintomi.

Messaggio di errore

Nei log dei pod Cassandra (Cloud Logging), potrebbero essere osservate voci di log simili alle seguenti:

WARN  [Service Thread] 2023-01-01 01:14:51,121 GCInspector.java:283 - G1 Young Generation GC in 2510ms...
...
WARN  [Service Thread] 2023-01-01 01:14:51,121 GCInspector.java:283 - G1 Old Generation GC in 3100ms...

2023-01-01 01:14:51,123 FailureDetector.java:278 - Not marking nodes down due to local pause of 45261214670 > 5000000000

java.lang.OutOfMemoryError: Java heap space

Causa: dimensione dello heap Java insufficiente

Diagnosi

Nel file overrides.yaml per l'installazione di Apigee hybrid, maxHeapSize non è impostato su un valore sufficiente. Ciò potrebbe essere dovuto al fatto che le impostazioni di produzione non sono state applicate o che i throughput attuali richiedono un'impostazione più elevata del solito.

Risoluzione

Per risolvere il problema, regola maxHeapSize e memory di conseguenza e applica le modifiche:

  resources:
    requests:
      cpu: 7
      memory: 15Gi
  maxHeapSize: 8192M
  heapNewSize: 1200M

Se il problema persiste con la configurazione di produzione predefinita, prova ad aumentare ulteriormente i valori. Tieni presente che devi assicurarti che anche la capacità del nodo, il throughput del disco e la larghezza di banda di rete siano sufficienti.

  resources:
    requests:
      cpu: 7
      memory: 30Gi
  maxHeapSize: 16384M
  heapNewSize: 2400M

Se l'impostazione dell'heap di 16 GB non è ancora sufficiente per il volume di traffico, continua con lo scaling orizzontale.

Deve raccogliere informazioni diagnostiche

Se il problema persiste anche dopo aver seguito le istruzioni riportate sopra, raccogli le seguenti informazioni diagnostiche e poi contatta l'assistenza clienti Google Cloud:

Oltre ai soliti dati che ti potrebbero essere richiesti, raccogli i dati di diagnostica da tutti i pod Cassandra con il comando riportato di seguito:

for p in $(kubectl -n apigee get pods -l app=apigee-cassandra --no-headers -o custom-columns=":metadata.name") ; do \
for com in info describecluster failuredetector version status ring info gossipinfo compactionstats tpstats netstats cfstats proxyhistograms gcstats ; do kubectl \
-n apigee exec ${p} -- bash -c 'nodetool -u $APIGEE_JMX_USER -pw $APIGEE_JMX_PASSWORD '"$com"' 2>&1 '\
| tee /tmp/k_cassandra_nodetool_${com}_${p}_$(date +%Y.%m.%d_%H.%M.%S).txt | head -n 40 ; echo '...' ; done; done

Comprimilo e fornisci il file nella richiesta di assistenza:

tar -cvzf /tmp/cassandra_data_$(date +%Y.%m.%d_%H.%M.%S).tar.gz /tmp/k_cassandra_nodetool*