Elasticsearch 8.0 e 9.0

Elasticsearch é um servidor de pesquisa de código aberto com base na biblioteca de pesquisa Lucene. Ele é executado em uma máquina virtual Java, além de uma série de sistemas operacionais. O receptor elasticsearch coleta a telemetria no nível do nó e do cluster das instâncias do Elasticsearch.

Para mais informações sobre o Elasticsearch, consulte a documentação do Elasticsearch 8.0+ e 9.0+.

Pré-requisitos

Para coletar a telemetria do Elasticsearch, instale o Agente de operações:

  • Para métricas, instale a versão 2.60.0 ou mais recente.
  • Para registros, instale a versão 2.60.0 ou mais recente.

Essa integração é compatível com as versões 8.0+ e 9.0+ do Elasticsearch.

Configurar a instância do Elasticsearch

Se você ativar os recursos de segurança do Elasticsearch, será necessário configurar um usuário com o privilégio de cluster monitor ou manage.

Configure o agente de operações para o Elasticsearch

Seguindo o guia para configurar o agente de operações, adicione os elementos necessários para coletar a telemetria das instâncias do Elasticsearch e reinicie o agente.

Exemplo de configuração

Os comandos a seguir criam a configuração para coletar e ingerir telemetria para o Elasticsearch:

# Configures Ops Agent to collect telemetry from the app. You must restart the agent for the configuration to take effect.

set -e

# Check if the file exists
if [ ! -f /etc/google-cloud-ops-agent/config.yaml ]; then
  # Create the file if it doesn't exist.
  sudo mkdir -p /etc/google-cloud-ops-agent
  sudo touch /etc/google-cloud-ops-agent/config.yaml
fi

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    elasticsearch:
      type: elasticsearch
      endpoint: https://localhost:9200
      username: elastic
      password: elastic_test_password_123
      insecure_skip_verify: true
      insecure: false
  service:
    pipelines:
      elasticsearch:
        receivers:
          - elasticsearch

logging:
  receivers:
    elasticsearch_gc:
      type: elasticsearch_gc
    elasticsearch_json:
      type: elasticsearch_json
  service:
    pipelines:
      elasticsearch:
        receivers:
          - elasticsearch_gc
          - elasticsearch_json
EOF

Para que essas mudanças entrem em vigor, reinicie o Agente de operações:

Linux

  1. Para reiniciar o agente, execute o seguinte comando na instância: 
    sudo systemctl restart google-cloud-ops-agent
  2. Para confirmar se o agente foi reiniciado, execute o seguinte comando e verifique se os componentes "Agente de métricas" e "Agente do Logging" foram iniciados: 
    sudo systemctl status "google-cloud-ops-agent*"

Windows

  1. Conecte-se à sua instância usando o RDP ou uma ferramenta semelhante e faça login no Windows.
  2. Abra um terminal do PowerShell com privilégios de administrador. Para isso, clique com o botão direito do mouse no ícone do PowerShell e selecione Executar como administrador
  3. Para reiniciar o agente, execute o seguinte comando do PowerShell: 
    Restart-Service google-cloud-ops-agent -Force
  4. Para confirmar se o agente foi reiniciado, execute o seguinte comando e verifique se os componentes "Agente de métricas" e "Agente do Logging" foram iniciados: 
    Get-Service google-cloud-ops-agent*

Configurar a coleta de registros

Para ingerir registros do Elasticsearch, crie um receptor para os registros produzidos pelo Elasticsearch e, em seguida, crie um pipeline para o novo receptor.

elasticsearch_jsonPara configurar um receptor para os registros , especifique os seguintes campos:

Campo Padrão Descrição
exclude_paths Uma lista de padrões de caminho do sistema de arquivos a serem excluídos do conjunto correspondente a include_paths.
include_paths [/var/log/elasticsearch/*_server.json, /var/log/elasticsearch/*_deprecation.json, /var/log/elasticsearch/*_index_search_slowlog.json, /var/log/elasticsearch/*_index_indexing_slowlog.json, /var/log/elasticsearch/*_audit.json] Uma lista de caminhos do sistema de arquivos a serem lidos acompanhando cada arquivo. Um caractere curinga (*) pode ser usado nos caminhos.
record_log_file_path false Se definido como true, o caminho para o arquivo específico de que a gravação de registro foi recebida aparecerá na entrada de registro de saída como o valor do identificador agent.googleapis.com/log_file_path. Ao usar um caractere curinga, apenas o caminho do arquivo de que o registro foi recebido é gravado.
type Este valor precisa ser elasticsearch_json.
wildcard_refresh_interval 60s O intervalo em que os caminhos de arquivos curinga no include_paths são atualizados. Dado como uma duração de tempo, por exemplo, 30s ou 2m. Essa propriedade pode ser útil com capacidades de registro altas em que os arquivos de registro são alternados mais rapidamente do que o intervalo padrão.

elasticsearch_gcPara configurar um receptor para os registros , especifique os seguintes campos:

Campo Padrão Descrição
exclude_paths Uma lista de padrões de caminho do sistema de arquivos a serem excluídos do conjunto correspondente a include_paths.
include_paths [/var/log/elasticsearch/gc.log] Uma lista de caminhos do sistema de arquivos a serem lidos acompanhando cada arquivo. Um caractere curinga (*) pode ser usado nos caminhos.
record_log_file_path false Se definido como true, o caminho para o arquivo específico de que a gravação de registro foi recebida aparecerá na entrada de registro de saída como o valor do identificador agent.googleapis.com/log_file_path. Ao usar um caractere curinga, apenas o caminho do arquivo de que o registro foi recebido é gravado.
type Este valor precisa ser elasticsearch_gc.
wildcard_refresh_interval 60s O intervalo em que os caminhos de arquivos curinga no include_paths são atualizados. Dado como uma duração de tempo, por exemplo, 30s ou 2m. Essa propriedade pode ser útil com capacidades de registro altas em que os arquivos de registro são alternados mais rapidamente do que o intervalo padrão.

O que é registrado

O logName é derivado dos IDs do receptor especificados na configuração. Os campos detalhados dentro de LogEntry são os seguintes.

Os registros elasticsearch_json contêm os seguintes campos no LogEntry:

Campo Tipo Descrição
jsonPayload.ecs.version string Versão do ECS
jsonPayload.elasticsearch.cluster.name string O nome do cluster que emite o registro no formato ECS
jsonPayload.elasticsearch.cluster.uuid string O UUID do cluster que emite o registro no formato ECS
jsonPayload.elasticsearch.node.name string O nome do nó que emite o registro no formato ECS
jsonPayload.event string Informações de eventos no formato ECS
jsonPayload.log string Detalhes do registro no formato ECS
jsonPayload.log.level string Nível de entrada de registro no formato ECS
jsonPayload.log.logger string O componente de geração de registros que emitiu o registro no formato ECS
jsonPayload.message string Mensagem de registro
jsonPayload.process.thread.name string O nome da linha de execução que emitiu o registro no formato ECS
jsonPayload.service.name string O nome do serviço que emite o registro no formato ECS
severity string (LogSeverity) Nível de gravidade da entrada de registro

Os registros elasticsearch_gc contêm os seguintes campos no LogEntry:

Campo Tipo Descrição
jsonPayload.gc_run número A execução do coletor de lixo
jsonPayload.message string Mensagem de registro
jsonPayload.type string O tipo de registro
severity string (LogSeverity) Nível de entrada de registro (traduzido).

Configurar a coleta de métricas

Para ingerir métricas do Elasticsearch, crie um receptor para as métricas produzidas pelo Elasticsearch e, em seguida, crie um pipeline para o novo receptor.

Esse receptor não aceita o uso de várias instâncias na configuração, por exemplo, para monitorar vários endpoints. Todas essas instâncias gravam na mesma série temporal, e o Cloud Monitoring não tem como diferenciá-las.

Para configurar um receptor para suas métricas do elasticsearch, especifique os campos a seguir:

Campo Padrão Descrição
ca_file Caminho para o certificado de CA. Como cliente, isso verifica o certificado do servidor. Se estiver vazio, o receptor usará a CA raiz do sistema.
cert_file Caminho para o certificado TLS a ser usado para conexões exigidas por mTLS.
collection_interval 60s Umm valor de time.Duration, como 30s ou 5m.
endpoint https://localhost:9200 O URL base para a API REST do Elasticsearch. O Elasticsearch 9.0 e versões mais recentes usam HTTPS por padrão.
insecure false Define se uma conexão TLS segura será ou não usada. O Elasticsearch 9.0 e versões mais recentes usam HTTPS por padrão.
insecure_skip_verify true Define se é necessário pular a verificação do certificado. Defina como true para certificados autoassinados (comum em ambientes de teste).
key_file Caminho para a chave TLS a ser usada para conexões exigidas por mTLS.
password Senha para autenticação com o Elasticsearch. Obrigatório para o Elasticsearch 9.0 ou mais recente.
type Este valor precisa ser elasticsearch.
username elastic Nome de usuário para autenticação no Elasticsearch. Obrigatório para o Elasticsearch 9.0 ou mais recente.

O que é monitorado?

A tabela a seguir fornece a lista de métricas que o agente de operações coleta da instância do Elasticsearch.

Tipo de métrica 
Tipo, tipo
Recursos monitorados		 Rótulos
workload.googleapis.com/elasticsearch.breaker.memory.estimated
GAUGE, INT64
gce_instance 		instrumentation_source
name
workload.googleapis.com/elasticsearch.breaker.memory.limit
GAUGE, INT64
gce_instance 		instrumentation_source
name
workload.googleapis.com/elasticsearch.breaker.tripped
CUMULATIVE, INT64
gce_instance 		instrumentation_source
name
workload.googleapis.com/elasticsearch.cluster.data_nodes
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.cluster.health
GAUGE, INT64
gce_instance 		instrumentation_source
status
workload.googleapis.com/elasticsearch.cluster.in_flight_fetch
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.cluster.nodes
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.cluster.pending_tasks
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.cluster.published_states.differences
GAUGE, INT64
gce_instance 		instrumentation_source
state
workload.googleapis.com/elasticsearch.cluster.published_states.full
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.cluster.shards
GAUGE, INT64
gce_instance 		instrumentation_source
state
workload.googleapis.com/elasticsearch.cluster.state_queue
GAUGE, INT64
gce_instance 		instrumentation_source
state
workload.googleapis.com/elasticsearch.cluster.state_update.count
CUMULATIVE, INT64
gce_instance 		instrumentation_source
state
workload.googleapis.com/elasticsearch.cluster.state_update.time
CUMULATIVE, INT64
gce_instance 		instrumentation_source
state
type
workload.googleapis.com/elasticsearch.indexing_pressure.memory.limit
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.primary_rejections
CUMULATIVE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.replica_rejections
CUMULATIVE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.memory.indexing_pressure
GAUGE, INT64
gce_instance 		instrumentation_source
stage
workload.googleapis.com/elasticsearch.node.cache.count
GAUGE, INT64
gce_instance 		instrumentation_source
type
workload.googleapis.com/elasticsearch.node.cache.evictions
CUMULATIVE, INT64
gce_instance 		cache_name
instrumentation_source
workload.googleapis.com/elasticsearch.node.cache.memory.usage
GAUGE, INT64
gce_instance 		cache_name
instrumentation_source
workload.googleapis.com/elasticsearch.node.cluster.connections
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.cluster.io
CUMULATIVE, INT64
gce_instance 		direction
instrumentation_source
workload.googleapis.com/elasticsearch.node.disk.io.read
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.disk.io.write
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.documents
GAUGE, INT64
gce_instance 		instrumentation_source
state
workload.googleapis.com/elasticsearch.node.fs.disk.available
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.fs.disk.free
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.fs.disk.total
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.http.connections
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.ingest.documents
CUMULATIVE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.ingest.documents.current
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.ingest.operations.failed
CUMULATIVE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.open_files
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.operations.completed
CUMULATIVE, INT64
gce_instance 		instrumentation_source
operation
workload.googleapis.com/elasticsearch.node.operations.time
CUMULATIVE, INT64
gce_instance 		instrumentation_source
operation
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.current
GAUGE, INT64
gce_instance 		instrumentation_source
name
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.preprocessed
GAUGE, INT64
gce_instance 		instrumentation_source
name
workload.googleapis.com/elasticsearch.node.pipeline.ingest.operations.failed
CUMULATIVE, INT64
gce_instance 		instrumentation_source
name
workload.googleapis.com/elasticsearch.node.script.cache_evictions
CUMULATIVE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.script.compilation_limit_triggered
CUMULATIVE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.script.compilations
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.shards.data_set.size
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.shards.reserved.size
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.shards.size
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.finished
CUMULATIVE, INT64
gce_instance 		instrumentation_source
state
thread_pool_name
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.queued
GAUGE, INT64
gce_instance 		instrumentation_source
thread_pool_name
workload.googleapis.com/elasticsearch.node.thread_pool.threads
GAUGE, INT64
gce_instance 		instrumentation_source
state
thread_pool_name
workload.googleapis.com/elasticsearch.node.translog.operations
CUMULATIVE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.translog.size
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.translog.uncommitted.size
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.os.cpu.load_avg.15m
GAUGE, DOUBLE
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.os.cpu.load_avg.1m
GAUGE, DOUBLE
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.os.cpu.load_avg.5m
GAUGE, DOUBLE
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.os.cpu.usage
GAUGE, INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.os.memory
GAUGE, INT64
gce_instance 		instrumentation_source
state

Verificar a configuração

Nesta seção, descrevemos como verificar se você configurou corretamente o receptor do Elasticsearch. Pode levar um ou dois minutos para que o agente de operações comece a coletar telemetria.

Para verificar se os registros do Elasticsearch estão sendo enviados para o Cloud Logging, faça o seguinte:

  1. No console Google Cloud , acesse a página Análise de registros.

    Acessar a Análise de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Geração de registros.

  2. Digite a consulta a seguir no Editor e clique em Executar consulta: 
    resource.type="gce_instance"
(log_id("elasticsearch_json") OR log_id("elasticsearch_gc"))

Para verificar se as métricas do Elasticsearch estão sendo enviadas para o Cloud Monitoring, faça o seguinte:

  1. No console Google Cloud , acesse a página do  Metrics explorer:

    Acesse o Metrics Explorer

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.

  2. Na barra de ferramentas do painel do criador de consultas, selecione o botão  MQL ou  PromQL.
  3. Verifique se PromQL está selecionado na opção de ativar/desativar Idioma. A alternância de idiomas está na mesma barra de ferramentas que permite formatar sua consulta.
  4. Digite a consulta a seguir no Editor e clique em Executar consulta: 
    {"workload.googleapis.com/elasticsearch.node.open_files", monitored_resource="gce_instance"}

Ver painel

Para visualizar as métricas do Elasticsearch, é necessário ter um gráfico ou um painel configurado. A integração do Elasticsearch inclui um ou mais painéis para você. Todos os painéis são instalados automaticamente depois que você configura a integração e o Agente de operações começa a coletar dados de métricas.

Também é possível ver visualizações estáticas de painéis sem instalar a integração.

Para ver um painel instalado, faça o seguinte:

  1. No console Google Cloud , acesse a página  Painéis:

    Acesse Painéis

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.

  2. Selecione a guia Lista de painéis e escolha a categoria Integrações.
  3. Clique no nome do painel que você quer visualizar.

Se você configurou uma integração, mas o painel não foi instalado, verifique se o agente de operações está em execução. Quando não há dados de métricas para um gráfico no painel, a instalação do painel falha. Depois que o Agente de operações começar a coletar métricas, o painel será instalado para você.

Para acessar uma visualização estática do painel, faça o seguinte:

  1. No console do Google Cloud , acesse a página  Integrações:

    Acessar Integrações

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.

  2. Clique no filtro de plataforma de implantação do Compute Engine.
  3. Localize a entrada do Elasticsearch e clique em Ver detalhes.
  4. Selecione a guia Painéis para uma visualização estática. Se o painel estiver instalado, navegue até ele clicando em Ver painel.

Para mais informações sobre painéis no Cloud Monitoring, consulte Painéis e gráficos.

Para mais informações sobre como usar a página Integrações, consulte Gerenciar integrações.

Instalar políticas de alertas

As políticas de alertas orientam o Cloud Monitoring a notificar você quando ocorrerem condições especificadas. A integração do Elasticsearch inclui uma ou mais políticas de alertas para você usar. É possível ver e instalar essas políticas de alertas na página Integrações no Monitoring.

Para visualizar e descrever as descrições de políticas de alertas disponíveis, faça o seguinte:

  1. No console do Google Cloud , acesse a página  Integrações:

    Acessar Integrações

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoramento.

  2. Localize a entrada do Elasticsearch e clique em Ver detalhes.
  3. Selecione a guia Alertas. Essa guia apresenta descrições das políticas de alertas disponíveis e mostra uma interface para instalá-las.
  4. Instalar políticas de alertas. As políticas de alertas precisam saber para onde enviar as notificações de que o alerta foi acionado. Portanto, elas exigem informações para instalação. Para instalar políticas de alertas, faça o seguinte:
    1. Na lista de políticas de alertas disponíveis, selecione aquelas que você quer instalar.

    2. Na seção Configurar notificações, selecione um ou mais canais de notificação. Você pode desativar o uso dos canais de notificação, mas, se isso acontecer, as políticas de alertas vão ser disparadas silenciosamente. É possível verificar o status no Monitoring, mas não receber notificações.

      Para saber mais sobre canais de notificação, consulte Gerenciar canais de notificação.

    3. Clique em Criar políticas.

Para mais informações sobre políticas de alertas no Cloud Monitoring, consulte Introdução a alertas.

Para mais informações sobre como usar a página Integrações, consulte Gerenciar integrações.

A seguir

Para ver um tutorial sobre como usar o Ansible para instalar o agente de operações, configurar um aplicativo de terceiros e instalar um painel de amostra, consulte o vídeo Instalação do agente de operações para resolver problemas de aplicativos de terceiros.