Problemas e limitações conhecidos da versão 2.2 da imagem :
Os agentes legados não são instalados em clusters da versão 2.2 da imagem. Os padrões de monitoring-agent-defaults não estão disponíveis, a menos que o Agente de operações esteja instalado. Observação: as métricas e o registro em log do OSS estão disponíveis para componentes do Serviço Gerenciado para Apache Spark.
O registro em log ou o monitoramento de aplicativos de terceiros não estão disponíveis , a menos que o Agente de operações esteja instalado.
Observações:
As imagens
2.2.x-*-armsão compatíveis apenas com os componentes pré-instalados e os seguintes componentes opcionais. Os outros componentes opcionais da versão 2.2 e todas as ações de inicialização não são compatíveis:- Apache Hive WebHCat
- Apache Pig (a partir de
2.2.75-ubuntu22-arm) - Docker
- Zeppelin
- Zookeeper (instalado em clusters de alta disponibilidade; componente opcional em outros clusters)
O código-fonte das bibliotecas da imagem 2.2 licenciadas sob licenças recíprocas e restritas está disponível no caminho
/usr/local/share/google/managed-spark/third-party-sourcesnas VMs do cluster do Serviço Gerenciado para Apache Spark.Os procedimentos do Hudi a seguir não funcionam em uma tabela do Hudi com suporte do sistema de arquivos do Cloud Storage:
run_clusteringrun_compaction
A calculadora de recursos padrão do YARN foi alterada de DefaultResourceCalculator para DominantResourceCalculator, que usa o conceito de recurso dominante para determinar a alocação de recursos, como memória e CPU. Essa mudança afeta o escalonador automático, que é escalonado com base no uso de recursos dominantes do cluster.