Gerenciar upgrades de versão para instâncias e pipelines

Nesta página, descrevemos como fazer upgrade da versão das suas instâncias ou pipelines em lote.

Faça upgrade das suas instâncias do Cloud Data Fusion e dos pipelines em lote para as versões mais recentes da plataforma e do plug-in e aproveite os recursos, as correções de bugs e as melhorias de performance mais recentes.

Antes de começar

  • Planeje um período de inatividade programado para o upgrade. O processo leva até uma hora.

  • No console do Google Cloud , ative o Cloud Shell.

    Ativar o Cloud Shell

Limitações

  • Depois de criar uma instância do Cloud Data Fusion, não é possível mudar a edição dela, nem mesmo com uma operação de upgrade.

  • Não acione um upgrade com o Terraform, porque ele exclui e recria a instância, em vez de realizar um upgrade no local. Esse problema resulta na perda de todos os dados atuais na instância.

  • O Cloud Data Fusion não reinicia pipelines que param como resultado da operação de upgrade.

  • Ao fazer upgrade de uma instância de versões anteriores à 6.11.0, espere um tempo de inatividade maior, principalmente se a instância processar muitos dados.

  • Não é possível fazer upgrade de pipelines em tempo real, exceto aqueles criados na versão 6.8.0 com uma origem em tempo real do Kafka. Para uma solução alternativa, consulte Fazer upgrade de pipelines em tempo real.

Fazer upgrade das instâncias do Cloud Data Fusion

Para fazer upgrade de uma instância do Cloud Data Fusion para uma nova versão do Cloud Data Fusion, acesse a página Detalhes da instância:

  1. No console Google Cloud , acesse a página do Cloud Data Fusion.

  2. Clique em Instâncias e, depois, no nome da instância para acessar a página Detalhes da instância.

    Acesse "Instâncias"

Em seguida, faça o upgrade usando o Google Cloud console ou a CLI gcloud:

Console

  1. Clique em Fazer upgrade para ver uma lista das versões disponíveis.

  2. Selecionar uma versão

  3. Clique em Fazer upgrade.

  4. Verifique se o upgrade foi bem-sucedido:

    1. Atualize a página Detalhes da instância.

    2. Clique em Ver instância para acessar a instância atualizada na interface da Web do Cloud Data Fusion.

    3. Clique em Administrador do sistema na barra de menus.

      O novo número da versão é exibido na parte superior da página.

  5. Para evitar que os pipelines fiquem presos ao serem executados na nova versão, conceda as funções necessárias na instância atualizada.

gcloud

  1. Para fazer upgrade para uma nova versão do Cloud Data Fusion, execute o seguinte comando da CLI gcloud em uma sessão do terminal local Cloud Shell:

      gcloud beta data-fusion instances update INSTANCE_ID \
    --project=PROJECT_ID \
    --location=LOCATION_NAME \
    --version=AVAILABLE_INSTANCE_VERSION

  2. Para verificar se o upgrade foi concluído, siga estas etapas:

    1. No console Google Cloud , acesse a página Instâncias do Cloud Data Fusion.

    2. Clique em Ver instância para acessar a instância atualizada na interface da Web do Cloud Data Fusion.

    3. Clique em Administrador do sistema na barra de menus.

      O novo número da versão é exibido na parte superior da página.

  3. Para evitar que os pipelines fiquem presos ao serem executados na nova versão, conceda as funções necessárias na instância atualizada.

Atualizar pipelines em lote

Para fazer upgrade dos pipelines em lote do Cloud Data Fusion para usar as versões mais recentes do plug-in:

  1. Definir as variáveis de ambiente.

  2. Recomendado:faça backup de todos os pipelines. É possível fazer backup de pipelines de uma das duas maneiras:

    • Para fazer o download do arquivo ZIP, siga estas etapas:

      1. Para acionar o download de um arquivo ZIP, faça backup de todos os pipelines com o comando a seguir:
      echo $CDAP_ENDPOINT/v3/export/apps
      1. Copie a saída do URL para o navegador.
      2. Extraia o arquivo baixado e confirme se todos os pipelines foram exportados. Os pipelines são organizados por namespace.

    • Faça backup de pipelines usando o Gerenciamento de controle de origem (SCM), disponível na versão 6.9 e mais recentes. O SCM oferece integração com o GitHub, que pode ser usada para fazer backup de pipelines.

  3. Para fazer upgrade dos pipelines, siga estas etapas:

    1. Crie uma variável que aponte para o arquivo pipeline_upgrade.json que você vai criar na próxima etapa para salvar uma lista de pipelines.

      export PIPELINE_LIST=PATH/pipeline_upgrade.json

      Substitua PATH pelo caminho para o arquivo.

    2. Crie uma lista de todos os pipelines de uma instância e um namespace usando o seguinte comando. O resultado é armazenado no arquivo $PIPELINE_LIST no formato JSON. É possível editar a lista para remover pipelines que não precisam de upgrades.

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST

      Substitua NAMESPACE_ID pelo namespace em que você quer que o upgrade aconteça.

    3. Faça upgrade dos pipelines listados em pipeline_upgrade.json. Insira o NAMESPACE_ID de pipelines para upgrade. O comando exibe uma lista de pipelines atualizados com o status de upgrade.

      curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST

      Substitua NAMESPACE_ID pelo ID do namespace dos pipelines que estão sendo atualizados.

  4. Para evitar que os pipelines fiquem presos ao serem executados na nova versão, conceda as funções necessárias na instância atualizada.

Fazer upgrade de pipelines em tempo real

Não é possível fazer upgrade de pipelines em tempo real, exceto aqueles criados na versão 6.8.0 com uma origem em tempo real do Kafka.

Para todo o resto, faça o seguinte:

  1. Pare e exporte os pipelines.
  2. Faça upgrade da instância.
  3. Importe os pipelines em tempo real para a instância atualizada.

Fazer upgrade para ativar a replicação

A replicação pode ser ativada em ambientes do Cloud Data Fusion na versão 6.3.0 ou mais recente. Se você tiver a versão 6.2.3, faça upgrade para a 6.3.0 e depois para a versão mais recente. Em seguida, ative a replicação.

Concede papéis a instâncias atualizadas

Depois que o upgrade for concluído, conceda o papel de executor do Cloud Data Fusion (roles/datafusion.runner) e o papel de administrador do Cloud Storage (roles/storage.admin) à conta de serviço do Serviço gerenciado para Apache Spark no seu projeto.

A seguir