Faça a gestão das atualizações de versões para instâncias e pipelines

Esta página descreve a atualização da versão das suas instâncias ou pipelines em lote.

Atualize as suas instâncias e pipelines em lote do Cloud Data Fusion para as versões mais recentes da plataforma e dos plug-ins para ter acesso às funcionalidades mais recentes, correções de erros e melhorias de desempenho.

Antes de começar

  • Planeie um período de inatividade agendado para a atualização. O processo demora até uma hora.

  • In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

Limitações

  • Depois de criar uma instância do Cloud Data Fusion, não pode alterar a respetiva edição, mesmo através de uma operação de atualização.

  • Não acione uma atualização com o Terraform, uma vez que elimina e recria a instância, em vez de fazer uma atualização no local. Este problema resulta na perda de todos os dados existentes na instância.

  • O Cloud Data Fusion não reinicia pipelines que param como resultado da operação de atualização.

  • Quando atualiza uma instância de versões anteriores à 6.11.0, espere um maior tempo de inatividade para a atualização, especialmente se a instância processar muitos dados.

  • A atualização de pipelines em tempo real não é suportada, exceto em pipelines criados na versão 6.8.0 com uma origem em tempo real do Kafka. Para uma solução alternativa, consulte o artigo Atualize pipelines em tempo real.

Atualize instâncias do Cloud Data Fusion

Para atualizar uma instância do Cloud Data Fusion para uma nova versão do Cloud Data Fusion, aceda à página Detalhes da instância:

  1. Na Google Cloud consola, aceda à página do Cloud Data Fusion.

  2. Clique em Instâncias e, de seguida, clique no nome da instância para aceder à página Detalhes da instância.

    Aceda a Instâncias

Em seguida, faça a atualização através da Google Cloud consola ou da CLI gcloud:

Consola

  1. Clique em Atualizar para ver uma lista das versões disponíveis.

  2. Selecione uma versão.

  3. Clique em Atualizar.

  4. Verifique se a atualização foi bem-sucedida:

    1. Atualize a página Detalhes da instância.

    2. Clique em Ver instância para aceder à instância atualizada na interface Web do Cloud Data Fusion.

    3. Clique em Administrador do sistema na barra de menu.

      O número da nova versão é apresentado na parte superior da página.

  5. Para evitar que os pipelines fiquem bloqueados quando os executa na nova versão, conceda as funções necessárias na instância atualizada.

gcloud

  1. Para atualizar para uma nova versão do Cloud Data Fusion, execute o seguinte comando da CLI gcloud a partir de uma sessão do terminal local Cloud Shell:

      gcloud beta data-fusion instances update INSTANCE_ID \
    --project=PROJECT_ID \
    --location=LOCATION_NAME \
    --version=AVAILABLE_INSTANCE_VERSION

  2. Siga estes passos para verificar se a atualização foi bem-sucedida:

    1. Na Google Cloud consola, aceda à página Instâncias do Cloud Data Fusion.

    2. Clique em Ver instância para aceder à instância atualizada na interface Web do Cloud Data Fusion.

    3. Clique em Administrador do sistema na barra de menu.

      O número da nova versão é apresentado na parte superior da página.

  3. Para evitar que os pipelines fiquem bloqueados quando os executa na nova versão, conceda as funções necessárias na instância atualizada.

Atualize pipelines de processamento em lote

Para atualizar os pipelines em lote do Cloud Data Fusion para usar as versões mais recentes dos plug-ins:

  1. Defina variáveis de ambiente.

  2. Recomendado: faça uma cópia de segurança de todos os pipelines. Pode fazer uma cópia de segurança dos pipelines de uma das duas formas:

    • Transfira o ficheiro ZIP seguindo estes passos:

      1. Para acionar uma transferência de ficheiro ZIP, faça uma cópia de segurança de todos os pipelines com o seguinte comando:
      echo $CDAP_ENDPOINT/v3/export/apps
      1. Copie o resultado do URL para o navegador.
      2. Extraia o ficheiro transferido e, em seguida, confirme que todos os pipelines foram exportados. Os pipelines estão organizados por espaço de nomes.

    • Faça cópias de segurança de pipelines através da gestão de controlo de origem (SCM), disponível na versão 6.9 e posteriores. O SCM oferece integração com o GitHub, que pode usar para fazer uma cópia de segurança de pipelines.

  3. Atualize os pipelines seguindo estes passos:

    1. Crie uma variável que aponte para o ficheiro pipeline_upgrade.json que vai criar no passo seguinte para guardar uma lista de pipelines.

      export PIPELINE_LIST=PATH/pipeline_upgrade.json

      Substitua PATH pelo caminho para o ficheiro.

    2. Crie uma lista de todos os pipelines para uma instância e um espaço de nomes através do seguinte comando. O resultado é armazenado no ficheiro $PIPELINE_LIST no formato JSON. Pode editar a lista para remover pipelines que não precisam de atualizações.

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST

      Substitua NAMESPACE_ID pelo espaço de nomes onde quer que a atualização ocorra.

    3. Atualize os pipelines indicados em pipeline_upgrade.json. Insira o número de tubagens a atualizar.NAMESPACE_ID O comando apresenta uma lista de pipelines atualizados com o respetivo estado de atualização.

      curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST

      Substitua NAMESPACE_ID pelo ID do espaço de nomes dos pipelines que estão a ser atualizados.

  4. Para evitar que os pipelines fiquem bloqueados quando os executa na nova versão, conceda as funções necessárias na instância atualizada.

Atualize pipelines em tempo real

A atualização de pipelines em tempo real não é suportada, exceto em pipelines criados na versão 6.8.0 com uma origem em tempo real do Kafka.

Para tudo o resto, em alternativa, faça o seguinte:

  1. Pare e exporte os pipelines.
  2. Atualize a instância.
  3. Importe os pipelines em tempo real para a instância atualizada.

Atualize para ativar a replicação

A replicação pode ser ativada em ambientes do Cloud Data Fusion na versão 6.3.0 ou posterior. Se tiver a versão 6.2.3, atualize para a versão 6.3.0 e, em seguida, atualize para a versão mais recente. Em seguida, pode ativar a replicação.

Conceda funções para instâncias atualizadas

Após a conclusão da atualização, conceda a função de executor do Cloud Data Fusion (roles/datafusion.runner) e a função de administrador do Cloud Storage (roles/storage.admin) à conta de serviço do Dataproc no seu projeto.

O que se segue?