Executar uma tradução em lote usando o conector do Cloud Translation

Neste tutorial, mostramos como criar um fluxo de trabalho que usa o conector da API Cloud Translation para traduzir arquivos para outros idiomas no modo em lote assíncrono. Isso fornece saída em tempo real à medida que as entradas estão sendo processadas.

Objetivos

Neste tutorial, você aprenderá a:

1. criar um bucket do Cloud Storage de entrada;
2. criar dois arquivos em inglês e fazer upload deles no bucket de entrada;
3. criar um fluxo de trabalho que use o conector da API Cloud Translation para traduzir os dois arquivos para francês e espanhol e salvar os resultados em um bucket de saída;
4. implantar e executar o fluxo de trabalho para orquestrar todo o processo.

Custos

Neste documento, você vai usar os seguintes componentes faturáveis do Google Cloud:

• Cloud Storage
• Translation
• Workflows

Para gerar uma estimativa de custo baseada na projeção de uso, use a calculadora de preços.

Novos usuários do Google Cloud podem estar qualificados para um teste sem custo financeiro.

Antes de começar

As restrições de segurança definidas pela sua organização podem impedir que você conclua as etapas a seguir. Para informações sobre solução de problemas, consulte Desenvolver aplicativos em um ambiente restrito Google Cloud de.

Faça login na sua Google Cloud conta do. Se você é novo no Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em cenários reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

Instale a Google Cloud CLI.

Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.

Para inicializar a CLI gcloud, execute o seguinte comando:

gcloud init

Crie ou selecione um Google Cloud projeto.

Funções necessárias para selecionar ou criar um projeto

• Selecionar um projeto: a seleção de um projeto não exige um papel específico do IAM. Você pode selecionar qualquer projeto em que tenha recebido um papel.
• Criar um projeto: para criar um projeto, você precisa do papel de criador de projetos (roles/resourcemanager.projectCreator), que contém a resourcemanager.projects.create permissão. Saiba como conceder papéis.

Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

• Crie um Google Cloud projeto do:

  gcloud projects create PROJECT_ID

  Substitua PROJECT_ID por um nome para o Google Cloud projeto que você está criando.

• Selecione o Google Cloud projeto que você criou:

  gcloud config set project PROJECT_ID

  Substitua PROJECT_ID pelo nome do Google Cloud projeto do.

Verifique se o faturamento está ativado para o Google Cloud projeto.

Ative as APIs Cloud Storage, Translation e Workflows:

Funções necessárias para ativar APIs

Para ativar as APIs, é necessário ter a permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, você pode receber essa permissão pelo papel de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

gcloud services enable storage.googleapis.com translate.googleapis.com workflows.googleapis.com

Instale a Google Cloud CLI.

Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.

Para inicializar a CLI gcloud, execute o seguinte comando:

gcloud init

Crie ou selecione um Google Cloud projeto.

Funções necessárias para selecionar ou criar um projeto

• Selecionar um projeto: a seleção de um projeto não exige um papel específico do IAM. Você pode selecionar qualquer projeto em que tenha recebido um papel.
• Criar um projeto: para criar um projeto, você precisa do papel de criador de projetos (roles/resourcemanager.projectCreator), que contém a resourcemanager.projects.create permissão. Saiba como conceder papéis.

Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

• Crie um Google Cloud projeto do:

  gcloud projects create PROJECT_ID

  Substitua PROJECT_ID por um nome para o Google Cloud projeto que você está criando.

• Selecione o Google Cloud projeto que você criou:

  gcloud config set project PROJECT_ID

  Substitua PROJECT_ID pelo nome do Google Cloud projeto do.

Verifique se o faturamento está ativado para o Google Cloud projeto.

Ative as APIs Cloud Storage, Translation e Workflows:

Funções necessárias para ativar APIs

Para ativar as APIs, é necessário ter a permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, você pode receber essa permissão pelo papel de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

gcloud services enable storage.googleapis.com translate.googleapis.com workflows.googleapis.com

1. Atualize os componentes da gcloud:

   gcloud components update

2. Faça login usando sua conta:

   gcloud auth login

3. Defina o local padrão usado neste tutorial:

   gcloud config set workflows/location us-central1

   Como este tutorial usa o modelo padrão do AutoML Translation, que reside em us-central1, você precisa definir o local como us-central1.

   Se você usar um modelo ou glossário do AutoML Translation diferente do padrão, verifique se ele reside no mesmo local da chamada para o conector. Caso contrário, um INVALID_ARGUMENT (400) erro será retornado. Para mais detalhes, consulte o método batchTranslateText.

Criar um bucket do Cloud Storage de entrada e os arquivos

Use o Cloud Storage para armazenar objetos. Objetos são partes imutáveis de dados que consistem em um arquivo de qualquer formato e são armazenados em contêineres chamados buckets.

1. Crie um bucket do Cloud Storage para armazenar os arquivos que serão traduzidos:

   BUCKET_INPUT=${GOOGLE_CLOUD_PROJECT}-input-files
   gcloud storage buckets create gs://${BUCKET_INPUT}

2. Crie dois arquivos em inglês e faça upload deles para o bucket de entrada:

   echo "Hello World!" > file1.txt
   gcloud storage cp file1.txt gs://${BUCKET_INPUT}
   echo "Workflows connectors simplify calling services." > file2.txt
   gcloud storage cp file2.txt gs://${BUCKET_INPUT}

Implantar e executar o fluxo de trabalho

Um fluxo de trabalho é composto por uma série de etapas descritas usando a sintaxe dos fluxos de trabalho, que pode ser escrita em formato YAML ou JSON. Essa é a definição do fluxo de trabalho. Depois de criar um fluxo de trabalho, implante-o para que ele fique disponível para execução.

1. Crie um arquivo de texto com o nome de arquivo workflow.yaml com o seguinte conteúdo:

   main:
     steps:
     - init:
         assign:
         - projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
         - location: ${sys.get_env("GOOGLE_CLOUD_LOCATION")}
         - inputBucketName: ${projectId + "-input-files"}
         - outputBucketName: ${projectId + "-output-files-" + string(int(sys.now()))}
     - createOutputBucket:
           call: googleapis.storage.v1.buckets.insert
           args:
             project: ${projectId}
             body:
               name: ${outputBucketName}
     - batchTranslateText:
         call: googleapis.translate.v3beta1.projects.locations.batchTranslateText
         args:
             parent: ${"projects/" + projectId + "/locations/" + location}
             body:
                 inputConfigs:
                   gcsSource:
                     inputUri: ${"gs://" + inputBucketName + "/*"}
                 outputConfig:
                     gcsDestination:
                       outputUriPrefix: ${"gs://" + outputBucketName + "/"}
                 sourceLanguageCode: "en"
                 targetLanguageCodes: ["es", "fr"]
         result: batchTranslateTextResult

   O fluxo de trabalho atribui variáveis, cria um bucket de saída e inicia a tradução dos arquivos, salvando os resultados no bucket de saída.

2. Depois de criar o fluxo de trabalho, implante-o:

   gcloud workflows deploy batch-translation --source=workflow.yaml

3. Execute o fluxo de trabalho:

   gcloud workflows execute batch-translation

4. Para ver o status do fluxo de trabalho, execute o comando retornado. Exemplo:

   gcloud workflows executions describe eb4a6239-cffa-4672-81d8-d4caef7d8424 /
     --workflow batch-translation /
     --location us-central1

   O fluxo de trabalho precisa ser ACTIVE. Após alguns minutos, os arquivos traduzidos (em francês e espanhol) serão enviados ao bucket de saída.

Listar objetos no bucket de saída

É possível confirmar se o fluxo de trabalho funcionou conforme esperado listando os objetos no bucket de saída.

1. Recupere o nome do bucket de saída:

   gcloud storage ls

   A saída será assim:

   gs://PROJECT_ID-input-files/
   gs://PROJECT_ID-output-files-TIMESTAMP/

2. Liste os objetos no bucket de saída.

   gcloud storage ls gs://PROJECT_ID-output-files-TIMESTAMP/** --recursive

   Após alguns minutos, os arquivos traduzidos em francês e espanhol (dois de cada) serão listados.

Limpar

Se você criou um novo projeto para este tutorial, exclua o projeto. Se você usou um projeto atual e quer mantê-lo sem as alterações incluídas neste tutorial, exclua os recursos criados para o tutorial.

Exclua o projeto

O jeito mais fácil de evitar cobranças é excluindo o projeto que você criou para o tutorial.

Para excluir o projeto:

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos nele.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um ID do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar várias arquiteturas, tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda limites da cota.

1. No Google Cloud console, acesse a página Gerenciar recursos.

   Acessar "Gerenciar recursos"

2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir.
3. Na caixa de diálogo, digite o ID do projeto e clique em Desligar para excluir o projeto.

Excluir recursos do tutorial

1. Remova as configurações padrão da gcloud que você adicionou durante a configuração do tutorial:

   gcloud config unset workflows/location

2. Exclua o fluxo de trabalho criado neste tutorial:

   gcloud workflows delete WORKFLOW_NAME

3. Exclua um bucket e os objetos criados neste tutorial:

   gcloud storage rm gs://BUCKET_NAME --recursive

   Em que BUCKET_NAME é o nome do bucket a ser excluído. Por exemplo, my-bucket.

   A resposta é semelhante a:

   Removing gs://my-bucket/...

   Observação: se você precisar excluir um grande número de objetos nos buckets, evite usar a CLI gcloud, porque a operação leva muito tempo para ser concluída. Em vez disso, use o Google Cloud console ou Gerenciamento do ciclo de vida de objetos.

A seguir

• Para saber mais sobre fluxos de trabalho, consulte Noções básicas sobre Workflows.
• Para saber mais sobre a sintaxe do Workflows, consulte a referência de sintaxe do Workflows.
• Para saber mais sobre os conectores do Workflows, consulte Noções básicas sobre conectores.