Os agentes do Serviço de transferência do Cloud Storage são aplicativos executados em um contêiner da Open Container Initiative (OCI), que são coordenados com o Serviço de transferência do Cloud Storage para transferências envolvendo sistemas de arquivos ou armazenamento compatível com S3.
Por padrão, o Serviço de transferência do Cloud Storage usa o Docker para criar e executar contêineres OCI.
O Serviço de transferência do Cloud Storage também é compatível com o Podman para gerenciamento de contêineres. É necessário
instalar os agentes usando o comando podman run
para usar o Podman.
Se a transferência não envolver um sistema de arquivos ou armazenamento compatível com S3, não será necessário configurar agentes.
Este documento descreve como administrar agentes de transferência nos servidores.
Visão geral
Os processos do agente são dinâmicos. Enquanto você está executando uma transferência, é possível adicionar agentes para aumentar o desempenho. Agentes recém-iniciados entram no pool de agentes atribuídos e realizam o trabalho de transferências existentes. É possível usar isso para ajustar quantos agentes estão em execução ou adaptar o desempenho para alterar a demanda de transferência.
Os processos do agente são um coletivo tolerante a falhas. Se um agente parar de ser executado, os demais continuarão trabalhando. Se todos os agentes pararem, quando você adicionar novos agentes, a transferência será retomada de onde os agentes pararam. Isso permite evitar agentes de monitoramento, tentativas de novas transferências ou implementação da lógica de recuperação. É possível corrigir, mover e escalonar dinamicamente os pools de agentes sem inatividade de transferência coordenando agentes com o Kubernetes.
Por exemplo, você envia duas transferências enquanto dois agentes estão em execução. Se um dos agentes for interrompido devido a uma reinicialização da máquina ou a um patch do sistema operacional, o agente restante continuará funcionando. As duas transferências ainda estão em execução, porém, mais lentas, porque um único agente está movendo dados. Se o agente restante também for interrompido, todas as transferências deixarão de progredir, já que não há agentes em execução. Ao reiniciar os processos do agente, as transferências serão retomadas de onde pararam.
Os processos do agente pertencem a um pool. Coletivamente, eles movem os dados em paralelo. Por isso, todos os agentes em um pool precisam ter o mesmo acesso a todas as fontes de dados que você quer transferir.
Por exemplo, se você estiver transferindo dados de um sistema de arquivos específico, será necessário ativá-lo para cada máquina que hospeda agentes no conjunto de agentes. Se alguns agentes no seu pool atingirem uma fonte de dados e outros não, as transferências dessa fonte não serão bem-sucedidas.
Antes de começar
Antes de configurar as transferências, verifique se você configurou o acesso: para usuários e contas de serviço.
Para usar comandos gcloud, instale a CLI gcloud.
Instalar e executar agentes de transferência
Recomendamos instalar pelo menos três agentes por pool, de preferência em máquinas separadas. Para mais informações sobre como determinar quantos agentes precisam ser executados, consulte Como maximizar o desempenho do agente de transferência.
Para instalar e executar agentes de transferência:
Console do Google Cloud
No console do Google Cloud , acesse a página Pools de agentes.
Selecione o pool de agentes a que o novo agente será adicionado.
Clique em Instalar agente.
Siga as instruções exibidas para instalar e executar o agente.
Para mais informações sobre as opções de linha de comando do agente, consulte Opções de linha de comando do agente.
CLI gcloud
Para instalar um ou mais agentes usando a CLI gcloud, execute
gcloud transfer agents install:
gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES
A ferramenta mostrará as etapas necessárias para instalar os agentes. Esse comando instala o(s) agente(s) NUM_AGENTS na sua máquina, mapeado para o nome do pool especificado como POOL_NAME e autentica o agente usando as credenciais do gcloud. O nome do pool precisa existir ou um
erro é retornado.
A sinalização --mount-directories é opcional, mas altamente recomendada. O valor dela é uma lista de diretórios separados por vírgulas no sistema de arquivos aos quais o agente concede acesso.
A omissão dessa sinalização monta todo o sistema de arquivos no contêiner do agente. Consulte
a
referência gcloud
para mais detalhes.
Origens compatíveis com S3
Ao instalar agentes para usar com uma fonte compatível com S3,
forneça credenciais da AWS como variáveis de ambiente como os
valores de AWS_ACCESS_KEY_ID e AWS_SECRET_ACCESS_KEY ou armazenadas como
credenciais padrão em arquivos de configuração do seu sistema.
export AWS_ACCESS_KEY_ID=ID
export AWS_SECRET_ACCESS_KEY=SECRET
gcloud transfer agents install --pool=POOL_NAME \
--creds-file=/relative/path/to/service-account-key.json
Usar uma chave de conta de serviço
Para executar agentes usando uma
chave de conta de serviço, use
a opção --creds-file:
gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES \
--creds-file=relative/path/to/service-account-key.json
Mais informações
Para ver uma lista completa de sinalizações opcionais, execute
gcloud transfer agents install --help ou leia a
referência de gcloud transfer.
Docker
Antes de usar o Docker para instalar agentes, siga as instruções para instalar o Docker.
O comando docker run instala um agente. Para aumentar o número de agentes
no pool, execute novamente esse comando quantas vezes forem necessárias.
Ao instalar agentes, é possível autenticar usando suas credenciais padrão gcloud
ou com uma conta de serviço.
Credenciais padrão
Para permitir que o contêiner do Docker autentique com suas credenciais padrão do gcloud, execute o comando a seguir para criar um volume do Docker contendo um arquivo com suas credenciais padrão do aplicativo.
sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login
Em seguida, use o comando a seguir para instalar um agente, usando a sinalização --volumes-from para montar o volume de credenciais gcloud-config:
sudo docker run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Autenticação da conta de serviço
Para instalar e executar agentes de transferência com docker run usando as credenciais da conta de serviço, monte o arquivo de chave da conta de serviço formatado em JSON no contêiner com -v e transmita o caminho do arquivo dentro do contêiner para a sinalização --creds-file.
Consulte Criar e gerenciar chaves de conta de serviço para mais informações sobre chaves de conta de serviço.
sudo docker run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Opções e sinalizadores
Substitua as variáveis nos exemplos acima pelas seguintes informações:
HOST_DIRECTORYé o diretório na máquina host de onde você pretende copiar. É possível usar mais de uma sinalização-vpara especificar diretórios adicionais a serem copiados.CONTAINER_DIRECTORYé o diretório mapeado no contêiner do agente. Ele precisa ser igual aHOST_DIRECTORY.PROJECT_IDé o ID do projeto que hospeda a transferência.POOL_NAMEé o nome do pool de agentes em que o agente será instalado. Se você omitir essa sinalização, o agente será instalado no pooltransfer_service_defaultdo seu projeto.
O comando docker run é compatível com mais sinalizações.
--enable-mount-directoryinforma ao agente que todo o sistema de arquivos do host está montado em/transfer_rootno contêiner. Use-o apenas com-v /:/transfer_root. Em seguida, o agente adiciona/transfer_rootaos caminhos de origem, destino, registro e credencial. Não combine isso com montagens-v HOST_DIRECTORY:CONTAINER_DIRECTORYpor diretório.--creds-file=/etc/gcloud/key.jsonespecifica o caminho para o arquivo de credencial da conta de serviço no formato JSON no contêiner. Esse arquivo é montado pela flag-v PATH/TO/KEY.JSON:/etc/gcloud/key.json:rono comando.Os agentes não precisam de uma flag para transferências do armazenamento compatível com S3. O agente usa o modo compatível com S3 automaticamente quando o job de transferência exige isso. A flag
--enable-s3foi descontinuada e é ignorada.Se a transferência for de armazenamento compatível com S3 ou AWS S3, transmita o ID da chave de acesso e a chave secreta usando variáveis de ambiente:
sudo docker run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ -e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \ -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
--env HTTPS_PROXY=PROXYespecifica um proxy de encaminhamento na sua rede. O valor dePROXYé o URL HTTP e a porta do servidor proxy. Para evitar solicitações de encapsulamento duplo na criptografia TLS, especifique o URL HTTP e não um HTTPS. Essas solicitações impedem que o servidor proxy envie solicitações de saída válidas.--gcs-api-endpoint=storage.LOCATION.rep.googleapis.comespecifica um endpoint regional do Cloud Storage. Quando um endpoint regional do Cloud Storage é especificado, todo o tráfego de transferência de dados pelo agente permanece nessa região do Google Cloud . Consulte Endpoints regionais para mais detalhes.--agent-id-prefix=ID_PREFIXespecifica um prefixo opcional que é anexado ao ID do agente para ajudar a identificar o agente ou a máquina no console do Google Cloud . Quando um prefixo é usado, o ID do agente é formatado comoprefix + hostname + Docker container ID.--log-dir=LOGS_DIRECTORYmodifica o diretório no qual o agente grava registros. O diretório padrão é/tmp/.Monte esse diretório no contêiner (por exemplo,
-v /tmp:/tmp) para que os registros persistam no host. Se você usar--enable-mount-directory, especifique o caminho do host. O agente adiciona o prefixo/transfer_rootautomaticamente.--max-physical-mem=MAX_MEMORY: por padrão, os agentes usam um pool de buffer de 8 GiB. Se isso não se encaixar no seu ambiente, será possível especificar um uso máximo de memória relevante nos seguintes formatos:Valor de max-physical-memConfiguração máxima de memória 6g6 gibibytes 6gb6 gibibytes 6GiB6 gibibytes --network=DOCKER_NETWORK: especifique a rede do Docker para esse contêiner. Especificar--network=hostpode melhorar o desempenho reduzindo a sobrecarga da rede, mas permite que o contêiner tenha acesso total à rede do host.--kerberos-disable-pa-fx-fastimpede que os agentes usem a negociação FAST com o Kerberos para transferências do HDFS. Use essa flag se o centro de distribuição de chaves (KDC) do Kerberos não for compatível com a negociação FAST.
Podman
Antes de usar o Podman para instalar agentes, instale o Podman:
sudo apt-get update
sudo apt-get -y install podman
Ao instalar agentes, é possível autenticar usando suas credenciais padrão gcloud
ou com uma conta de serviço.
Credenciais padrão
Para permitir que o contêiner do agente autentique com suas credenciais padrão da Google Cloud CLI, execute o comando a seguir para criar um volume contendo um arquivo com suas credenciais padrão do aplicativo.
gcloud auth print-access-token | podman login -u oauth2accesstoken --password-stdin gcr.io sudo podman pull gcr.io/google.com/cloudsdktool/google-cloud-cli:stable sudo podman run -ti --replace --name gcloud-config gcr.io/google.com/cloudsdktool/google-cloud-cli:stable gcloud auth application-default login
Em seguida, use o comando a seguir para instalar um agente, usando a flag --volumes-from para montar o volume de credenciais gcloud-config.
O comando instala um agente. Para aumentar o número de agentes no pool, execute esse comando novamente quantas vezes forem necessárias.
sudo podman run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Autenticação da conta de serviço
Para instalar e executar agentes de transferência usando as credenciais da conta de serviço, disponibilize a chave da conta de serviço formatada em JSON no contêiner. Para fazer isso, siga estas etapas:
- Monte o local do host da chave em qualquer caminho no contêiner. Por
exemplo:
-v $HOME/.config/gcloud/credentials.json:/key.json:ro. Isso especifica que a chave está localizada na máquina host em$HOME/.config/gcloud/credentials.jsone precisa ser montada como/key.jsonno contêiner. Oroindica que o arquivo é disponibilizado como somente leitura para o contêiner. - Especifique o caminho do contêiner da chave como o valor de
--creds-file. No exemplo da etapa anterior, especifique--creds-file=/key.json.
Consulte Criar e gerenciar chaves de conta de serviço para mais informações sobre chaves de conta de serviço.
sudo podman run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Opções e sinalizadores
Substitua as variáveis nos exemplos acima pelas seguintes informações:
HOST_DIRECTORYé o diretório na máquina host de onde você pretende copiar. É possível usar mais de uma sinalização-vpara especificar diretórios adicionais a serem copiados.CONTAINER_DIRECTORYé o diretório mapeado no contêiner do agente. Ele precisa ser igual aHOST_DIRECTORY.PROJECT_IDé o ID do projeto que hospeda a transferência.POOL_NAMEé o nome do pool de agentes em que o agente será instalado. Se você omitir essa sinalização, o agente será instalado no pooltransfer_service_defaultdo seu projeto.
O comando podman run é compatível com mais sinalizações.
--enable-mount-directoryinforma ao agente que todo o sistema de arquivos do host está montado em/transfer_rootno contêiner. Use-o apenas com-v /:/transfer_root. Em seguida, o agente adiciona/transfer_rootaos caminhos de origem, destino, registro e credencial. Não combine isso com montagens-v HOST_DIRECTORY:CONTAINER_DIRECTORYpor diretório.--creds-file=/etc/gcloud/key.jsonespecifica o caminho para o arquivo de credencial da conta de serviço no formato JSON no contêiner. Esse arquivo é montado pela flag-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:rono comando.Os agentes não precisam de uma flag para transferências do armazenamento compatível com S3. O agente usa o modo compatível com S3 automaticamente quando o job de transferência exige isso. A flag
--enable-s3foi descontinuada e é ignorada.Se a transferência for de armazenamento compatível com S3 ou AWS S3, transmita o ID da chave de acesso e a chave secreta usando variáveis de ambiente:
-e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \ -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY ```--env HTTPS_PROXY=PROXYespecifica um proxy de encaminhamento na sua rede. O valor dePROXYé o URL HTTP e a porta do servidor proxy. Para evitar solicitações de encapsulamento duplo na criptografia TLS, especifique o URL HTTP e não um HTTPS. Essas solicitações impedem que o servidor proxy envie solicitações de saída válidas.--agent-id-prefix=ID_PREFIXespecifica um prefixo opcional que é anexado ao ID do agente para ajudar a identificar o agente ou a máquina no console do Google Cloud . Quando um prefixo é usado, o ID do agente é formatado comoprefix + hostname + OCI container ID.--log-dir=LOGS_DIRECTORYmodifica o diretório no qual o agente grava registros. O diretório padrão é/tmp/.Monte esse diretório no contêiner (por exemplo,
-v /tmp:/tmp) para que os registros persistam no host. Se você usar--enable-mount-directory, especifique o caminho do host. O agente adiciona o prefixo/transfer_rootautomaticamente.--max-physical-mem=MAX_MEMORY: por padrão, os agentes usam um pool de buffer de 8 GiB. Se isso não se encaixar no seu ambiente, será possível especificar um uso máximo de memória relevante nos seguintes formatos:Valor de max-physical-memConfiguração máxima de memória 6g6 gibibytes 6gb6 gibibytes 6GiB6 gibibytes --network=DOCKER_NETWORK: especifique a rede do Docker para esse contêiner. Especificar--network=hostpode melhorar o desempenho reduzindo a sobrecarga da rede, mas permite que o contêiner tenha acesso total à rede do host.--kerberos-disable-pa-fx-fastimpede que os agentes usem a negociação FAST com o Kerberos para transferências do HDFS. Use essa flag se o centro de distribuição de chaves (KDC) do Kerberos não for compatível com a negociação FAST.
Solução de problemas
Se a configuração do SELinux exigir que os rótulos sejam colocados no conteúdo do volume
montado em um contêiner, adicione a flag :Z ao volume:
sudo podman run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY:Z \
-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=/etc/gcloud/key.json \
--hostname=$(hostname) \
--agent-pool=POOL_NAME
Sem um rótulo, o sistema de segurança pode impedir que os processos em execução no contêiner usem o conteúdo. Por padrão, o Podman não altera os rótulos definidos pelo SO.
Confirmar as conexões do agente
Para confirmar se os agentes estão conectados:
No console do Google Cloud , acesse a página Pools de agentes.
Os pools de agentes são exibidos com o número de agentes conectados.
Selecione um pool de agentes para ver os detalhes dos agentes conectados.
Se um novo agente não aparecer na página do pool de agentes dentro de dez minutos da criação, consulte Os agentes não estão conectados.
Monitorar a atividade do agente
Use o Cloud Monitoring para monitorar a atividade do agente.
O Monitoring está disponível nas dimensões project, agent_pool e agent_id.
Usando esses dados de monitoramento, é possível configurar alertas para receber notificações sobre possíveis problemas na transferência. Para isso, crie um alerta em uma das seguintes métricas do Google Cloud :
| Nome da métrica | O que ela descreve | Sugestões de uso |
|---|---|---|
| storagetransfer.googleapis.com/agent/transferred_bytes_count | Mede a rapidez com que um agente específico está transferindo dados em todos os jobs que ele atende em um determinado momento. | Alerta para quedas no desempenho. |
| storagetransfer.googleapis.com/agent/connected | Um booleano que é True para cada agente que Google Cloud recebeu uma mensagem de heartbeat recente. |
|
Atualizações do agente
Para garantir que os agentes do Serviço de transferência do Cloud Storage tenham os recursos, patches de segurança e correções de bugs mais recentes, substitua periodicamente os contêineres de agentes antigos por novos.
A imagem mais recente do contêiner do agente está localizada no Artifact Registry na
tag latest:
gcr.io/cloud-ingest/tsop-agent.
Quando uma nova imagem estiver disponível, os agentes precisarão ser substituídos. Isso pode ser feito de forma contínua para que as transferências em andamento não sejam afetadas. É necessário extrair uma nova imagem do contêiner antes de iniciar o novo agente para evitar o uso de uma versão antiga em cache da máquina.
Comparar versões de contêineres
Para ver a versão de um contêiner em execução, recupere os primeiros 12 caracteres do resumo do manifesto:
sudo docker inspect --format='{{index .RepoDigests 0}}' $(sudo docker inspect --format='{{.Image}}' CONTAINER_ID) | sed 's/.*sha256://' | cut -c1-12
Compare esse resumo curto com a coluna Nome publicada no Artifact Registry.
Para ver o resumo mais recente na linha de comando, execute
docker pull gcr.io/cloud-ingest/tsop-agent:latest
para fazer o download da imagem mais recente e, em seguida, execute o seguinte comando para ver o resumo
curto:
docker inspect --format='{{index .RepoDigests 0}}' gcr.io/cloud-ingest/tsop-agent:latest | sed 's/.*sha256://' | cut -c1-12
Atualizar contêineres
Para fazer uma atualização gradual dos agentes:
CLI da gcloud
Em cada máquina, extraia a imagem de contêiner mais recente do Artifact Registry:
sudo docker pull gcr.io/cloud-ingest/tsop-agent:latestListe todos os agentes em execução nesta máquina:
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentInterrompa um agente:
sudo docker stop CONTAINER_IDInstale um novo agente:
gcloud transfer agents install --pool=POOL_NAME --count=1 \ --mount-directories=MOUNT_DIRECTORIES
Repita essas etapas até que todos os agentes tenham sido substituídos em todas as máquinas.
Docker
Em cada máquina, extraia a imagem de contêiner mais recente do Artifact Registry:
sudo docker pull gcr.io/cloud-ingest/tsop-agent:latestListe todos os agentes em execução nesta máquina:
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentInterrompa um agente:
sudo docker stop CONTAINER_IDInstale um novo agente:
sudo docker run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Repita essas etapas até que todos os agentes tenham sido substituídos em todas as máquinas.
Podman
Em cada máquina, extraia a imagem de contêiner mais recente do Artifact Registry:
sudo podman pull gcr.io/cloud-ingest/tsop-agent:latestListe todos os agentes em execução nesta máquina:
sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentInterrompa um agente:
sudo podman stop CONTAINER_IDInstale um novo agente:
sudo podman run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Repita essas etapas até que todos os agentes tenham sido substituídos em todas as máquinas.
Atualizações binárias do agente
Além das atualizações de contêiner, um script de atualização é executado dentro do contêiner que busca automaticamente o binário do agente mais recente. Esse script pesquisa atualizações binárias a cada 5 minutos enquanto o contêiner está em execução. As atualizações binárias são aplicadas automaticamente no local, sem exigir a reinicialização do contêiner.
Se você desativar as atualizações automáticas, talvez não seja possível depurar problemas de desempenho em versões mais antigas do agente. Nesses casos, geralmente exigimos que você atualize para uma versão recente antes de fornecer mais suporte.
Interromper um agente
Para interromper um agente, execute docker stop ou podman stop no ID do contêiner do agente.
Para encontrar o ID e interromper o agente, faça o seguinte:
No console do Google Cloud , acesse a página Pools de agentes.
Selecione o pool de agentes que contém o agente a ser interrompido.
Selecione um agente na lista. Use o campo Filtro para procurar prefixos, status do agente, idade do agente, entre outros.
Clique em Interromper agente. O comando
docker stopcom o ID do contêiner específico é exibido.Execute o comando na máquina em que o agente está sendo executado.
Um comando de parada bem-sucedido retorna o ID do contêiner.
Depois de interrompido, o agente é mostrado na lista de pools de agentes como Desconectado.
Reiniciar um agente
Não é possível reiniciar agentes interrompidos. Em vez disso, instale novos agentes no pool de agentes.
Excluir um agente
Para excluir agentes específicos, liste os que estão em execução na sua máquina.
Docker
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent
Podman
sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent
Em seguida, transmita os IDs do agente para gcloud transfer agents delete. Esse comando não
interrompe os agentes em si. Ele imprime o comando docker stop que você precisa
executar:
gcloud transfer agents delete --ids=id1,id2,...
Para imprimir os comandos que interrompem todos os agentes na máquina, use a flag --all.
Para também imprimir o comando que remove a imagem do contêiner do agente, use a
flag --uninstall. Execute os comandos mostrados para interromper os agentes:
gcloud transfer agents delete --all
gcloud transfer agents delete --uninstall
Detalhes da transferência do sistema de arquivos
Transferências incrementais
O Serviço de transferência do Cloud Storage começa todas as transferências calculando os dados presentes na origem e no destino para determinar quais arquivos de origem são novos, atualizados ou excluídos desde a última transferência. Fazemos isso para reduzir a quantidade de dados que enviamos de suas máquinas, para usar a largura de banda de forma eficaz e para reduzir o tempo de transferência.
Para detectar se um arquivo foi alterado, verificamos o horário da última modificação e o tamanho do arquivo de origem e os comparamos com o horário da última modificação e o tamanho registrado quando o arquivo foi copiado pela última vez. Quando detectamos um arquivo novo ou alterado, copiamos o arquivo inteiro para o destino. Para mais informações sobre a atualização de arquivos, consulte Detalhes da consistência de dados.
Por padrão, não agimos em arquivos excluídos na origem, apesar de detectá-los. Se você escolher a opção de sincronização Excluir arquivos de destino que não estão também na origem ao criar ou editar um job, a transferência vai excluir o objeto correspondente no destino.
Se você escolher a opção de sincronização Excluir arquivos de destino que também não estejam na origem, os arquivos excluídos acidentalmente na origem também serão excluídos no destino. Para evitar a perda de dados devido a exclusões acidentais, recomendamos que você ative o controle de versões de objetos no bucket de destino, se optar por usar essa opção. Em seguida, se você excluir um arquivo acidentalmente, poderá restaurar seus objetos no Cloud Storage para uma versão mais antiga.
Detalhes de consistência de dados
Uma operação de transferência bem-sucedida transfere todos os arquivos de origem que existiam e não foram modificados durante todo o tempo de execução da operação. Os arquivos de origem que foram criados, atualizados ou excluídos durante uma transferência podem ou não ter essas alterações refletidas no conjunto de dados de destino.
O Serviço de transferência do Cloud Storage usa o horário e o tamanho da última modificação de um arquivo para determinar se ele
foi modificado. Se isso tiver acontecido sem uma mudança no horário ou
no tamanho da última modificação e você ativar a opção delete-objects-from-source, os dados
da alteração podem ser perdidos.
Ao usar o recurso delete-objects-from-source, é recomendamos que
você congele as gravações na origem durante a transferência para evitar
a perda de dados.
Para fazer isso, siga um destes procedimentos:
- Clone o diretório que você quer transferir e use o diretório clonado como origem do processo.
- Interrompa os aplicativos que fazem gravações no diretório de origem.
Caso seja importante capturar as alterações que ocorreram durante uma transferência, execute-a novamente ou defina o sistema de arquivos de origem como somente leitura enquanto a operação estiver em execução.
Como o Cloud Storage não compreende a noção de diretórios, os diretórios de origem vazios não são transferidos.