Transferir dados

O Transfer Appliance é compatível com os seguintes métodos para copiar dados para o dispositivo:

• SCP ou SFTP para Microsoft Windows, Linux e macOS.
• Compartilhamento NFS para Linux e macOS.
• Compartilhamento SMB para Microsoft Windows e Linux.
• Montar no dispositivo para NFS e CIFS.

Depois de copiar os dados para o Transfer Appliance, verifique se a transferência de dados para o bucket do Cloud Storage foi concluída antes de excluir os dados de origem.

Requisitos de tamanho e nomenclatura de arquivos

Os arquivos enviados ao appliance precisam obedecer aos limites de tamanho e às diretrizes de nomenclatura do Cloud Storage:

• Os limites de tamanho de arquivo estão documentados na página Cotas e limites do Cloud Storage.
• As diretrizes de nome de arquivo estão documentadas na página Diretrizes de nomenclatura de objetos.

O Transfer Appliance não valida o tamanho nem os nomes dos arquivos. Se o aparelho contiver arquivos que não obedecem a essas regras quando for enviado de volta ao Google, talvez não seja possível transferir esses arquivos.

Usar SCP ou SFTP para copiar dados

Para copiar dados no dispositivo usando SCP ou SFTP, siga estas etapas:

Dispositivo Microsoft Windows

1. Faça o download de um cliente SCP ou SFTP compatível com nomes de arquivo UTF-8, como WinSCP.

2. Usando a ferramenta SCP, conecte-se ao dispositivo usando as seguintes configurações:

   • Protocolo de arquivo: SFTP
   • Nome do host: o endereço IP do dispositivo.
   • Número da porta: 22
   • Nome de usuário: o nome de usuário do dispositivo fornecido pela equipe do Transfer Appliance.
   • Senha: a senha do dispositivo fornecida pela equipe do Transfer Appliance.

   O diretório de destino no Transfer Appliance precisa ser /mnt/ta_data.

Linux

1. Execute este comando:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Substitua:

   • PATH_TO_FILES: o caminho para os arquivos que você está copiando.
   • USERNAME: o nome de usuário do dispositivo fornecido pela equipe do Transfer Appliance.
   • IP_ADDRESS: o endereço IP do dispositivo

2. Quando solicitado, digite a senha do dispositivo fornecida pela equipe do Transfer Appliance.

Apple macOS

1. Execute este comando:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Substitua:

   • PATH_TO_FILES: o caminho para os arquivos que você está copiando.
   • USERNAME: o nome de usuário do dispositivo fornecido pela equipe do Transfer Appliance.
   • IP_ADDRESS: o endereço IP do dispositivo

2. Quando solicitado, digite a senha do dispositivo fornecida pela equipe do Transfer Appliance.

Usar o compartilhamento NFS para copiar dados

Para copiar dados no dispositivo usando o compartilhamento de NFS, siga estas etapas:

1. Para montar o Transfer Appliance, execute os seguintes comandos na fonte de dados:

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      Substitua IP_ADDRESS pelo endereço IP do dispositivo.

   Apple macOS

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      Substitua IP_ADDRESS pelo endereço IP do dispositivo.

2. Para copiar dados no dispositivo, use um utilitário de cópia de sua escolha.

   A cópia de dados é uma operação de longa duração. No Apple macOS ou Linux, recomendamos usar tmux ou screen para garantir que o processo de cópia sobreviva ao logout ou às desconexões da rede.

Salvar sua chave SSH

Salve sua chave SSH para fazer login mais rápido no Transfer Appliance. Salvar a chave SSH também pode melhorar as velocidades de transferência.

1. Na estação de trabalho, gere um par de chaves usando o seguinte comando:

   posix-terminal
   ssh-keygen -t rsa
   

2. Crie um arquivo /tmp/ssh_key no dispositivo.

3. Copie o conteúdo do arquivo de chave pública da estação de trabalho para /tmp/ssh_key no dispositivo. O arquivo de chave pública está no seguinte local da estação de trabalho:

   • Linux: ~/.ssh/id_rsa.pub
   • Windows: C:Users/USERNAME/.ssh

   Para autorizar várias chaves, adicione cada uma em uma nova linha em /tmp/ssh_key.

4. Execute o seguinte comando no dispositivo. Todas as chaves atuais são substituídas.

   ta copy_ssh_keys
   

5. Faça login no dispositivo.

   • Se a chave privada estiver no local padrão da sua estação de trabalho, use o comando a seguir para fazer login no appliance:

     ssh ta_customer@IP_ADDRESS
     

   • Se a chave privada não estiver no local padrão, use o seguinte comando para fazer login no appliance:

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

Usar o SMB para transferir dados

Para ativar o compartilhamento de arquivos SMB, siga as etapas abaixo:

1. Configure o dispositivo para usar SMB com a seguinte flag de protocolo de compartilhamento de arquivos:

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   O diretório ta_data é compartilhado, e o seguinte usuário é criado:

   • Nome de usuário: ta_customer
   • Senha: ta_customer

2. Com base no tipo de host, conecte-se ao compartilhamento de arquivos SMB:

   Microsoft Windows

   Gerenciador de arquivos

   1. Abra o gerenciador de arquivos e edite o caminho do arquivo para \\IP_ADDRESS\ta_data.

   2. Digite seu nome de usuário e senha quando solicitado.

   Linha de comando

   1. Digite o seguinte no prompt de comando do Windows: net use X: \\IP_ADDRESS\ta_data

   2. Digite seu nome de usuário e senha quando solicitado.

   Linux

   Gerenciador de arquivos

   1. Abra o gerenciador de arquivos padrão e clique em Conectar ao servidor.

   2. Digite smb://IP_ADDRESS/ta_data.

   3. Digite seu nome de usuário e senha quando solicitado.

   Linha de comando

   1. Instale o cliente SMB: sudo apt-get install smbclient.

   2. Conecte-se ao compartilhamento de arquivos SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME

      Uma solicitação smb:\> vai aparecer.

Usar seus próprios compartilhamentos de arquivos no dispositivo

O dispositivo usa um comando de ativação do Linux encapsulado para ativar compartilhamentos nele:

1. Execute os comandos a seguir:

   NFS

   1. Atualize o arquivo /etc/exports no dispositivo que hospeda o servidor NFS, concedendo acesso IP_ADDRESS ao servidor.

   2. Execute os seguintes comandos no dispositivo:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Substitua:

      • IP_ADDRESS: o endereço IP do dispositivo.
      • MOUNT_POINT: o nome do ponto de montagem para este compartilhamento.
      • NFS_SERVER_IP: o endereço IP do dispositivo que hospeda o servidor NFS
      • NFS_DIRECTORY: o caminho para seu compartilhamento NFS.
      • OPTIONS: a lista de opções separadas por vírgulas. Essas opções são as permitidas pelo comando "mount" do Linux.

   CIFS

   1. Execute os seguintes comandos no dispositivo:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Substitua:

      • MOUNT_POINT: o nome do ponto de montagem para este compartilhamento.
      • CIFS_SERVER_IP: o endereço IP do dispositivo que hospeda o servidor CIFS.
      • CIFS_NAME: o nome do compartilhamento CIFS.
      • OPTIONS: a lista de opções separada por vírgulas, incluindo a senha e o nome de usuário do compartilhamento CIFS. Essas opções são as permitidas pelo comando mount do Linux.

   A menos que especificado de outra forma nas opções de montagem, o ponto de montagem será remontado na reinicialização até que você o remova com o comando "ta unmount".

2. Para desmontar qualquer montagem no dispositivo, execute o seguinte:

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. Para copiar dados no dispositivo, use um utilitário de cópia de sua escolha.

   RClone

   1. Para executar um comando de cópia com o RClone no dispositivo, faça o seguinte:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Substitua:

      • MOUNT_POINT: o diretório que contém os dados a serem transferidos.

   Extração de arquivo

   1. Para arquivar seus dados em arquivos tar durante a transferência, execute o seguinte:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      Substitua:

      • MOUNT_POINT: o diretório que contém os dados a serem transferidos.
      • ARCHIVE_SIZE_BYTES: o tamanho de destino dos arquivos tar a serem gerados no destino. O padrão é 1 GB, mas o esperado é entre 5 MB e 20 GB, inclusive.
      • THREAD_COUNT: o número de linhas de execução em execução simultânea criando arquivos. O padrão é 20, mas o esperado é entre 1 e 10.000, inclusive.

      O comando "archive pull" é executado em segundo plano para que você possa sair do terminal com segurança. O pull começa com uma fase de listagem dos dados antes que a transferência possa começar.

   2. Um ID é retornado quando você inicia um pull. Esse valor pode ser usado para interagir com o pull:

      Para verificar o status de um pull, execute o seguinte:

      ta pull --id=ID --status

      Para pausar um pull, execute o seguinte:

      ta pull --id=ID --pause

      Para retomar um pull pausado ou interrompido, execute o seguinte:

      ta pull --id=ID --resume

      Substitua:

      • ID: o ID do pull.

   3. Quando o pull for concluído, os tarballs vão estar no diretório /mnt/ta_data/TA_ARCHIVE_ID/. Um arquivo de manifesto será gerado e salvo em /mnt/ta_data/manifest_ID.tsv. Esse arquivo vai conter informações sobre os arquivos transferidos, detalhando quais arquivos estão em cada arquivo tarball. Um arquivo de manifesto de erro também será salvo em /mnt/ta_data/manifest_ID_ERROR.tsv com detalhes sobre os erros encontrados durante o pull.

   Recomendamos executar um comando de extração por vez.

   Observação:o comando "pull" não foi projetado para processar conjuntos de dados com diretórios que contêm mais de 50.000 subdiretórios. Para evitar longas esperas, use outros métodos de cópia.

   Os testes de velocidade foram realizados em um conjunto de dados de 100 GB em um TA7 (agora descontinuado). Esses valores são fornecidos para ajudar na escolha entre os dois utilitários de cópia disponíveis. As velocidades de transferência podem variar dependendo do tipo de eletrodoméstico e da conectividade de rede.

   Método	Tamanho do arquivo	Archive Size Bytes (somente extração de arquivo)	Taxa (NFS)	Taxa (PME)
   RClone	100 MB	N/A	600 MB/s	620 MB/s
   Extração de arquivo	100 MB	10 GB	750 MB/s	850 MB/s
   RClone	1 MB	N/A	280 MB/s	270 MB/s
   Extração de arquivo	1 MB	500 MB	630 MB/s	380 MB/s
   RClone	100 KB	N/A	150 MB/s	150 MB/s
   Extração de arquivo	100 KB	5 MB	270 MB/s	90 MB/s

Comparativos de mercado de transferência de dados

Essas velocidades de transferência de dados representam o desempenho máximo de gravação do Transfer Appliance ao usar ferramentas de cópia padrão. Para isolar o desempenho de gravação e eliminar possíveis gargalos de leitura da fonte de dados, os dados foram gerados diretamente no compartilhamento NFS montado do appliance. O dispositivo (TA40) foi conectado à fonte de dados com uma porta de 10 Gb, e as velocidades foram medidas para os seguintes tamanhos de arquivo:

• Arquivos de 10 GB, 1 GB e 100 MB (conjunto de dados de 5 TB)
• Arquivos de 10 MB e 1 MB (conjunto de dados de 1 TB)

Tamanho do arquivo	Velocidade média de cópia(NFS)	Tempo estimado para transferência de 40 TB	Tempo estimado para transferência de 300 TB
10 GB	560 MBps	21 horas	6 dias e 12 horas
1 GB	400 MBps	1 dia e 5 horas	9 dias
100 MB	300 MBps	1 dia e 15 horas	12 dias
10 MB	130 MBps	3 dias e 18 horas	28 dias
1 MB	30 MBps	16 dias	120 dias