Descarregue os dados

O Transfer Appliance suporta os seguintes métodos para copiar dados para o dispositivo:

• SCP ou SFTP para Microsoft Windows, Linux e macOS.
• Partilha NFS para Linux e macOS.
• Partilha SMB para Microsoft Windows e Linux.
• Montagem no dispositivo para NFS e CIFS.

Depois de copiar os dados para o Transfer Appliance, verifique se a transferência de dados para o contentor do Cloud Storage está concluída antes de eliminar os dados de origem.

Requisitos de nomenclatura e tamanho do ficheiro

Os ficheiros carregados para o dispositivo têm de estar em conformidade com os limites de tamanho dos ficheiros e as diretrizes de nomenclatura do Cloud Storage:

• Os limites de tamanho dos ficheiros estão documentados na página Quotas e limites do Cloud Storage.
• As diretrizes de nomenclatura de ficheiros estão documentadas na página Diretrizes de nomenclatura de objetos.

O Transfer Appliance não valida o tamanho nem os nomes dos ficheiros. Se o dispositivo contiver ficheiros que não cumprem estas regras quando for devolvido à Google, podemos não conseguir transferir esses ficheiros.

Use SCP ou SFTP para copiar dados

Para copiar dados para o dispositivo através de SCP ou SFTP, siga estes passos:

Microsoft Windows

1. Transfira um cliente SCP ou SFTP que suporte nomes de ficheiros UTF-8, como o WinSCP.

2. Usando a ferramenta SCP, ligue-se ao dispositivo com as seguintes definições:

   • Protocolo de ficheiros: SFTP
   • Nome do anfitrião: o endereço IP do dispositivo.
   • Número da porta: 22
   • Nome de utilizador: o nome de utilizador do dispositivo fornecido pela equipa do Transfer Appliance.
   • Palavra-passe: a palavra-passe do dispositivo fornecida pela equipa do Transfer Appliance.

   O diretório de destino no Transfer Appliance tem de ser /mnt/ta_data.

Linux

1. Execute o seguinte comando:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Substitua o seguinte:

   • PATH_TO_FILES: O caminho para os ficheiros que está a copiar.
   • USERNAME: o nome de utilizador do dispositivo fornecido pela equipa do Transfer Appliance.
   • IP_ADDRESS: O endereço IP do dispositivo.

2. Quando lhe for pedido, introduza a palavra-passe do dispositivo fornecida pela equipa do Transfer Appliance.

Apple macOS

1. Execute o seguinte comando:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Substitua o seguinte:

   • PATH_TO_FILES: O caminho para os ficheiros que está a copiar.
   • USERNAME: o nome de utilizador do dispositivo fornecido pela equipa do Transfer Appliance.
   • IP_ADDRESS: O endereço IP do dispositivo.

2. Quando lhe for pedido, introduza a palavra-passe do dispositivo fornecida pela equipa do Transfer Appliance.

Use a partilha NFS para copiar dados

Para copiar dados para o dispositivo através da partilha NFS, siga estes passos:

1. Para montar o Transfer Appliance, execute os seguintes comandos na origem de dados:

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      Substitua IP_ADDRESS pelo endereço IP do dispositivo.

   Apple macOS

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      Substitua IP_ADDRESS pelo endereço IP do dispositivo.

2. Para copiar dados para o dispositivo, use um utilitário de cópia à sua escolha.

   A cópia de dados é uma operação de longa duração. No Apple macOS ou Linux, recomendamos que use tmux ou screen para garantir que o processo de cópia sobrevive ao encerramento de sessão ou às desconexões de rede.

Guarde a sua chave SSH

Guarde a sua chave SSH para inícios de sessão mais rápidos no Transfer Appliance. Guardar a chave SSH também pode melhorar as velocidades de transferência.

1. Na estação de trabalho, gere um par de chaves com o seguinte comando:

   posix-terminal
   ssh-keygen -t rsa
   

2. Crie um ficheiro /tmp/ssh_key no dispositivo.

3. Copie o conteúdo do ficheiro de chave pública da sua estação de trabalho para /tmp/ssh_key no dispositivo. O ficheiro de chave pública encontra-se na seguinte localização na sua estação de trabalho:

   • Linux: ~/.ssh/id_rsa.pub
   • Windows: C:Users/USERNAME/.ssh

   Para autorizar várias chaves, adicione cada chave numa nova linha em /tmp/ssh_key.

4. Execute o seguinte comando no dispositivo. As chaves existentes são substituídas.

   ta copy_ssh_keys
   

5. Inicie sessão no dispositivo.

   • Se a chave privada estiver na localização predefinida na sua estação de trabalho, use o seguinte comando para iniciar sessão no dispositivo:

     ssh ta_customer@IP_ADDRESS
     

   • Se a chave privada não estiver na localização predefinida, use o seguinte comando para iniciar sessão no dispositivo:

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

Use o SMB para transferir dados

Para ativar a partilha de ficheiros SMB, siga os passos abaixo:

1. Configure o dispositivo para usar o SMB através da seguinte flag do protocolo de partilha de ficheiros:

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   O diretório ta_data é partilhado e o seguinte utilizador é criado:

   • Nome de utilizador: ta_customer
   • Palavra-passe: ta_customer

2. Com base no tipo de anfitrião, estabeleça ligação à partilha de ficheiros SMB:

   Microsoft Windows

   Gestor de ficheiros

   1. Abra o gestor de ficheiros e edite o caminho do ficheiro para \\IP_ADDRESS\ta_data.

   2. Introduza o nome de utilizador e a palavra-passe quando lhe for pedido.

   Linha de comandos

   1. Introduza o seguinte na linha de comandos do Windows: net use X: \\IP_ADDRESS\ta_data

   2. Introduza o nome de utilizador e a palavra-passe quando lhe for pedido.

   Linux

   Gestor de ficheiros

   1. Abra o gestor de ficheiros predefinido e clique em Ligar ao servidor.

   2. Introduza smb://IP_ADDRESS/ta_data.

   3. Introduza o nome de utilizador e a palavra-passe quando lhe for pedido.

   Linha de comandos

   1. Instale o cliente SMB: sudo apt-get install smbclient.

   2. Ligue-se à partilha de ficheiros SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME

      É apresentada uma mensagem smb:\>.

Use as suas próprias partilhas de ficheiros no dispositivo

O dispositivo usa um comando de montagem do Linux envolvido para montar partilhas no dispositivo:

1. Execute os seguintes comandos:

   NFS

   1. Atualize o ficheiro /etc/exports no dispositivo que aloja o servidor NFS concedendo acesso IP_ADDRESS ao servidor.

   2. Execute os seguintes comandos no dispositivo:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Substitua o seguinte:

      • IP_ADDRESS: O endereço IP do dispositivo.
      • MOUNT_POINT: o nome do ponto de montagem desta partilha.
      • NFS_SERVER_IP: o endereço IP do seu dispositivo que aloja o servidor NFS
      • NFS_DIRECTORY: o caminho para a partilha NFS.
      • OPTIONS: a lista de opções separada por vírgulas. Estas opções são as permitidas pelo comando de montagem do Linux.

   CIFS

   1. Execute os seguintes comandos no dispositivo:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Substitua o seguinte:

      • MOUNT_POINT: o nome do ponto de montagem desta partilha.
      • CIFS_SERVER_IP: o endereço IP do seu dispositivo que aloja o servidor CIFS.
      • CIFS_NAME: o nome da partilha CIFS.
      • OPTIONS: a lista de opções separadas por vírgulas, incluindo a palavra-passe e o nome de utilizador da partilha CIFS. Estas opções são as permitidas pelo comando de montagem do Linux.

   Salvo especificação em contrário nas opções de montagem, o ponto de montagem é remontado após o reinício até o remover com o comando "ta unmount".

2. Para desmontar todas as montagens no dispositivo, execute o seguinte:

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. Para copiar dados para o dispositivo, use um utilitário de cópia à sua escolha.

   RClone

   1. Para executar um comando de cópia com o RClone no dispositivo, execute o seguinte:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Substitua o seguinte:

      • MOUNT_POINT: o diretório que contém os dados a transferir.

   Extração de arquivo

   1. Para arquivar os dados em ficheiros TAR durante a transferência, execute o seguinte comando:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      Substitua o seguinte:

      • MOUNT_POINT: o diretório que contém os dados a transferir.
      • ARCHIVE_SIZE_BYTES: o tamanho alvo dos ficheiros TAR a serem gerados no destino. Predefinição de 1 GB, esperado entre 5 MB e 20 GB, inclusive.
      • THREAD_COUNT: o número de processos em execução em simultâneo que criam arquivos. Predefinição: 20. Espera-se que esteja entre 1 e 10 000, inclusive.

      A obtenção do arquivo é executada em segundo plano para que possa sair do terminal em segurança. A obtenção começa com uma fase de listagem dos dados antes de a transferência poder começar.

   2. É devolvido um ID quando inicia uma obtenção. Pode usar este valor para interagir com a obtenção:

      Para verificar o estado de uma obtenção, execute o seguinte:

      ta pull --id=ID --status

      Para pausar uma obtenção, execute o seguinte:

      ta pull --id=ID --pause

      Para retomar uma obtenção pausada ou interrompida, execute o seguinte:

      ta pull --id=ID --resume

      Substitua o seguinte:

      • ID: o ID de obtenção.

   3. Quando a obtenção estiver concluída, pode encontrar os ficheiros TAR no diretório /mnt/ta_data/TA_ARCHIVE_ID/. É gerado um ficheiro de manifesto e guardado em /mnt/ta_data/manifest_ID.tsv. Este ficheiro contém informações dos ficheiros transferidos, detalhando os ficheiros que o ficheiro TAR.GZ contém. Da mesma forma, é guardado um ficheiro de manifesto de erros em /mnt/ta_data/manifest_ID_ERROR.tsv com detalhes sobre os erros encontrados durante a obtenção.

   Recomendamos que execute um comando pull de cada vez.

   Nota: a extração não foi concebida para processar conjuntos de dados com diretórios que contenham mais de 50 000 subdiretórios. Para evitar tempos de espera prolongados, considere usar outros métodos de cópia.

   Os testes de velocidade foram realizados num conjunto de dados de 100 GB num TA7 (agora descontinuado). Estes valores são fornecidos para ajudar a escolher entre as duas utilidades de cópia disponíveis. As velocidades de transferência podem variar consoante o tipo de dispositivo e a conetividade de rede.

   Método	Tamanho do ficheiro	Archive Size Bytes (Archive Pull Only)	Taxa (NFS)	Taxa (SMB)
   RClone	100 MB	N/A	600 MB/s	620 MB/s
   Extração de arquivo	100 MB	10 GB	750 MB/s	850 MB/s
   RClone	1 MB	N/A	280 MB/s	270 MB/s
   Extração de arquivo	1 MB	500 MB	630 MB/s	380 MB/s
   RClone	100 KB	N/A	150 MB/s	150 MB/s
   Extração de arquivo	100 KB	5 MB	270 MB/s	90 MB/s

Referências de transferência de dados

Estas velocidades de transferência de dados representam o desempenho máximo de gravação do Transfer Appliance quando usa ferramentas de cópia padrão. Para isolar o desempenho de escrita e eliminar potenciais gargalos de leitura da origem de dados, os dados foram gerados diretamente na partilha NFS montada do dispositivo. O dispositivo (TA40) foi ligado à origem de dados com uma porta de 10 Gb e as velocidades foram medidas para os seguintes tamanhos de ficheiros:

• Ficheiros de 10 GB, 1 GB e 100 MB (conjunto de dados de 5 TB)
• Ficheiros de 10 MB e 1 MB (conjunto de dados de 1 TB)

Tamanho do ficheiro	Velocidade de cópia média(NFS)	Tempo estimado para a transferência de 40 TB	Tempo estimado para a transferência de 300 TB
10 GB	560 MBps	21 horas	6 dias e 12 horas
1 GB	400 MBps	1 dia e 5 horas	9 dias
100 MB	300 MBps	1 dia e 15 horas	12 dias
10 MB	130 MBps	3 dias e 18 horas	28 dias
1 MB	30 MBps	16 dias	120 dias