Transfer Appliance admite los siguientes métodos para copiar datos en el dispositivo:
- SCP o SFTP para Microsoft Windows, Linux y macOS
- Recurso compartido de NFS para Linux y macOS.
- Uso compartido de SMB para Microsoft Windows y Linux.
- Mount on the Appliance para NFS y CIFS
Después de copiar los datos en Transfer Appliance, verifica que la transferencia de datos al bucket de Cloud Storage se haya completado antes de borrar los datos de origen.
Requisitos de tamaño y nombre de los archivos
Los archivos que se suban al dispositivo deben cumplir con los límites de tamaño y los lineamientos de nomenclatura de Cloud Storage:
- Los límites de tamaño de archivo se documentan en la página Cuotas y límites de Cloud Storage.
- Los lineamientos para los nombres de archivos se documentan en la página Lineamientos para asignar nombres a objetos.
Transfer Appliance no valida el tamaño ni los nombres de los archivos. Si el dispositivo contiene archivos que no cumplen con estas reglas cuando se devuelve a Google, es posible que no podamos transferir esos archivos.
Usa SCP o SFTP para copiar datos
Para copiar datos al dispositivo con SCP o SFTP, sigue estos pasos:
Microsoft Windows
Descarga un cliente SCP o SFTP que admita nombres de archivos UTF-8, como WinSCP.
Con la herramienta SCP, conéctate al dispositivo con los siguientes parámetros de configuración:
- Protocolo de archivo: SFTP
- Nombre de host: Es la dirección IP del dispositivo.
- Número de puerto: 22
- Nombre de usuario: Es el nombre de usuario del dispositivo proporcionado por el equipo de Transfer Appliance.
- Contraseña: Es la contraseña del dispositivo que proporciona el equipo de Transfer Appliance.
El directorio de destino en Transfer Appliance debe ser
/mnt/ta_data
.
Linux
Ejecuta el siguiente comando:
scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
Reemplaza lo siguiente:
PATH_TO_FILES
: Es la ruta de acceso a los archivos que copias.USERNAME
: Es el nombre de usuario del dispositivo proporcionado por el equipo de Transfer Appliance.IP_ADDRESS
: Es la dirección IP del dispositivo.
Cuando se te solicite, ingresa la contraseña del dispositivo que te proporcionó el equipo de Transfer Appliance.
Apple macOS
Ejecuta el siguiente comando:
scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
Reemplaza lo siguiente:
PATH_TO_FILES
: Es la ruta de acceso a los archivos que copias.USERNAME
: Es el nombre de usuario del dispositivo proporcionado por el equipo de Transfer Appliance.IP_ADDRESS
: Es la dirección IP del dispositivo.
Cuando se te solicite, ingresa la contraseña del dispositivo que te proporcionó el equipo de Transfer Appliance.
Usa el recurso compartido de NFS para copiar datos
Para copiar datos al dispositivo con el recurso compartido de NFS, sigue estos pasos:
Para activar Transfer Appliance, ejecuta los siguientes comandos en tu fuente de datos:
Linux
sudo mkdir /mnt/data
sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
Reemplaza
IP_ADDRESS
por la dirección IP del dispositivo.
Apple macOS
cd ~
mkdir ta_data
sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
Reemplaza
IP_ADDRESS
por la dirección IP del dispositivo.
Para copiar datos en el dispositivo, usa la utilidad de copia que prefieras.
La copia de datos es una operación de larga duración. En Apple macOS o Linux, recomendamos usar
tmux
oscreen
para garantizar que el proceso de copia sobreviva a los cierres de sesión o a las desconexiones de red.
Guarda tu clave SSH
Guarda tu clave SSH para acceder más rápido a Transfer Appliance. Guardar tu clave SSH también puede mejorar las velocidades de transferencia.
En tu estación de trabajo, genera un par de claves con el siguiente comando:
posix-terminal ssh-keygen -t rsa
Crea un archivo
/tmp/ssh_key
en el dispositivo.Copia el contenido del archivo de clave pública de tu estación de trabajo en
/tmp/ssh_key
en el dispositivo. El archivo de clave pública se encuentra en la siguiente ubicación de tu estación de trabajo:- Linux:
~/.ssh/id_rsa.pub
- Windows:
C:Users/
USERNAME
/.ssh
Para autorizar varias claves, agrega cada una en una línea nueva en
/tmp/ssh_key
.- Linux:
Ejecuta el siguiente comando en el dispositivo. Se sobrescribirán las claves existentes.
ta copy_ssh_keys
Accede al dispositivo.
Si la clave privada se encuentra en la ubicación predeterminada de tu estación de trabajo, usa el siguiente comando para acceder al dispositivo:
ssh ta_customer@IP_ADDRESS
Si la clave privada no está en la ubicación predeterminada, usa el siguiente comando para acceder al dispositivo:
ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
Cómo usar SMB para transferir datos
Para habilitar el sistema de archivos compartidos SMB, sigue estos pasos:
Configura el dispositivo para que use SMB con la siguiente marca de protocolo de uso compartido de archivos:
ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
El directorio
ta_data
se comparte y se crea el siguiente usuario:- Nombre de usuario:
ta_customer
- Contraseña:
ta_customer
- Nombre de usuario:
Según el tipo de host, conéctate al sistema de archivos compartidos SMB:
Microsoft Windows
Administrador de archivos
Abre el administrador de archivos y edita la ruta de acceso al archivo
\\IP_ADDRESS\ta_data
.Ingresa tu nombre de usuario y contraseña cuando se te solicite.
Línea de comandos
Ingresa lo siguiente en el símbolo del sistema de Windows:
net use X: \\IP_ADDRESS\ta_data
Ingresa tu nombre de usuario y contraseña cuando se te solicite.
Linux
Administrador de archivos
Abre el administrador de archivos predeterminado y haz clic en Conectar con el servidor.
Ingresa
smb://IP_ADDRESS/ta_data
.Ingresa tu nombre de usuario y contraseña cuando se te solicite.
Línea de comandos
Instala el cliente de SMB:
sudo apt-get install smbclient
.Conéctate al sistema de archivos compartidos SMB:
smbclient //IP_ADDRESS/ta_data -U USERNAME
Aparecerá un mensaje de
smb:\>
.
Usa tus propios recursos compartidos de archivos en el dispositivo
El dispositivo utiliza un comando de activación de Linux encapsulado para activar recursos compartidos en el dispositivo:
Ejecuta los siguientes comandos:
NFS
Actualiza el archivo /etc/exports en el dispositivo que aloja el servidor NFS para otorgar acceso IP_ADDRESS al servidor.
Ejecuta los siguientes comandos en el dispositivo:
mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --options=OPTIONS
Reemplaza lo siguiente:
IP_ADDRESS
: Es la dirección IP del dispositivo.MOUNT_POINT
: Es el nombre del punto de activación de este recurso compartido.NFS_SERVER_IP
: La dirección IP del dispositivo que aloja el servidor NFSNFS_DIRECTORY
: Es la ruta de acceso a tu recurso compartido de NFS.OPTIONS
: Es la lista de opciones separadas por comas. Estas opciones son las que permite el comando mount de Linux.
CIFS
Ejecuta los siguientes comandos en el dispositivo:
mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --options=OPTIONS
Reemplaza lo siguiente:
MOUNT_POINT
: Es el nombre del punto de activación de este recurso compartido.CIFS_SERVER_IP
: Es la dirección IP del dispositivo que aloja el servidor CIFS.CIFS_NAME
: Es el nombre del recurso compartido de CIFS.OPTIONS
: Es la lista de opciones separadas por comas, que incluye la contraseña y el nombre de usuario del recurso compartido de CIFS. Estas opciones son las que permite el comando mount de Linux.
A menos que se especifique lo contrario en las opciones de montaje, el punto de activación se volverá a montar tras el reinicio hasta que lo quites con el comando "ta unmount".
Para desmontar cualquier montaje en el dispositivo, ejecuta el siguiente comando:
ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
Para copiar datos en el dispositivo, usa la utilidad de copia que prefieras.
RClone
Para ejecutar un comando de copia con RClone en el dispositivo, ejecuta lo siguiente:
rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data
Reemplaza lo siguiente:
MOUNT_POINT
: Es el directorio que contiene los datos que se transferirán.
Archive Pull
Para archivar tus datos en archivos tar durante la transferencia, ejecuta el siguiente comando:
ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES --destination=/mnt/ta_data --count=THREAD_COUNT
Reemplaza lo siguiente:
MOUNT_POINT
: Es el directorio que contiene los datos que se transferirán.ARCHIVE_SIZE_BYTES
: Es el tamaño objetivo de los archivos .tar.gz que se generarán en el destino. El valor predeterminado es 1 GB, y se espera que esté entre 5 MB y 20 GB inclusive.THREAD_COUNT
: Es la cantidad de subprocesos que se ejecutan de forma simultánea para crear archivos. El valor predeterminado es 20, y se espera que esté entre 1 y 10,000, inclusive.
Las extracciones de archivos se ejecutan en segundo plano, por lo que puedes salir de la terminal de forma segura. La extracción comienza con una fase de enumeración de los datos antes de que pueda comenzar la transferencia.
Se devuelve un ID cuando comienzas una extracción. Este valor se puede usar para interactuar con la extracción:
Para verificar el estado de una extracción, ejecuta el siguiente comando:
ta pull --id=ID --status
Para pausar una extracción, ejecuta el siguiente comando:
ta pull --id=ID --pause
Para reanudar una extracción interrumpida o en pausa, ejecuta el siguiente comando:
ta pull --id=ID --resume
Reemplaza lo siguiente:
ID
: Es el ID de extracción.
Una vez que se complete la extracción, las bolas de tar se encontrarán en el directorio
/mnt/ta_data/TA_ARCHIVE_ID/
. Se generará un archivo de manifiesto y se guardará en/mnt/ta_data/manifest_ID.tsv
. Este archivo contendrá información de los archivos transferidos, detallando qué archivos contiene cada archivo tar. Del mismo modo, se guardará un archivo de manifiesto de errores en/mnt/ta_data/manifest_ID_ERROR.tsv
en el que se detallarán los errores que se encontraron durante la extracción.
Se recomienda ejecutar un comando de extracción a la vez.
Las pruebas de velocidad se realizaron en un conjunto de datos de 100 GB en un TA7 (que ahora está en desuso). Estos valores se proporcionan para ayudar a elegir entre las dos utilidades de copia disponibles. Las velocidades de transferencia pueden variar según el tipo de electrodoméstico y la conectividad de red.
Método Tamaño del archivo Bytes de tamaño del archivo (solo para extracción de archivos) Tarifa (NFS) Tarifa (pymes) RClone 100 MB N/A 600 MB/s 620 MB/s Archive Pull 100 MB 10 GB 750 MB/s 850 MB/s RClone 1 MB N/A 280 MB/s 270 MB/s Archive Pull 1 MB 500 MB 630 MB/s 380 MB/s RClone 100 KB N/A 150 MB/s 150 MB/s Archive Pull 100 KB 5 MB 270 MB/s 90 MB/s
Comparativas de transferencia de datos
Estas velocidades de transferencia de datos representan el rendimiento máximo de escritura de Transfer Appliance cuando se usan herramientas de copia estándar. Para aislar el rendimiento de escritura y eliminar los posibles cuellos de botella de lectura de la fuente de datos, los datos se generaron directamente en el recurso NFS montado del dispositivo. El dispositivo (TA40) se conectó a la fuente de datos con un puerto de 10 Gb, y se midieron las velocidades para los siguientes tamaños de archivo:
- Archivos de 10 GB, 1 GB y 100 MB (conjunto de datos de 5 TB)
- Archivos de 10 MB y 1 MB (conjunto de datos de 1 TB)
Tamaño del archivo | Velocidad de copia promedio(NFS) | Tiempo estimado para la transferencia de 40 TB | Tiempo estimado para la transferencia de 300 TB |
---|---|---|---|
10 GB | 560 MBps | 21 horas | 6 días y 12 horas |
1 GB | 400 MBps | 1 día y 5 horas | 9 días |
100 MB | 300 MBps | 1 día y 15 horas | 12 días |
10 MB | 130 MBps | 3 días y 18 horas | 28 días |
1 MB | 30 MBps | 16 días | 120 días |