Opciones avanzadas

En este documento, se describen las opciones de configuración avanzada para las transferencias del sistema de archivos, incluidas las siguientes:

Copia datos en los volúmenes CIFS o SMB

Los agentes de transferencia no son compatibles directamente con los servidores de Windows. Sin embargo, puedes mover los datos almacenados en cualquier sistema de archivos compatible con POSIX si lo activas en un servidor de Linux o en una máquina virtual (VM) y, luego, ejecutas un agente desde el servidor de Linux o la VM para copiar los datos en Cloud Storage.

Para mover datos desde un volumen CIFS o SMB, haz lo siguiente:

  1. Aprovisiona un servidor de Linux o una VM.

    Para conocer los sistemas operativos compatibles, consulta Requisitos del sistema.

  2. Ejecuta el siguiente comando en el servidor de Linux o la VM que aprovisionaste para activar el volumen:

    sudo mount -t cifs -o \
      username=WINDOWS-SHARE-USER,password=WINDOWS-SHARE-PASSWORD //IP-ADDRESS/SHARE-NAME /mnt
    

    Reemplaza lo siguiente:

    • IP-ADDRESS: Es la dirección IP del servidor de Microsoft Windows en el que se encuentra el volumen CIFS o SMB.
    • SHARE-NAME: Es el nombre del recurso compartido que activas.
    • WINDOWS-SHARE-USER: Es el usuario autorizado que puede acceder al volumen CIFS o SMB.
    • WINDOWS-SHARE-PASSWORD: Es la contraseña del usuario autorizado del volumen CIFS o SMB.
  3. Para confirmar que el volumen CIFS se active, ejecuta el siguiente comando:

    findmnt -l
    
  4. Confirma que el usuario que ejecutará el agente pueda enumerar y copiar los archivos en el volumen activado mediante la ejecución de los siguientes comandos:

    sudo -u USERNAME cp /mnt/FILE1 /mnt/FILE2
    

    Reemplaza lo siguiente:

    • USERNAME: Es el usuario que ejecutará el agente.
    • FILE1: Es el archivo del que se debe copiar.
    • FILE2: Es el nombre del archivo al que se copiará.
  5. Instala el agente de transferencia.

Usa las credenciales de cuenta de servicio

Puedes usar las credenciales de cuenta de servicio para ejecutar el agente. Usar las credenciales de cuenta de servicio te proporciona una forma de autenticar el agente de transferencia sin depender de una sola cuenta de usuario. Para obtener más información sobre los tipos de cuenta, consulta Principales.

  1. Crea una clave de cuenta de servicio. Para obtener más información, consulta Crea y administra claves de cuentas de servicio.

  2. Pasa la ubicación de la clave de servicio al comando de creación del agente:

    gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
      --mount-directories=MOUNT_DIRECTORIES \
      --creds-file=RELATIVE_PATH_TO/KEY_FILE.JSON
    

    gcloud transfer activa automáticamente el archivo de credenciales y no es necesario especificarlo con la marca --mount-directories.

Ajusta la cantidad máxima de memoria usada por agentes

De forma predeterminada, los agentes de transferencia usan un máximo de 8 GiB de memoria del sistema. Puedes ajustar la cantidad máxima de memoria que usan los agentes a fin de que se ajuste a tu entorno. Para ello, pasa --max-physical-mem=MAXIMUM-MEMORY y reemplazasMAXIMUM-MEMORY por un valor que se ajuste al entorno. Esta marca solo es compatible con el comando docker run.

A continuación, se describen los requisitos de memoria para los agentes de transferencia:
  • Memoria mínima: 1 GiB
  • Memoria mínima para admitir cargas de alto rendimiento: 6 GiB

Recomendamos que el valor predeterminado sea de 8 GiB.

En la siguiente tabla, se describen ejemplos de formatos aceptables para MAXIMUM-MEMORY:

Valor max-physical-mem Configuración del uso máximo de memoria
6g 6 gibibytes
6gb 6 gibibytes
6GiB 6 gibibytes

Restringe el acceso a directorios del agente

Los usuarios que pueden crear trabajos de transferencia pueden recuperar datos de cualquier directorio del sistema de archivos al que pueda acceder el agente y descargar datos en él.

Si los agentes se ejecutan como raíz y se les otorga acceso a todo el sistema de archivos, un agente malicioso podría tomar el control del host. Se recomienda restringir el acceso del agente solo a los directorios necesarios.

Para restringir el acceso de un agente a directorios específicos, sigue estos pasos:

gcloud

Para especificar los directorios a los que el agente puede acceder en un sistema de archivos, usa la marca --mount-directories con gcloud transfer agents install:

gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
  --mount-directories=MOUNT_DIRECTORIES

Especifica varios directorios separando cada uno con una coma y sin espacios:

gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
  --mount-directories=MOUNT_DIRECTORY_1,MOUNT_DIRECTORY_2

Si especificas un archivo de credenciales con la marca --creds-file, gcloud transfer lo activa automáticamente. No se activan otros archivos en el mismo directorio que el archivo de credenciales.

docker run

Para especificar los directorios a los que el agente puede acceder mientras realiza una transferencia, pasa -v HOST_DIRECTORY:CONTAINER_DIRECTORY al agente y especifica lo siguiente:

  • HOST_DIRECTORY es el directorio en la máquina anfitrión desde el que deseas copiar.
  • CONTAINER_DIRECTORY es el directorio asignado dentro del contenedor del agente.

HOST_DIRECTORY y CONTAINER_DIRECTORY deben ser los mismos para que el agente pueda ubicar los archivos que se copiarán.

Ten en cuenta la siguiente información cuando uses esta opción:

  • No especifiques --enable-mount-directory.
  • No antepongas la ruta de acceso al archivo con /transfer_root.

Con la opción --enable-mount-directory, se activa todo el sistema de archivos en el directorio /transfer_root del contenedor. Si se especifica --enable-mount-directory, no se aplican restricciones de directorio.

Puedes usar más de una marca -v para especificar directorios adicionales desde los cuales copiar. Por ejemplo:

sudo docker run --ulimit memlock=64000000 -d --rm \
--volumes-from gcloud-config \
-v /usr/local/research:/usr/local/research \
-v /usr/local/billing:/usr/local/billing \
-v /tmp:/tmp \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--hostname=$(hostname) \
--agent-id-prefix=ID_PREFIX

Si usas una cuenta de servicio, asegúrate de activar el archivo de credenciales en el contenedor y pasar --creds-file=FULL_CREDENTIAL_FILE_PATH. Por ejemplo:

sudo docker run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY \
-v /tmp:/tmp \
-v FULL_CREDENTIAL_FILE_PATH:FULL_CREDENTIAL_FILE_PATH:ro \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=FULL_CREDENTIAL_FILE_PATH \
--hostname=$(hostname) \
--agent-id-prefix=ID_PREFIX

Reemplaza lo siguiente:

  • HOST_DIRECTORY: Es el directorio en la máquina anfitrión desde el que deseas copiar.
  • CONTAINER_DIRECTORY: Es el directorio asignado dentro del contenedor del agente.
  • FULL_CREDENTIAL_FILE_PATH: Es la ruta de acceso completamente calificada a un archivo de credenciales de cuenta de servicio con formato JSON. Para obtener más información sobre cómo generar un archivo de credenciales de cuenta de servicio, consulta Crea y administra claves de cuentas de servicio.
  • PROJECT_ID: Es el ID del proyecto que aloja los recursos de transferencia que se crean y facturan.
  • ID_PREFIX: Es el prefijo que se antepone al ID del agente para ayudar a identificar al agente o su máquina en la consola de Google Cloud . Cuando se usa un prefijo, el ID del agente tiene el formato prefix + hostname + Docker container ID.

Coordina agentes con Kubernetes

Docker es un entorno de ejecución de contenedores compatible con Kubernetes. Puedes usar Kubernetes para organizar el inicio y la detención de varios agentes de forma simultánea. Desde la perspectiva de Kubernetes, el contenedor del agente se considera una aplicación sin estado, por lo que puedes seguir las instrucciones de Kubernetes para implementar una aplicación sin estado.

Usa extremos de API privados en Cloud Interconnect

Para usar extremos de API privados en Cloud Interconnect, haz lo siguiente:

  1. Accede al host local en el que deseas ejecutar el agente.

  2. Configura el Acceso privado a Google. Si deseas obtener más información, consulta Configura el Acceso privado a Google de los hosts locales.

  3. Confirma que puedes conectarte a las APIs de Cloud Storage:

    1. Para las APIs de Cloud Storage, ejecuta el siguiente comando desde la misma máquina que el agente de transferencia para probar mover un archivo a tu bucket de Cloud Storage: gcloud storage cp test.txt gs://MY-BUCKET Donde MY-BUCKET es el nombre de tu bucket de Cloud Storage. Si la transferencia funciona, la prueba se realizó de forma correcta.

Usa un proxy de reenvío

Los agentes de transferencia admiten el uso de un proxy de reenvío en tu red pasando la variable de entorno HTTPS_PROXY.

Por ejemplo:

sudo docker run -d --ulimit memlock=64000000 --rm \
--volumes-from gcloud-config \
-v /usr/local/research:/usr/local/research \
--env HTTPS_PROXY=PROXY \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--hostname=$(hostname) \
--agent-id-prefix=ID_PREFIX

Reemplaza lo siguiente:

  • PROXY: La URL HTTP y el puerto del servidor proxy Asegúrate de especificar la URL HTTP, y no una URL HTTPS, para evitar la duplicación de solicitudes en la encriptación TLS. Las solicitudes duplicadas impiden que el servidor proxy envíe solicitudes de salida válidas.
  • PROJECT_ID: Es el ID del proyecto que aloja los recursos de transferencia que se crean y facturan.
  • ID_PREFIX: Es el prefijo que se antepone al ID del agente para ayudar a identificar al agente o su máquina en la consola de Google Cloud . Cuando se usa un prefijo, el ID del agente tiene el formato prefix + hostname + Docker container ID.

Copia en un bucket con una política de retención

Para transferir a un bucket con una política de retención, recomendamos el siguiente proceso:

  1. Crea un bucket de Cloud Storage dentro de la misma región que el bucket final. Asegúrate de que este bucket temporal no tenga una política de retención.

    Para obtener más información sobre las regiones, consulta Ubicaciones de buckets.

  2. Usa el Servicio de transferencia de almacenamiento para transferir tus datos al bucket temporal que creaste sin una política de retención.

  3. Realiza una transferencia de bucket a bucket para transferir los datos al bucket con una política de retención.

  4. Borra el bucket de Cloud Storage que creaste para almacenar tus datos de forma temporal.

Opciones para obtener más ancho de banda de red

Existen varias opciones para obtener más ancho de banda de red para las transferencias del sistema de archivos. Aumentar el ancho de banda de tu red te ayudará a disminuir los tiempos de transferencia, especialmente para conjuntos de datos grandes.

  • Cloud Interconnect: Usa una interconexión para conectarte a Google Cloud. Existen dos tipos de interconexiones para elegir:

    • Interconexión dedicada: Te conectas directamente desde tu centro de datos a un centro de datos de Google Cloud con una conexión privada y dedicada. Para obtener más información, consulta la descripción general de la interconexión dedicada.

    • Interconexión de socio: Trabajas con un proveedor de servicios para establecer una conexión a un centro de datos de Google Cloud con la red de un socio de servicios. Para obtener más información, consulta Descripción general de la interconexión de socio.

  • Obtén ancho de banda de tu ISP: tu proveedor de servicios de Internet (ISP) puede ofrecerte más ancho de banda para tus necesidades. Comunícate con esa persona para preguntarle qué opciones tiene disponibles.

  • Intercambio de tráfico con Google: el intercambio de tráfico es cuando te interconectas directamente con Google para admitir el intercambio de tráfico. Tenemos ubicaciones de intercambio de tráfico directo en todo el mundo. Para obtener información sobre los beneficios y nuestras políticas, consulta Intercambio de tráfico.