Los agentes del Servicio de transferencia de almacenamiento son aplicaciones que se ejecutan dentro de un contenedor de Open Container Initiative (OCI) y que se coordinan con el Servicio de transferencia de almacenamiento para las transferencias que involucran sistemas de archivos o almacenamiento compatible con S3.
De forma predeterminada, el Servicio de transferencia de almacenamiento usa Docker para compilar y ejecutar contenedores de OCI.
El Servicio de transferencia de almacenamiento también admite Podman para la administración de contenedores. Debes
instalar tus agentes con el comando podman run
para usar Podman.
Si tu transferencia no implica un sistema de archivos o un almacenamiento compatible con S3, no necesitas configurar agentes.
En este documento, se describe cómo administrar agentes de transferencia en tus servidores.
Descripción general
Los procesos de los agentes son dinámicos. Mientras ejecutas una transferencia, puedes agregar agentes para aumentar el rendimiento. Los agentes recién iniciados se unen al grupo de agentes asignado y realizan trabajos a partir de transferencias existentes. Puedes usar esto con el fin de ajustar la cantidad de agentes que se ejecutan o para adaptar el rendimiento de transferencia a los cambios de demanda de la transferencia.
Los procesos de los agentes son un conjunto tolerante a errores. Si un agente deja de ejecutarse, los agentes restantes seguirán en funcionamiento. Si todos tus agentes se detienen, cuando agregues agentes nuevos, la transferencia se reanudará donde se detuvieron los agentes. Esto te permite evitar la supervisión de los agentes, el reintento de las transferencias o la implementación de una lógica de recuperación. Puedes aplicar parches, mover y escalar de forma dinámica tus grupos de agentes sin tiempo de inactividad de transferencia coordinando agentes con Kubernetes.
Por ejemplo, envía dos transferencias mientras se ejecutan dos agentes. Si uno de los agentes se detiene debido a un reinicio de la máquina o un parche del sistema operativo, el agente restante continúa en funcionamiento. Las dos transferencias se siguen ejecutando, pero son más lentas, ya que un solo agente transfiere los datos. Si el agente restante también se detiene, todas las transferencias dejan de avanzar, ya que no hay agentes en ejecución. Cuando reinicias los procesos del agente, las transferencias se reanudan desde donde quedaron.
Los procesos de los agentes pertenecen a un grupo. Trasladan los datos de forma colectiva en paralelo. Debido a esto, todos los agentes dentro de un grupo deben tener el mismo acceso a todas las fuentes de datos que deseas transferir.
Por ejemplo, si transfieres datos desde un sistema de archivos en particular, debes activar el sistema de archivos en cada máquina que aloja agentes en el grupo de agentes. Si algunos agentes de tu grupo pueden acceder a una fuente de datos y otros no, las transferencias desde esa fuente de datos no se realizarán de forma correcta.
Antes de comenzar
Antes de configurar las transferencias, asegúrate de haber configurado el acceso para usuarios y cuentas de servicio.
Si usarás comandos de gcloud,
instala gcloud CLI.
Instala y ejecuta agentes de transferencia
Te recomendamos que instales un mínimo de tres agentes por grupo de agentes, idealmente en máquinas independientes. Para obtener más información sobre cómo determinar cuántos agentes ejecutar, consulta Maximiza el rendimiento del agente de transferencia.
Para instalar y ejecutar agentes de transferencia, haz lo siguiente:
Consola de Google Cloud
En la consola de Google Cloud , ve a la página Grupos de agentes.
Selecciona el grupo de agentes al que deseas agregar el agente nuevo.
Haz clic en Instalar agente.
Sigue las instrucciones que se muestran para instalar y ejecutar el agente.
Para obtener más información sobre las opciones de línea de comandos del agente, consulta Opciones de línea de comandos del agente.
CLI de gcloud
Para instalar uno o más agentes con gcloud CLI, ejecuta
gcloud transfer agents install:
gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES
La herramienta te guía a través de los pasos necesarios para instalar los agentes. Con este comando, se instalan NUM_AGENTS agentes en tu máquina, asignados al nombre del grupo especificado como POOL_NAME, y autentica al agente con tus credenciales gcloud. El nombre del grupo debe existir o se mostrará un error.
La marca --mount-directories es opcional, pero se recomienda. Su valor es una lista separada por comas de directorios en el sistema de archivos a los que se le otorgará acceso al agente.
Si se omite esta marca, se activa todo el sistema de archivos en el contenedor del agente. Consulta
la
referencia de gcloud
para obtener más detalles.
Fuentes compatibles con S3
Cuando instales agentes para usarlos con una fuente compatible con S3,
debes proporcionar credenciales de AWS como variables de entorno, como los
valores de AWS_ACCESS_KEY_ID y AWS_SECRET_ACCESS_KEY, o almacenadas como
credenciales predeterminadas en los archivos de configuración del sistema.
export AWS_ACCESS_KEY_ID=ID
export AWS_SECRET_ACCESS_KEY=SECRET
gcloud transfer agents install --pool=POOL_NAME \
--creds-file=/relative/path/to/service-account-key.json
Usa una clave de cuenta de servicio
Para ejecutar agentes mediante una clave de cuenta de servicio, usa la opción --creds-file:
gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES \
--creds-file=relative/path/to/service-account-key.json
Más información
Para obtener una lista completa de las marcas opcionales, ejecuta gcloud transfer agents install --help o lee la referencia de gcloud transfer.
Docker
Antes de usar Docker para instalar agentes, sigue las instrucciones para instalar Docker.
El comando docker run instala un agente. Para aumentar la cantidad de agentes
en tu grupo, vuelve a ejecutar este comando tantas veces como sea necesario.
Cuando instalas agentes, puedes elegir autenticarte con tus credenciales predeterminadas de gcloud
o con una cuenta de servicio.
Credenciales predeterminadas
Para permitir que el contenedor de Docker se autentique con tus credenciales predeterminadas de gcloud,
crea un volumen de Docker que contenga un archivo con las credenciales predeterminadas de tu aplicación.
Para ello, ejecuta el siguiente comando:
sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login
Luego, usa el siguiente comando para instalar un agente con la
marca --volumes-from para activar el volumen de credenciales gcloud-config:
sudo docker run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Autenticación de la cuenta de servicio
Para instalar y ejecutar agentes de transferencia con docker run usando las credenciales de la cuenta de servicio,
activa el archivo de claves de la cuenta de servicio con formato JSON en el
contenedor con -v y pasa la ruta de acceso del archivo dentro del contenedor a la
marca --creds-file.
Consulta Crea y administra claves de cuentas de servicio para obtener más información sobre las claves de cuentas de servicio.
sudo docker run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Opciones y marcas
Reemplaza las variables de los ejemplos anteriores por la siguiente información:
HOST_DIRECTORYes el directorio en la máquina anfitrión desde el que deseas copiar. Puedes usar más de una marca-vpara especificar directorios adicionales desde los que copiar.CONTAINER_DIRECTORYes el directorio asignado dentro del contenedor del agente. Debe ser igual queHOST_DIRECTORY.PROJECT_IDes el ID del proyecto que aloja la transferencia.POOL_NAMEes el nombre del grupo de agentes en el que se instalará este agente. Si omites esta marca, el agente se instalará en el grupotransfer_service_defaultde tu proyecto.
El comando docker run admite marcas adicionales.
--enable-mount-directoryle indica al agente que todo el sistema de archivos del host está activado en/transfer_rooten el contenedor. Úsala solo junto con-v /:/transfer_root. Luego, el agente antepone/transfer_roota las rutas de origen, destino, registro y credenciales. No lo combines con activaciones de-v HOST_DIRECTORY:CONTAINER_DIRECTORYpor directorio.--creds-file=/etc/gcloud/key.jsonespecifica la ruta de acceso al archivo de credenciales de cuenta con formato JSON en el contenedor. Este archivo se activa con la marca-v PATH/TO/KEY.JSON:/etc/gcloud/key.json:roen el comando.Los agentes no necesitan una marca para las transferencias desde el almacenamiento compatible con S3. El agente usa el modo compatible con S3 automáticamente cuando el trabajo de transferencia lo requiere. La marca
--enable-s3dejó de estar disponible y se ignora.Si la transferencia se realiza desde AWS S3 o un almacenamiento compatible con S3, pasa tu ID de clave de acceso y clave secreta con variables de entorno:
sudo docker run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ -e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \ -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
--env HTTPS_PROXY=PROXYespecifica un proxy de reenvío en tu red. El valor dePROXYes la URL HTTP y el puerto del servidor proxy. Para evitar la duplicación de solicitudes en la encriptación TLS, asegúrate de especificar la URL HTTP, y no una URL HTTPS. Las solicitudes duplicadas impiden que el servidor proxy envíe solicitudes de salida válidas.--gcs-api-endpoint=storage.LOCATION.rep.googleapis.comespecifica un extremo regional de Cloud Storage. Cuando se especifica un extremo regional de Cloud Storage, todo el tráfico de transferencia de datos a través del agente permanece dentro de esa región de Google Cloud . Consulta Extremos regionales para obtener más detalles.--agent-id-prefix=ID_PREFIXespecifica un prefijo opcional que se antepone al ID del agente para ayudar a identificar al agente o su máquina en la consola de Google Cloud . Cuando se usa un prefijo, el ID del agente tiene el formatoprefix + hostname + Docker container ID.--log-dir=LOGS_DIRECTORYmodifica el directorio en el que el agente escribe los registros. El directorio predeterminado es/tmp/.Activa este directorio en el contenedor (por ejemplo,
-v /tmp:/tmp) para que los registros persistan en el host. Si usas--enable-mount-directory, especifica la ruta de acceso del host; el agente agrega el prefijo/transfer_rootautomáticamente.--max-physical-mem=MAX_MEMORY: De forma predeterminada, los agentes usan un grupo de búferes de 8 GiB. Si el valor predeterminado no se ajusta a tu entorno, puedes especificar un uso máximo de memoria adecuado en los siguientes formatos:Valor max-physical-memConfiguración del uso máximo de memoria 6g6 gibibytes 6gb6 gibibytes 6GiB6 gibibytes --network=DOCKER_NETWORK: Especifica la red de Docker para este contenedor. Especificar--network=hostpuede mejorar el rendimiento, ya que se reduce la sobrecarga de la red, pero permite que el contenedor tenga acceso completo a la red del host.--kerberos-disable-pa-fx-fastimpide que los agentes usen la negociación FAST con Kerberos para las transferencias de HDFS. Usa esta marca si tu Centro de distribución de claves (KDC) de Kerberos no admite la negociación FAST.
Podman
Antes de usar Podman para instalar agentes, instala Podman:
sudo apt-get update
sudo apt-get -y install podman
Cuando instalas agentes, puedes elegir autenticarte con tus credenciales predeterminadas de gcloud
o con una cuenta de servicio.
Credenciales predeterminadas
Para permitir que el contenedor del agente se autentique con tus credenciales predeterminadas de Google Cloud CLI, crea un volumen que contenga un archivo con tus credenciales predeterminadas de la aplicación ejecutando el siguiente comando:
gcloud auth print-access-token | podman login -u oauth2accesstoken --password-stdin gcr.io sudo podman pull gcr.io/google.com/cloudsdktool/google-cloud-cli:stable sudo podman run -ti --replace --name gcloud-config gcr.io/google.com/cloudsdktool/google-cloud-cli:stable gcloud auth application-default login
Luego, usa el siguiente comando para instalar un agente con la
marca --volumes-from para activar el volumen de credenciales gcloud-config.
El comando instala un agente. Para aumentar la cantidad de agentes en tu
grupo, vuelve a ejecutar este comando tantas veces como sea necesario.
sudo podman run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Autenticación de la cuenta de servicio
Para instalar y ejecutar agentes de transferencia con credenciales de cuenta de servicio, debes hacer que la clave de la cuenta de servicio con formato JSON esté disponible en el contenedor. Para ello, deberás hacer lo siguiente:
- Activa la ubicación del host de la clave en cualquier ruta de acceso del contenedor. Por
ejemplo:
-v $HOME/.config/gcloud/credentials.json:/key.json:ro. Esto especifica que la clave se encuentra en la máquina anfitrión en$HOME/.config/gcloud/credentials.jsony debe activarse como/key.jsonen el contenedor. Elroindica que el archivo está disponible como de solo lectura para el contenedor. - Especifica la ruta de acceso del contenedor de la clave como el valor de
--creds-file. En el ejemplo del paso anterior, especifica--creds-file=/key.json.
Consulta Crea y administra claves de cuentas de servicio para obtener más información sobre las claves de cuentas de servicio.
sudo podman run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Opciones y marcas
Reemplaza las variables de los ejemplos anteriores por la siguiente información:
HOST_DIRECTORYes el directorio en la máquina anfitrión desde el que deseas copiar. Puedes usar más de una marca-vpara especificar directorios adicionales desde los que copiar.CONTAINER_DIRECTORYes el directorio asignado dentro del contenedor del agente. Debe ser igual queHOST_DIRECTORY.PROJECT_IDes el ID del proyecto que aloja la transferencia.POOL_NAMEes el nombre del grupo de agentes en el que se instalará este agente. Si omites esta marca, el agente se instalará en el grupotransfer_service_defaultde tu proyecto.
El comando podman run admite marcas adicionales.
--enable-mount-directoryle indica al agente que todo el sistema de archivos del host está activado en/transfer_rooten el contenedor. Úsala solo junto con-v /:/transfer_root. Luego, el agente antepone/transfer_roota las rutas de origen, destino, registro y credenciales. No lo combines con activaciones de-v HOST_DIRECTORY:CONTAINER_DIRECTORYpor directorio.--creds-file=/etc/gcloud/key.jsonespecifica la ruta de acceso al archivo de credenciales de cuenta con formato JSON en el contenedor. La marca-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:rodel comando activa este archivo.Los agentes no necesitan una marca para las transferencias desde el almacenamiento compatible con S3. El agente usa el modo compatible con S3 automáticamente cuando el trabajo de transferencia lo requiere. La marca
--enable-s3dejó de estar disponible y se ignora.Si la transferencia se realiza desde AWS S3 o un almacenamiento compatible con S3, pasa tu ID de clave de acceso y clave secreta con variables de entorno:
-e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \ -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY ```--env HTTPS_PROXY=PROXYespecifica un proxy de reenvío en tu red. El valor dePROXYes la URL HTTP y el puerto del servidor proxy. Para evitar la duplicación de solicitudes en la encriptación TLS, asegúrate de especificar la URL HTTP, y no una URL HTTPS. Las solicitudes duplicadas impiden que el servidor proxy envíe solicitudes de salida válidas.--agent-id-prefix=ID_PREFIXespecifica un prefijo opcional que se antepone al ID del agente para ayudar a identificar al agente o su máquina en la consola de Google Cloud . Cuando se usa un prefijo, el ID del agente tiene el formatoprefix + hostname + OCI container ID.--log-dir=LOGS_DIRECTORYmodifica el directorio en el que el agente escribe los registros. El directorio predeterminado es/tmp/.Activa este directorio en el contenedor (por ejemplo,
-v /tmp:/tmp) para que los registros persistan en el host. Si usas--enable-mount-directory, especifica la ruta de acceso del host; el agente agrega el prefijo/transfer_rootautomáticamente.--max-physical-mem=MAX_MEMORY: De forma predeterminada, los agentes usan un grupo de búferes de 8 GiB. Si el valor predeterminado no se ajusta a tu entorno, puedes especificar un uso máximo de memoria adecuado en los siguientes formatos:Valor max-physical-memConfiguración del uso máximo de memoria 6g6 gibibytes 6gb6 gibibytes 6GiB6 gibibytes --network=DOCKER_NETWORK: Especifica la red de Docker para este contenedor. Especificar--network=hostpuede mejorar el rendimiento, ya que reduce la sobrecarga de la red, pero permite que el contenedor tenga acceso completo a la red del host.--kerberos-disable-pa-fx-fastimpide que los agentes usen la negociación FAST con Kerberos para las transferencias de HDFS. Usa esta marca si tu Centro de distribución de claves (KDC) de Kerberos no admite la negociación FAST.
Soluciona problemas
Si tu configuración de SELinux requiere que se coloquen etiquetas en el contenido del volumen
activado en un contenedor, agrega la marca :Z al volumen:
sudo podman run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY:Z \
-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=/etc/gcloud/key.json \
--hostname=$(hostname) \
--agent-pool=POOL_NAME
Sin una etiqueta, el sistema de seguridad podría impedir que los procesos que se ejecutan dentro del contenedor usen el contenido. De forma predeterminada, Podman no cambia las etiquetas que establece el SO.
Confirma las conexiones del agente
Para confirmar que los agentes estén conectados, haz lo siguiente:
En la consola de Google Cloud , ve a la página Grupos de agentes.
Se muestran tus grupos de agentes con la cantidad de agentes conectados.
Selecciona un grupo de agentes para ver los detalles de los agentes conectados.
Si un agente nuevo no aparece en la página del grupo de agentes en un plazo de 10 minutos después de su creación, consulta Los agentes no están conectados.
Supervisar la actividad del agente
Puedes usar Cloud Monitoring para supervisar la actividad del agente.
Monitoring está disponible en las dimensiones project, agent_pool y agent_id.
Con estos datos de supervisión, puedes configurar alertas para recibir notificaciones de posibles problemas con la transferencia. Para hacerlo, crea una alerta en cualquiera de las siguientes métricas de Google Cloud :
| Nombre de la métrica | Qué describe | Usos sugeridos |
|---|---|---|
| storagetransfer.googleapis.com/agent/transferred_bytes_count | Mide la rapidez con la que un agente específico transfiere datos (en todos los trabajos a los que brinda servicio) en un momento determinado. | Alerta de caídas en el rendimiento. |
| storagetransfer.googleapis.com/agent/connected | Un valor booleano que es True para cada agente del que Google Cloud recibió un mensaje de latido reciente. |
|
Actualizaciones del agente
Para asegurarte de que tus agentes del Servicio de transferencia de almacenamiento tengan las funciones, los parches de seguridad y las correcciones de errores más recientes, debes reemplazar periódicamente los contenedores de agentes antiguos por otros nuevos.
La imagen de contenedor del agente más reciente se encuentra en Artifact Registry con
la etiqueta latest:
gcr.io/cloud-ingest/tsop-agent.
Cuando haya una imagen nueva disponible, se deben reemplazar los agentes. Esto se puede hacer de forma progresiva para que las transferencias en curso no se vean afectadas. Debes extraer una imagen de contenedor nueva antes de iniciar el agente nuevo para evitar usar una versión anterior almacenada en caché de tu máquina.
Cómo comparar versiones de contenedores
Para ver la versión de un contenedor en ejecución, recupera los primeros 12 caracteres de su resumen de manifiesto:
sudo docker inspect --format='{{index .RepoDigests 0}}' $(sudo docker inspect --format='{{.Image}}' CONTAINER_ID) | sed 's/.*sha256://' | cut -c1-12
Compara este resumen breve con la columna Nombre publicada en Artifact Registry.
Para ver el resumen más reciente en la línea de comandos, ejecuta
docker pull gcr.io/cloud-ingest/tsop-agent:latest
para descargar la imagen más reciente y, luego, ejecuta el siguiente comando para ver su resumen
corto:
docker inspect --format='{{index .RepoDigests 0}}' gcr.io/cloud-ingest/tsop-agent:latest | sed 's/.*sha256://' | cut -c1-12
Actualizar contenedores
Para realizar una actualización progresiva de tus agentes, haz lo siguiente:
gcloud CLI
Una vez en cada máquina, extrae la imagen de contenedor más reciente de Artifact Registry:
sudo docker pull gcr.io/cloud-ingest/tsop-agent:latestEnumera todos los agentes que se ejecutan en esta máquina:
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentDetén un agente:
sudo docker stop CONTAINER_IDInstala un agente nuevo:
gcloud transfer agents install --pool=POOL_NAME --count=1 \ --mount-directories=MOUNT_DIRECTORIES
Repite estos pasos hasta que se hayan reemplazado todos los agentes en todas las máquinas.
Docker
Una vez en cada máquina, extrae la imagen de contenedor más reciente de Artifact Registry:
sudo docker pull gcr.io/cloud-ingest/tsop-agent:latestEnumera todos los agentes que se ejecutan en esta máquina:
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentDetén un agente:
sudo docker stop CONTAINER_IDInstala un agente nuevo:
sudo docker run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Repite estos pasos hasta que se hayan reemplazado todos los agentes en todas las máquinas.
Podman
Una vez en cada máquina, extrae la imagen de contenedor más reciente de Artifact Registry:
sudo podman pull gcr.io/cloud-ingest/tsop-agent:latestEnumera todos los agentes que se ejecutan en esta máquina:
sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentDetén un agente:
sudo podman stop CONTAINER_IDInstala un agente nuevo:
sudo podman run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Repite estos pasos hasta que se hayan reemplazado todos los agentes en todas las máquinas.
Actualizaciones de objetos binarios del agente
Además de las actualizaciones de contenedores, se ejecuta una secuencia de comandos de actualización dentro del contenedor que recupera automáticamente el objeto binario del agente más reciente. Esta secuencia de comandos sondea las actualizaciones de objetos binarios cada 5 minutos mientras se ejecuta el contenedor. Las actualizaciones de objetos binarios se aplican automáticamente in situ, sin necesidad de reiniciar el contenedor.
Si inhabilitas las actualizaciones automáticas, es posible que no admitamos la depuración de problemas de rendimiento en versiones anteriores del agente. En esos casos, por lo general, te pedimos que actualices a una versión reciente antes de brindarte más asistencia.
Detén un agente
Para detener un agente, ejecuta docker stop o podman stop en su ID de contenedor.
Para encontrar el ID y detener el agente, sigue estos pasos:
En la consola de Google Cloud , ve a la página Grupos de agentes.
Selecciona el grupo de agentes que contiene el agente que deseas detener.
Selecciona un agente de la lista. Usa el campo Filtro para buscar prefijos, estado del agente, antigüedad del agente, etcétera.
Haz clic en Detener agente. Se muestra el comando
docker stopcon el ID del contenedor específico.Ejecuta el comando en la máquina en la que se ejecuta el agente.
Un comando de detención exitoso devuelve el ID del contenedor.
Una vez que el agente se detiene, aparece en la lista de grupos de agentes como Desconectado.
Reinicia un agente
Los agentes detenidos no se pueden reiniciar. En su lugar, instala agentes nuevos en el grupo de agentes.
Borra un agente
Para borrar agentes específicos, obtén una lista de los agentes que se ejecutan en tu máquina.
Docker
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent
Podman
sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent
Luego, pasa los IDs de agente a gcloud transfer agents delete. Este comando no
detiene los agentes por sí mismo, sino que imprime el comando docker stop que debes
ejecutar:
gcloud transfer agents delete --ids=id1,id2,...
Para imprimir los comandos que detienen todos los agentes en la máquina, usa la marca --all.
Para imprimir también el comando que quita la imagen de contenedor del agente, usa la
marca --uninstall. Ejecuta los comandos impresos para detener los agentes:
gcloud transfer agents delete --all
gcloud transfer agents delete --uninstall
Detalles de transferencia del sistema de archivos
Transferencias incrementales
El Servicio de transferencia de almacenamiento comienza todas las transferencias mediante el cálculo de los datos presentes en el origen y el destino para determinar qué archivos de origen son nuevos, cuáles fueron actualizados y cuáles quitados con respecto a la última transferencia. Hacemos esto para reducir la cantidad de datos que enviamos desde tus máquinas, para usar el ancho de banda de manera eficaz y para reducir los tiempos de transferencia.
Para detectar si un archivo cambió, verificamos la última hora de modificación y el tamaño del archivo de origen, y los comparamos con la última hora de modificación y el tamaño registrados cuando se copió el archivo por última vez. Cuando detectamos un archivo nuevo o modificado, copiamos todo el archivo en su destino. Para obtener más información sobre la actualización de los archivos, consulta Detalles de la coherencia de los datos.
De forma predeterminada, detectamos los archivos borrados en la fuente, pero no actuamos. Si eliges la opción de sincronización Borrar los archivos de destino que no estén también en el origen cuando creas o editas un trabajo, la transferencia borrará el objeto correspondiente en el destino.
Si eliges la opción de sincronización Eliminar archivos de destino que no están también en la fuente, los archivos que se eliminan accidentalmente en la fuente también se eliminan en el destino. Para evitar la pérdida de datos por eliminaciones accidentales, recomendamos habilitar las versiones de objetos en el depósito de destino si eliges usar esta opción. Entonces, si eliminas un archivo accidentalmente, puedes restaurar sus objetos en Cloud Storage a una versión anterior.
Detalles de coherencia de datos
Una operación de transferencia correcta transferirá todos los archivos de origen que existían y no se modificaron durante todo el tiempo de ejecución de la operación. Los archivos de origen que se crearon, actualizaron o borraron durante una transferencia pueden o no tener esos cambios reflejados en el conjunto de datos de destino.
El Servicio de transferencia de almacenamiento usa la última hora de modificación y el tamaño de un archivo para determinar si cambió. Si se actualiza un archivo sin cambiar la última hora de modificación o tamaño, y habilitas la opción delete-objects-from-source, es posible que pierdas datos de ese cambio.
Cuando uses la función delete-objects-from-source, te recomendamos que suspendas las escrituras en la fuente durante la transferencia para protegerte contra la pérdida de datos.
Para inmovilizar las escrituras en tu fuente, realiza una de las siguientes acciones:
- Clona el directorio que deseas transferir y, luego, usa el directorio clonado como fuente de la transferencia.
- Detén las aplicaciones que escriben en el directorio del código fuente.
Si es importante capturar los cambios que se produjeron durante una transferencia, puedes volver a ejecutar la transferencia o configurar el sistema de archivos de origen en modo de solo lectura mientras se ejecuta la operación.
Dado que Cloud Storage no tiene la noción de directorios, los directorios de origen vacíos no se transfieren.