Storage batch operations

En este documento, se describen las operaciones por lotes de Storage, una capacidad de Cloud Storage que te permite realizar operaciones en miles de millones de objetos sin servidores. Con las operaciones por lotes de Storage, puedes automatizar operaciones de API a gran escala en miles de millones de objetos, lo que reduce el tiempo de desarrollo necesario para escribir y mantener secuencias de comandos para cada solicitud.

Para obtener información sobre cómo crear trabajos de operaciones por lotes de Storage, consulta Crea y administra trabajos de operaciones por lotes de Storage.

Descripción general

Las operaciones por lotes de Storage te permiten ejecutar una de las cinco transformaciones en varios objetos a la vez: colocar una conservación de objetos, borrar un objeto, actualizar los metadatos de un objeto, reescribir objetos y actualizar los contextos personalizados de objetos. Para usar las operaciones por lotes de Storage, crea una configuración de trabajo que defina qué transformaciones se deben aplicar a qué objetos.

La creación de una operación por lotes muestra una operación de larga duración (LRO) que indica el estado de tu solicitud: si la transformación se aplicó a todos los objetos especificados en tu solicitud.

Beneficios

  • Escalabilidad: Realiza transformaciones en millones de objetos con un solo trabajo de operaciones por lotes de Storage.
  • Ejecución sin servidores: Ejecuta trabajos por lotes en un entorno sin servidores, lo que elimina la necesidad de administrar la infraestructura.
  • Automatización: Automatiza tareas complejas y repetitivas, lo que mejora la eficiencia operativa.
  • Reducción del tiempo de desarrollo: Evita escribir y mantener secuencias de comandos personalizadas complejas.
  • Rendimiento: Completa las operaciones sensibles al tiempo dentro del tiempo requerido tiempo. Con varios trabajos por lotes que se ejecutan de forma simultánea en un bucket, puedes procesar hasta mil millones de objetos en tres horas.
  • Reintentos automáticos: Reintentos automáticos para operaciones fallidas.
  • Supervisión de trabajos: Seguimiento detallado del progreso para supervisar el estado y la finalización de todos los trabajos.

Casos de uso

Cuando se usan con conjuntos de datos de Storage Insights, las operaciones por lotes de Storage te permiten realizar las siguientes tareas:

  • Administración de la seguridad:

    • Establece claves de encriptación en varios objetos con el método de reescritura de objetos.
    • Aplica o quita conservaciones de objetos para controlar la inmutabilidad de los objetos.

  • Cumplimiento:

    • Usa conservaciones de objetos para cumplir con los requisitos de retención de datos para el cumplimiento normativo.
    • Establece configuraciones de retención de objetos para administrar los ciclos de vida de los datos y las políticas de cumplimiento.
    • Borra datos entre períodos específicos para cumplir con los requisitos de cumplimiento de eliminación.

  • Transformación de datos: Realiza actualizaciones masivas de los metadatos de los objetos.

  • Optimización de costos: Borra objetos de forma masiva en buckets de Cloud Storage para reducir los costos de almacenamiento.

Configuraciones de trabajo

Para crear un trabajo de operaciones por lotes de Storage, deberás establecer las siguientes configuraciones de trabajo. Las configuraciones de trabajo son parámetros que controlan cómo se define el trabajo para diferentes requisitos de procesamiento.

  • Nombre del trabajo: Es un nombre único para identificar el trabajo de operaciones por lotes de Storage. Se usa para realizar un seguimiento, supervisar y hacer referencia al trabajo. Los nombres de los trabajos son alfanuméricos, por ejemplo, job-01.

  • Descripción del trabajo (opcional): Es una breve descripción del propósito del trabajo. Esto ayuda a comprender y documentar los detalles del trabajo. Por ejemplo, Deletes all objects in a bucket.

  • Nombre del bucket: Es el nombre del bucket de almacenamiento que contiene los objetos que se procesarán. Esto es fundamental para ubicar los datos de entrada. Por ejemplo, my-bucket. Solo puedes especificar un nombre de bucket para un trabajo.

  • Selección de objetos: Son los criterios de selección que definen qué objetos se procesarán. Puedes especificar los criterios con cualquiera de las siguientes opciones:

    • Manifiesto: Crea un manifiesto y especifica su ubicación cuando crees el trabajo de operaciones por lotes de Storage. El manifiesto es un archivo CSV que se sube a Google Cloudy que contiene un objeto o una lista de objetos que deseas procesar. Cada fila del manifiesto debe incluir el bucket y el name del objeto. De manera opcional, puedes especificar la generation del objeto. Si no especificas la generation, se usa la versión actual del objeto.

      El archivo debe incluir una fila de encabezado con el siguiente formato:

      bucket,name,generation

      El siguiente es un ejemplo del manifiesto:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      También puedes crear un manifiesto con conjuntos de datos de Storage Insights. Para obtener más información, consulta Crea un manifiesto con conjuntos de datos de Storage Insights.

    • Prefijos de objetos: Especifica una lista de prefijos para filtrar objetos dentro del bucket. Solo se procesan los objetos con estos prefijos. Si está vacío, se procesan todos los objetos del bucket.

  • Tipo de trabajo: Las operaciones por lotes de Storage admiten los siguientes tipos de trabajos, y ejecutan un solo trabajo por operación por lotes.

    • Borrado de objetos: Puedes borrar objetos dentro de un bucket. Esto es fundamental para la optimización de costos, la administración del ciclo de vida de los datos y el cumplimiento de las políticas de borrado de datos.

    • Actualizaciones de metadatos: Puedes modificar los siguientes metadatos de objetos:

      • Metadatos personalizados: Puedes actualizar cualquier par clave-valor definido por el usuario asociado con el objeto.

      • Metadatos fijos: Puedes actualizar Cache-Control, Content-Disposition, Content-Encoding, Content-Language, Content-Type, Custom-Time, y Retention configuration. Para modificar las conservaciones de objetos, usa el tipo de trabajo de actualizaciones de conservaciones de objetos.

    • Actualizaciones de conservaciones de objetos: Puedes habilitar o inhabilitar las conservaciones de objetos. Las conservaciones de objetos evitan que los objetos se borren o modifiquen, lo que es esencial para el cumplimiento y la retención de datos.

    • Actualizaciones de claves de encriptación de objetos: Puedes administrar las claves de encriptación administradas por el cliente para uno o más objetos. Esto incluye aplicar o cambiar claves de encriptación con el método de reescritura de objetos.

    • Actualizaciones de contexto de objetos: Puedes administrar los contextos de objetos asociados con tus objetos. Puedes borrar todos los contextos de objetos existentes o realizar actualizaciones específicas, como quitar claves o insertar y actualizar pares clave-valor.

  • Ejecución de prueba (opcional): Puedes crear un trabajo de operaciones por lotes de Storage en el modo de ejecución de prueba para comprender el alcance y el resultado de tu operación sin realizar cambios en tus objetos. Una ejecución de prueba simula la operación, pero no realiza transformaciones, lo que te ayuda a validar la configuración del trabajo antes de ejecutar el trabajo real. El resultado de la ejecución de prueba proporciona la siguiente información:

    • La cantidad de objetos que se verán afectados.

    • Cualquier error potencial que pueda ocurrir.

    • Si usas prefijos de objetos para la selección de objetos, el resultado también incluye el tamaño total de los objetos que se verán afectados.

Precios

Para estimar los cargos de operación por ejecutar un trabajo de operaciones por lotes de Storage, y verificar los cargos de la lista de objetos para una ejecución de prueba, consulta los precios de Cloud Storage.

Una ejecución de prueba te ayuda a validar la configuración del trabajo de operaciones por lotes de Storage de antemano, sin incurrir en costos de operación reales, aunque puede generar costos de lista de objetos.

Limitaciones

Las operaciones por lotes de Storage tienen las siguientes limitaciones:

  • Los trabajos de operaciones por lotes de Storage tienen una duración máxima de 14 días. Cualquier trabajo en curso que no se complete dentro de los 14 días de su creación se cancelará automáticamente.

  • Cuando especificas prefijos de objetos para un trabajo, puedes incluir un máximo de 1,000 prefijos.

  • No recomendamos ejecutar más de 20 trabajos de operaciones por lotes simultáneos en el mismo bucket.

  • Las operaciones por lotes de Storage no son compatibles con los siguientes buckets:

¿Qué sigue?