Enriquecimientos de objetos

Puedes usar los enriquecimientos de objetos para generar automáticamente metadatos estructurados sin compilar canalizaciones de aprendizaje automático personalizadas. Los enriquecimientos de objetos aplican los modelos de aprendizaje automático previamente entrenados de Google directamente a tus objetos almacenados para ayudarte a buscar, organizar y administrar tus datos no estructurados a gran escala.

Para comenzar a generar metadatos para tus objetos, consulta Configura los enriquecimientos de objetos.

Cómo funciona

Para usar los enriquecimientos de objetos, debes trabajar con las siguientes partes del sistema:

  • Configuración de funciones (FeatureConfig): Creas una configuración de funciones para especificar qué buckets o proyectos supervisa Cloud Storage.
  • Modelos de aprendizaje automático: En tu configuración, eliges los modelos que deseas aplicar, como los que detectan objetos, etiquetan imágenes, analizan rostros o clasifican documentos PDF.
  • Enriquecimientos de objetos (metadatos): Cloud Storage analiza tus objetos de forma asíncrona y evalúa los objetos aptos con los modelos seleccionados. Luego, Cloud Storage adjunta los metadatos resultantes directamente a tus objetos como contextos de objetos.

Después de que Cloud Storage adjunta los metadatos de enriquecimiento a tus objetos, los metadatos están listos para usarse. Puedes inspeccionar los enriquecimientos de objetos individuales o usar conjuntos de datos de Storage Insights para analizar metadatos en millones de objetos con SQL en BigQuery.

En el siguiente diagrama, se muestra cómo Cloud Storage usa los enriquecimientos de objetos para extraer contexto de datos no estructurados y almacenarlos como contextos de objetos para flujos de trabajo de IA y análisis posteriores:

Figura 1. Flujo de trabajo de enriquecimiento de objetos, desde los datos sin procesar hasta los contextos de objetos y los agentes de IA.
Figura 1. Cómo los enriquecimientos de objetos extraen metadatos y los almacenan como contextos de objetos

Modelos compatibles

Cuando creas una configuración de funciones, seleccionas los modelos de aprendizaje automático que mejor se adapten a tus datos y objetivos de análisis. Cloud Storage evalúa los objetos aptos con los modelos elegidos y genera metadatos estructurados en contexts.custom.

En la tabla de modelos compatibles, se muestra cada modelo, lo que detecta y datos de muestra de salida. Para obtener definiciones de esquemas detalladas y claves de contexto, consulta Modelos y esquemas compatibles.

Modelo Descripción Datos de muestra de salida
Detección de objetos Detecta varios objetos dentro de una imagen y proporciona sus posiciones y límites rectangulares. Producto, Animal, Persona
Etiquetado de imágenes Detecta y extrae información sobre entidades en una imagen en un amplio grupo de categorías, como objetos, ubicaciones y actividades. Paisaje, Urbano, Noche
Detección de rostro Detecta rostros en imágenes, incluidos polígonos de límite, puntos de referencia faciales (ojos, nariz, boca), ángulos de orientación y probabilidades de expresión. Cantidad de rostros, ángulo de rotación e inclinación
Detección de contenido explícito Evalúa imágenes en busca de contenido sensible o inapropiado, incluido material para adultos o violento. Calificaciones de probabilidad de contenido para adultos y violento
Clasificación de PDF Clasifica documentos PDF en categorías estándar de empresas y sectores según su contenido. Finanzas, Impuestos, Factura (categorías y puntuaciones)

Casos de uso

Puedes usar los enriquecimientos de objetos para optimizar la administración de datos no estructurados y preparar objetos para los siguientes flujos de trabajo de IA y análisis posteriores:

  • Organizar y catalogar objetos desorganizados: Clasifica automáticamente colecciones de documentos PDF (como facturas, resúmenes de cuenta bancarios y formularios fiscales) y de imágenes. Puedes usar estas clasificaciones para compilar catálogos de Data Catalog con capacidad de búsqueda en tus buckets sin escribir código personalizado.
  • Fundamentar agentes de IA y mejorar la búsqueda: Convierte repositorios de documentos desorganizados en bases de conocimiento estructuradas. Puedes usar categorías de documentos y etiquetas de imágenes para mejorar la recuperación durante la generación mejorada por recuperación (RAG) y fundamentar tus aplicaciones de IA generativa.
  • Tomar muestras y preparar datos para la IA generativa: Diferencia entre tipos de documentos para realizar un muestreo estratificado antes de enrutar el contenido a modelos de lenguaje grandes (LLM) o a la revisión humana.
  • Organizar conjuntos de datos de entrenamiento de aprendizaje automático: Filtra y segmenta imágenes y documentos por taxonomía o etiquetas visuales para ensamblar conjuntos de datos de entrenamiento específicos del dominio para el ajuste de modelos.
  • Buscar contenido sensible o explícito: Inspecciona automáticamente las imágenes subidas en busca de material inapropiado para admitir tus políticas de seguridad y moderación de contenido.
  • Mejorar las instrucciones multimodales: Pasa metadatos estructurados, como cuadros delimitadores y categorías de documentos, como contexto cuando solicitas modelos multimodales como Gemini.
  • Simplificar las arquitecturas de datos: Elimina las canalizaciones de transferencia personalizadas y la infraestructura de procesamiento generando metadatos directamente en Cloud Storage.

Consulta y analiza tus metadatos

Cloud Storage adjunta los enriquecimientos de objetos directamente a tus objetos como contextos de objetos. Según tu escala y flujo de trabajo, puedes acceder a estos metadatos y analizarlos de las siguientes maneras:

  • Inspeccionar objetos individuales: Usa la Google Cloud consola o las APIs de Cloud Storage para inspeccionar los enriquecimientos de objetos específicos. Para obtener instrucciones, consulta Administra los enriquecimientos de objetos.
  • Analizar a gran escala con SQL: Usa conjuntos de datos de Storage Insights para exportar metadatos en millones o miles de millones de objetos directamente a BigQuery. Después de que Storage Insights exporta los metadatos, puedes consultar la vista object_contexts_catalog_view con SQL estándar. Por ejemplo, puedes buscar etiquetas, filtrar por categoría o encontrar objetos que tengan puntuaciones de confianza altas.

Para comenzar a usar consultas en SQL y recetas de muestra, consulta Analiza los enriquecimientos de objetos en BigQuery.

Consideraciones y limitaciones

Antes de configurar los enriquecimientos de objetos, revisa las siguientes consideraciones operativas:

Ubicación de procesamiento

Los enriquecimientos de objetos procesan datos en tres ubicaciones geográficas: us, eu y asia. Cuando selecciones una ubicación de procesamiento, ten en cuenta las siguientes consideraciones:

  • Cumplimiento: Asegúrate de que la ubicación de procesamiento elegida cumpla con tus requisitos reglamentarios y de soberanía de los datos.
  • Rendimiento: Elige la ubicación de procesamiento más cercana a la región de almacenamiento de tu bucket.
  • Costo: Para evitar cargos duplicados, configura solo una ubicación de procesamiento para cada bucket y modelo. Si configuras varias ubicaciones para el mismo bucket y modelo, Cloud Storage procesa tus objetos en cada ubicación y te factura por cada ejecución.

Procesamiento y rendimiento

Revisa las siguientes restricciones sobre los tipos de contenido, los tamaños de los objetos y los cronogramas de procesamiento:

  • Procesamiento asíncrono: Cloud Storage procesa objetos de forma asíncrona.

  • Límite de tamaño de objeto: Los objetos (imágenes y archivos PDF) deben tener un tamaño de 20 MiB o menos.

  • Tipos de contenido compatibles: Cloud Storage usa el Content-Type campo de metadatos establecido en un objeto para determinar si se debe evaluar. Si un objeto tiene un Content-Type no válido o faltante, Cloud Storage no procesa el objeto, incluso si los datos subyacentes son una imagen o un PDF válidos. Para asegurarte de que Cloud Storage procese el objeto, actualiza los metadatos de Content-Type a uno de los siguientes tipos compatibles:

    • Imágenes: BMP, GIF, ICO, JPEG, PNG, TIFF y WEBP.
    • Documentos: PDF (application/pdf).

Características no compatibles

Los enriquecimientos de objetos no son compatibles con los siguientes tipos de bucket y operaciones:

Administración de la configuración y el alcance

Cuando defines y mantienes buckets de destino en tus configuraciones de funciones, se aplican los siguientes requisitos:

  • Alcance del bucket: Especifica nombres de buckets exactos en la configuración de funciones. Cloud Storage no admite expresiones regulares ni patrones de comodines.
  • Ciclo de vida del bucket: Cloud Storage no agrega automáticamente buckets recién creados, recreados o reubicados a las configuraciones existentes. Debes actualizar la configuración de funciones para incluir estos buckets.

Costos y seguridad

Revisa los siguientes detalles operativos sobre las claves de encriptación y los cargos de acceso a los datos:

  • Claves proporcionadas por el cliente (CSEK): Los enriquecimientos de objetos no admiten objetos encriptados con claves de encriptación proporcionadas por el cliente.
  • Acceso al almacenamiento y Autoclass: Para generar metadatos, los enriquecimientos de objetos leen tus datos de objetos. Estas operaciones de lectura generan cargos estándar de acceso a los datos. Además, si tu bucket tiene habilitado Autoclass, estas lecturas activan transiciones de clase de almacenamiento.

Precios

El uso de enriquecimientos de objetos genera cargos por inferencia de modelos, almacenamiento de metadatos, operaciones de acceso a los datos y redes. Para obtener más información, consulta Precios.

Supervisa y soluciona problemas

Para hacer un seguimiento del progreso de la generación de metadatos y resolver problemas cuando configuras los enriquecimientos de objetos, usa los siguientes recursos:

¿Qué sigue?