Acerca de las estadísticas de datos no estructurados

Un análisis de perfil de datos para datos no estructurados en Knowledge Catalog transforma los datos ocultos o los archivos no estructurados, como los PDF en Cloud Storage, en recursos estructurados y consultables en BigQuery. Si bien las herramientas de descubrimiento estándar se limitan a los metadatos a nivel de archivo, como el tamaño y el tipo, un análisis de perfil de datos para datos no estructurados potenciado por los modelos de Gemini de Vertex AI analiza el contenido de los archivos. Extrae automáticamente el contexto empresarial necesario para fundamentar los agentes de IA y potenciar el análisis avanzado.

Esta automatización elimina la necesidad de analizar documentos de forma manual y de usar código ETL personalizado, lo que te permite descubrir, clasificar y usar datos a los que antes no podías acceder.

Un análisis de perfil de datos para datos no estructurados analiza el contenido de los archivos no estructurados para extraer información y deducir esquemas. Esto es diferente de la función de estadísticas de datos para datos estructurados, que genera descripciones y consultas en SQL basadas en los metadatos de las tablas estructuradas existentes, y del perfilado de datos estadístico estándar, que calcula métricas como los recuentos de valores nulos y las distribuciones de valores.

Descubrimiento automatizado y creación de perfiles semánticos

Puedes realizar la creación de perfiles de datos no estructurados con dos flujos de trabajo diferentes, según tu punto de partida:

  • Durante un análisis de descubrimiento de Cloud Storage: Un análisis de descubrimiento localiza automáticamente tus archivos no estructurados en Cloud Storage y los cataloga en una o varias tablas de objetos en BigQuery para su análisis. Una tabla de objetos es una tabla de solo lectura sobre objetos de datos no estructurados que residen en Cloud Storage. Cuando ejecutas un análisis de descubrimiento con la opción Habilitar la inferencia semántica habilitada, este sirve como punto de entrada automatizado para la generación de perfiles de datos no estructurados.

  • Como análisis de perfil de datos independiente para datos no estructurados: Si ya tienes tablas de objetos de BigQuery existentes, puedes ejecutar un análisis de perfil de datos para datos no estructurados directamente en esas tablas. En este flujo de trabajo independiente, también puedes guiar la extracción proporcionando una instrucción personalizada en la especificación de DataScan.

Cuando se realiza la generación de perfiles de datos no estructurados (ya sea automáticamente durante un análisis de descubrimiento o como un análisis independiente), el sistema registra las tablas de objetos como entradas en Knowledge Catalog. Una entrada representa un recurso de datos para el que capturas metadatos. Cuando se crean varias tablas debido a un análisis de descubrimiento, cada entrada tiene su propia pestaña de estadísticas. Luego, puedes abrir esta entrada para explorar las estadísticas de datos generadas. El sistema realiza las siguientes acciones:

  1. Identifica y agrupa archivos (solo en el análisis de detección). Identifica y organiza automáticamente los archivos no estructurados en Cloud Storage en tablas de objetos. Estas tablas de objetos son de solo lectura y proporcionan una interfaz estructurada para tus datos no estructurados.

  2. Realiza un análisis del perfil de datos para los datos no estructurados. Usa los modelos de Gemini de Vertex AI para analizar el contenido de los archivos y comprender su significado y estructura. Esto incluye la inferencia de entidades, que usa la IA generativa para extraer atributos específicos, como Company, Product o Serial Number, del contenido del archivo. También incluye la extracción de relaciones, que identifica cómo se conectan estas entidades, por ejemplo, Component is_part_of Product, para crear un gráfico semántico. Si ejecutas un análisis del perfil independiente, puedes guiar esta extracción proporcionando una instrucción personalizada en la especificación de DataScan.

  3. Genera esquemas y perfiles de gráficos. Proporciona un esquema relacional sugerido por IA y adjunta un aspecto Graph Profile (dataplex-types.global.graph-profile) a la entrada del catálogo que representa la tabla de objetos. Con los aspectos, puedes capturar metadatos con entradas. Este aspecto de los metadatos contiene los esquemas inferidos para las entidades (NodeType) y las relaciones (EdgeType).

  4. Enriquece los metadatos. Completa automáticamente el Knowledge Catalog con metadatos generados por IA. Esto hace que los datos se puedan buscar y estén listos para la extracción.

En lugar de diseñar esquemas de bases de datos de forma manual, puedes realizar la extracción de datos con SQL de un solo clic o la orquestación de canalizaciones. En este proceso, se materializan las entidades y las relaciones inferidas en formatos estructurados, como tablas o vistas físicas de BigQuery.

Métodos de la API

Puedes configurar, ejecutar y administrar análisis de perfiles de datos para datos no estructurados y sus entradas de catálogo resultantes con los siguientes métodos de la API de REST:

Método de la API Descripción
projects.locations.dataScans.create Crea un análisis de detección (con dataDiscoverySpec) o un análisis de perfil de datos independiente para datos no estructurados (con unstructuredDataProfileSpec).
projects.locations.dataScans.run Activa un trabajo de análisis de perfil de datos o de descubrimiento a pedido para analizar archivos no estructurados y generar estadísticas semánticas.
projects.locations.dataScans.get Recupera los detalles de configuración y los resultados del trabajo más reciente de un análisis de perfil de datos existente.
projects.locations.dataScans.jobs.list Enumera los trabajos de análisis históricos para un análisis de perfil de datos o un análisis de descubrimiento específicos.
projects.locations.dataScans.jobs.get Recupera los registros y los resultados detallados de la ejecución de un trabajo de análisis de perfil de datos específico.
projects.locations.entryGroups.entries.get Recupera una entrada de catálogo que representa una tabla de objetos, incluidos sus aspectos de metadatos adjuntos generados por IA (como GraphProfile).
projects.locations.entryGroups.entries.patch Actualiza una entrada de catálogo para adjuntar, modificar o seleccionar aspectos de metadatos (como dataplex-types.global.graph-profile).

Casos de uso

Puedes usar los análisis de perfiles de datos para datos no estructurados con diversos fines en diferentes sectores, incluidos los siguientes:

  • Configuración de la canalización y normalización sin ETL. Facilita la extracción de datos de Cloud Storage a BigQuery reemplazando los analizadores personalizados por sugerencias de esquemas automatizadas y la implementación con un solo clic para materializar los datos en tablas, vistas o gráficos semánticos de BigQuery.

    Por ejemplo, en el comercio electrónico y el comercio minorista, un mercado puede normalizar automáticamente las facturas de proveedores y los pedidos de compra en cientos de diseños de PDF diferentes en un esquema de BigQuery cohesivo y unificado (que asigna Unit Pr., Price/Pkg y Item Cost a una sola columna Unit_Price) sin escribir código de análisis personalizado. En el sector de la atención médica, los bioestadísticos pueden incorporar protocolos de ensayos clínicos multicéntricos y formularios de informes de casos (CRF) en tablas estructuradas para realizar análisis de cohortes rápidos.

  • Clasificación y validación de contenido. Agrupa automáticamente los datos no estructurados en recursos aptos para la búsqueda enriquecidos con metadatos generados por IA, lo que permite a los administradores de datos realizar la validación y la supervisión con interacción humana de las entidades extraídas a gran escala.

    Por ejemplo, en los servicios financieros, un banco de inversión que realiza la diligencia debida de fusiones y adquisiciones puede clasificar automáticamente grandes repositorios de contratos históricos y acuerdos de crédito, y extraer entidades legales complejas (Contracting_Parties, Indemnity_Cap, Governing_Law). Los administradores de datos pueden explorar el gráfico de conocimiento visual en la pestaña Estadísticas para identificar responsabilidades de alto riesgo antes de exportar los datos a los informes ejecutivos.

  • Fundamentos de agentes de IA. Fundamentar agentes de generación mejorada por recuperación (RAG) con gráficos verificados Esto proporciona una "cadena de trazabilidad" clara que conecta los archivos sin procesar con la lógica empresarial estructurada, lo que reduce las alucinaciones y permite que los agentes de IA naveguen por las uniones de varias tablas sin ambigüedades.

    Por ejemplo, en las operaciones industriales y de fabricación, una empresa de maquinaria pesada puede extraer relaciones de equipos a partir de décadas de registros de mantenimiento de campo no estructurados y de informes de incidentes. Cuando un técnico en las instalaciones le pregunta a un agente de IA conversacional cómo resolver una caída inusual de la presión hidráulica, el agente usa el gráfico de relaciones verificado (Error_Code indicates_failure Hydraulic_Valve) para brindar un plan de reparación preciso paso a paso que cita el informe histórico exacto del incidente.

Limitaciones

Revisa las siguientes limitaciones antes de usar los análisis de perfiles de datos para datos no estructurados:

  • Formatos admitidos. Si bien los análisis de descubrimiento identifican y agrupan automáticamente varios tipos de archivos no estructurados en tablas de objetos de BigQuery, el motor de inferencia semántica para los análisis de perfil de datos de datos no estructurados se optimiza principalmente para documentos PDF.

  • Ubicaciones. Los análisis de perfil de datos para datos no estructurados solo están disponibles en las ubicaciones que admiten los modelos de Gemini 2.5 Pro de Vertex AI (por ejemplo, us-central1, europe-west1 y asia-southeast1). Para obtener una lista de las regiones admitidas, consulta la sección Regiones admitidas en Gemini 2.5 Pro. Los análisis creados en regiones no admitidas muestran errores de validación o ejecución.

  • Permiso del recurso: Los análisis de perfil de datos para datos no estructurados operan exclusivamente en tablas de objetos de BigQuery. No admiten tablas estructuradas estándar de BigQuery, tablas externas sobre datos estructurados ni vistas de BigQuery.

Precios

Durante la fase de versión preliminar pública, los análisis de perfil de datos para datos no estructurados están disponibles para la experimentación y las pruebas en virtud de condiciones promocionales especializadas:

  • Inferencia semántica: No se aplican cargos por usar los modelos de Gemini de Vertex AI para extraer información semántica y, luego, inferir perfiles de gráficos durante los análisis de descubrimiento a lo largo del período de vista previa.

  • Costos de los recursos subyacentes: Se aplican cargos estándar por los recursos necesarios para almacenar y procesar tus datos:

    • Knowledge Catalog

      • Los análisis de descubrimiento se facturan según los SKU de procesamiento premium de Knowledge Catalog (horas de DCU) para el análisis y la agrupación de referencia de archivos no estructurados. Para obtener más información, consulta Precios del Catálogo de conocimiento.

      • Los aspectos de metadatos generados por IA, incluidos los perfiles de gráficos, generan cargos de almacenamiento estándar del catálogo de Knowledge Catalog.

    • BigQuery y Dataform

      • Si usas el método de extracción de canalizaciones, se aplican los cargos estándar por la ejecución de Dataform y los trabajos de BigQuery.

      • Si usas el método de SQL, se aplican los cargos estándar de BigQuery ML (ML.PROCESS_DOCUMENT) y las tarifas de procesamiento de consultas de BigQuery.

      • Todos los datos materializados en BigQuery, incluidas las tablas de objetos, los metadatos inferidos y las entidades extraídas, generan cargos estándar de almacenamiento y consulta de BigQuery. Para obtener más información, consulta los precios de BigQuery.

Las estructuras de facturación oficiales y exclusivas para los análisis de perfil de datos de datos no estructurados y la inferencia semántica comenzarán a aplicarse a partir de la disponibilidad general (DG).

Cuotas

Los recursos y las cuotas de la API de DataScan estándar se aplican a cada trabajo de análisis de descubrimiento o de perfil de datos individual. Una cuota específica rige el volumen de inferencia semántica: Las ejecuciones diarias totales de análisis de perfil de datos para datos no estructurados en tablas de objetos de BigQuery se limitan a 140 ejecuciones por proyecto y por día.

Cuando se realiza la creación de perfiles de datos no estructurados durante un análisis de descubrimiento, también se aplican los límites de la cantidad de tablas que admite un análisis de descubrimiento. Para obtener más información, consulta Cuotas y límites de BigQuery.

¿Qué sigue?