Descripción general de Document AI Warehouse

Descripción general de conceptos

Document AI Warehouse es una plataforma integrada y basada en la nube para almacenar, buscar, organizar, administrar y analizar documentos y sus metadatos estructurados (llamados propiedades). Los documentos incluyen datos estructurados (p.ej., formularios, facturas) y no estructurados (p.ej., contratos, artículos de investigación), y sus propiedades (metadatos) incluyen datos extraídos por IA de documentos y etiquetas asignadas de forma manual o por IA (por ejemplo, número de cuenta, ID de préstamo, tipo de documento).

Beneficios y funciones clave

Document AI Warehouse ofrece varias ventajas en comparación con los repositorios heredados. A continuación, se indican algunas funciones y beneficios:

  • Centrado en APIs: API integrada única para administrar documentos y sus propiedades (metadatos extraídos o etiquetados), que se integra en tus flujos de trabajo y aplicaciones.
  • Administración de metadatos: para administrar metadatos extraídos y etiquetados.
  • Gobernanza: Se integra en IAM y los directorios corporativos.
    • El control de acceso detallado (permisos) a nivel de documento y carpeta se puede asignar a usuarios y grupos para ver, editar, administrar (compartir, borrar) documentos.
    • Document AI Warehouse se integra en IAM (Cloud Identity) para que los usuarios y los grupos se puedan aprovisionar en Cloud Identity.
    • Los usuarios o grupos también se pueden federar o sincronizar en Cloud Identity desde un proveedor de identidad o LDAP empresarial, como Azure AD, Active Directory y Keycloak.
  • Búsqueda: El producto admite la búsqueda semántica enriquecida, incluidas las siguientes funciones:
    • Búsqueda en el texto completo
    • Filtrar los resultados de la búsqueda por propiedades (fecha, número, enumeración, texto) Los filtros se pueden combinar con los operadores AND y OR
    • Búsqueda semántica: Admite sinónimos, errores ortográficos y lematizaciones comunes. Se pueden usar comillas (" ") en la consulta para especificar palabras clave de concordancia exacta
    • Sinónimos personalizados: términos específicos de la industria o de la empresa, por ejemplo.
    • Busca dentro de una jerarquía de carpetas raíz
    • Operadores para las palabras clave de búsqueda: "" concordancia exacta, | o, + y, - excluir
  • Organización: Administración flexible de carpetas
    • Los documentos se pueden catalogar en una o más carpetas, según la aplicación (por ejemplo, un documento de identidad se coloca en una carpeta KYC, una carpeta de préstamos o una carpeta de cuenta bancaria), sin replicar el documento.
    • Estas carpetas tienen sus propias propiedades y control de acceso, independientes de las propiedades y el control de acceso de los documentos.
    • Las carpetas se pueden anidar en una o más jerarquías [por ejemplo, AllLoans->State->Branch->Loans o LoanTypes->Loans].
    • Los usuarios pueden buscar documentos dentro de una jerarquía de carpetas, p.ej., buscar en AllLoans->State
  • IU*: El producto incluye una IU accesible desde la Web con las siguientes características:
    • Explorador de documentos: Busca documentos, filtra los resultados de la búsqueda, selecciona documentos para actualizar las propiedades de forma masiva o borrarlos
    • Visualizador de documentos: Visualiza documentos, visualiza o actualiza sus propiedades, asigna LCA y agrega a carpetas
    • Subir: Sube documentos y ejecútalos a través de un extractor de DocAI** (ya sea OCR o un analizador especializado compatible, como Invoice DocAI).
    • Explorador de carpetas: Agrega documentos a una o más carpetas y explora la jerarquía de carpetas.
    • IU incorporable: Los componentes Explorador de documentos y Visualizador de documentos (para archivos PDF) se pueden integrar en las aplicaciones del cliente.
  • Conectores*** a repositorios locales y en la nube comunes: Proporcionamos un conector de Cloud Storage a Document AI Warehouse (como una plantilla independiente basada en Google Workflows) que se puede personalizar o extender a otros repositorios. También trabajamos con socios para proporcionar conectores listos para usar a repositorios como Sharepoint, Amazon S3, IBM FileNet y otros, para transferir e indexar documentos.
  • Flexibilidad de migración frente a federación: El producto admite una arquitectura flexible, de modo que el contenido de tus documentos se puede migrar a Document AI Warehouse o permanecer en su lugar si hay restricciones en la migración de contenido (simplemente indexamos el contenido y los metadatos).
  • Integración en flujos de trabajo de documentos: Se integra en Google Workflows y otros flujos de trabajo de procesamiento de documentos, ya que admite lo siguiente:
    • Propiedades: Representan el estado de un documento en un flujo de trabajo y las APIs que los flujos de trabajo pueden usar para actualizar el estado de los documentos.
    • Interfaz del Explorador de documentos: Permite realizar un seguimiento del progreso de los documentos a través de una canalización de flujo de trabajo, lo que permite que una persona inspeccione y administre fallas y documentos detenidos en la canalización de flujo de trabajo.
    • Notificaciones condicionales: En las que los documentos que cumplen con ciertas condiciones pueden activar o notificar un flujo de trabajo a través de un tema de Pub/Sub o una llamada a la API web, por ejemplo, Activador: OnUpdate; Condición: (DocType=Invoice y TotalAmount>$1000) -> enviar notificación de Pub/Sub
  • Administración de políticas y aplicación de cumplimiento: Las notificaciones condicionales y las notificaciones programadas se pueden usar para activar flujos de trabajo que apliquen políticas (por ejemplo, administración de registros, retención y disposición, retenciones legales) en documentos específicos de Document AI Warehouse.
  • Archivos admitidos: Archivos PDF de texto, imágenes (archivos PDF escaneados, archivos TIFF, archivos JPEG), archivos de Office (DOCX, PPTX, XLSX) que se ejecutan a través de OCR y se indexan.
    • Nota: Si bien el producto se enfoca en los documentos, también se usa para administrar las imágenes asociadas (p. ej., en verticales como seguros, ingeniería, construcción, investigación, etc.).

  • Integración en Document AI: Document AI Warehouse se integra en los procesadores de Document AI en varios niveles:

    • Procesamiento con IA de documentos en la IU: La IU de Document AI Warehouse permite a los usuarios subir archivos PDF o TIFF escaneados, o tipos de documentos especiales, que se extraen automáticamente con el OCR de Document AI o procesadores especializados, respectivamente, antes de que se indexe en Document AI Warehouse.
    • Administra canalizaciones por lotes de Document AI***: Document AI Warehouse se integra en Workflows para proporcionar plantillas que procesan canalizaciones por lotes de documentos mediante la extracción y clasificación de Document AI. Esto no es trivial, ya que implica operaciones de larga duración (LRO) y llamadas a la API asíncronas que se deben administrar para controlar fallas y reintentos. La plantilla de Workflows organiza estas canalizaciones. La IU de Document AI Warehouse se puede usar para buscar y hacer un seguimiento del flujo de documentos a través de esas canalizaciones, visualizar el resultado de Document AI para detectar fallas en cada paso de la canalización y tomar medidas con respecto a los documentos detenidos o con errores.

*La IU se encuentra en versión preliminar y se espera que pronto esté disponible de forma general.

**La OCR y otros extractores de documentos están disponibles en los productos de Document AI, pero no se incluyen en Document AI Warehouse.

***Estas funciones no forman parte de Document AI Warehouse. Estas funciones están habilitadas mediante secuencias de comandos y componentes de código abierto externos que los clientes pueden implementar o personalizar, y que no se implementan en Document AI Warehouse.

Renuncias de responsabilidad y limitaciones conocidas

Para obtener más información sobre las limitaciones de responsabilidad y las limitaciones conocidas, consulta Limitaciones de responsabilidad y limitaciones conocidas.

Terminología

A continuación, se indican los términos que se usan en Document AI Warehouse.

Términos y conceptos Definición y ejemplos
Documento Es un registro en Document AI Warehouse en el que los usuarios pueden buscar, administrar y aplicar el control de acceso. Incluye el documento sin procesar y algunos metadatos asociados.

[Las imágenes almacenadas en Document AI Warehouse también se denominan "documentos"]

Documento sin procesar [Contenido] Es el archivo de contenido sin procesar (pdf, imagen, objeto binario o blob) del documento.
Esquema [Tipo de documento] Cada documento es de un tipo determinado y se especifica mediante un esquema. Por ejemplo, una factura contiene el siguiente esquema: nombre del proveedor, nombre del vendedor, importe de la factura, etcétera.
Propiedad [Metadatos] Son los campos del esquema de documentos que se pueden extraer del documento o enriquecer (etiquetar) por los usuarios. Actualmente, los metadatos incluyen los siguientes tipos: valores de texto libre, enumeración, numérico, fecha y mapa (una jerarquía JSON de pares clave-valor). En el futuro, planeamos admitir los tipos booleano, monetario y otros.
Extractores de documentos (DocAI y otros) Una canalización de IA puede extraer documentos para que las extracciones se puedan transferir y administrar en Document AI Warehouse (como metadatos) junto con el documento sin procesar. La extracción se puede realizar de las siguientes maneras:
  • Analizadores especializados de Document AI (para formularios de adquisiciones, préstamos y otros)
  • OCR, AutoML, analizador de formularios (para imágenes como TIFF, PNG, etc.)
  • Otros modelos personalizados
  • Herramientas de extracción de texto para formatos de documentos especializados, como PDF, documentos de Office y otros.

    Ten en cuenta que Document AI Warehouse puede funcionar con cualquier canalización de extracción que llame a las APIs de Document AI Warehouse para transferir o actualizar documentos.
Carpetas Una carpeta es una colección virtual de documentos (virtual porque el mismo documento puede estar contenido en una o más carpetas). Tiene un "Tipo de documento/esquema" y contiene metadatos y listas de control de acceso, al igual que los documentos.

Un usuario necesita permiso de edición para la carpeta y permiso de visualización para el documento para poder agregar un documento a una carpeta.

Vínculos Los vínculos se usan para agregar documentos a carpetas o para vincular documentos relacionados entre sí. Los vínculos no tienen un "Tipo de vínculo"
Documentos relacionados Los documentos se pueden relacionar con vínculos direccionales de un documento a otro.
Permisos de vínculos Un usuario necesita permiso de edición para el objeto de origen (p. ej., una carpeta) y permiso de visualización para el objeto de destino (p. ej., un documento) para agregar un documento a una carpeta.
Política Es una política que se evalúa cuando se crea o actualiza un documento o una carpeta, y se usa para validar o actualizar los metadatos del documento, las LCA o agregar, mover o quitar documentos de las carpetas. Una política comprende lo siguiente:
  • Un activador, por ejemplo, en DocUpdate/DocCreate
  • Condición, por ejemplo, Invoice.Amount <$1000
  • Acción, por ejemplo, Actualizar metadatos del documento, Devolver evaluación de condición, Agregar documento a la carpeta, etc.

    Por lo general, una política se asocia con un tipo de documento.

    Se expresa en Common Expression Language con poco código (formato JSON, que se especifica más adelante).
Política de notificaciones Es un tipo especial de política en la que la acción consiste en publicar un mensaje en un tema de Pub/Sub cuando se cumple una condición determinada. Las aplicaciones o los flujos de trabajo de consumo pueden consumir el mensaje para activar acciones en los documentos o en otras partes de un flujo de trabajo empresarial.
Policy Engine, APIs de Policy Motor: Es el servidor que evalúa las políticas y toma medidas.

API: Es la API de Admin que se usa para crear, actualizar, leer y borrar políticas.

Búsqueda por facetas Una faceta es un filtro de metadatos que se usa en una consulta de búsqueda. Por ejemplo, si buscas resúmenes de cuenta bancaria con los filtros "Month = March 2021" y "Branch State = CA", los resultados de la búsqueda se filtrarán por estas 2 facetas.
  • La faceta suele ser un campo enumerado. Admitiremos las facetas de fecha y numéricas en versiones futuras.
  • Los administradores especifican las facetas de un tipo de documento en el esquema de documentos (a través de la API de Admin).
Búsqueda semántica La búsqueda semántica admite sinónimos o términos "relacionados semánticamente" en la consulta de búsqueda. P.ej., "licencia de conducir" devuelve "permiso de conducir".
Histograma de búsqueda El histograma es una función de la API de Search que devuelve la distribución (recuentos) de los resultados de la búsqueda por faceta. Por ejemplo, los resultados de la búsqueda de licencias de conducir devuelven el histograma "CA 500, NV 150, …"
Acceso universal vs. control de acceso a nivel de documento En Document AI Warehouse, se admiten dos modos de acceso para cada proyecto:
  1. Acceso universal: cualquier usuario puede acceder a cualquier documento del proyecto. La API tiene control de acceso para las cuentas de usuario o de servicio, pero no tiene permisos a nivel de documento.
  2. ACL a nivel del documento: Se otorgan permisos a nivel del documento a los usuarios. Cada documento tiene permisos de lectura, actualización y eliminación asignados a usuarios o grupos.