Visão geral do Document AI Warehouse

Cuidado: o Document AI Warehouse foi descontinuado e não estará mais disponível no Google Cloud após 16 de janeiro de 2025. Para proteger seus dados, migre todos os documentos salvos no Document AI Warehouse para uma alternativa, como o Cloud Storage. Verifique se a migração de dados foi concluída antes da data de desativação para evitar a perda de dados. Consulte Descontinuações para conferir mais detalhes.

Visão geral conceitual

A Document AI Warehouse é uma plataforma integrada baseada na nuvem para armazenar, pesquisar, organizar, controlar e analisar documentos e os metadados estruturados deles (chamados de propriedades). Os documentos incluem dados estruturados (por exemplo, formulários, faturas) e não estruturados (por exemplo, contratos, artigos de pesquisa), e as propriedades (metadados) incluem dados extraídos por IA de documentos e tags atribuídas manualmente ou por IA (por exemplo, número da conta, ID do empréstimo, tipo de documento).

Principais benefícios e recursos

A Document AI Warehouse oferece várias vantagens em relação aos repositórios legados. Veja alguns recursos e benefícios:

• Abordagem com foco na API: API única e integrada para gerenciar documentos e as propriedades deles (metadados extraídos ou marcados), que se integra aos seus fluxos de trabalho e aplicativos.
• Gerenciamento de metadados: para gerenciar metadados extraídos e marcados.
• Governança: integrada ao IAM e aos diretórios corporativos
  • O controle de acesso refinado (permissões) no nível do documento e da pasta pode ser atribuído a usuários e grupos para visualização, edição, gerenciamento (compartilhamento, exclusão) de documentos.
  • O Document AI Warehouse é integrado ao IAM (Cloud Identity) para que os usuários e grupos possam ser provisionados no Cloud Identity.
  • Usuários/grupos também podem ser federados/sincronizados no Cloud Identity de um provedor de identidade / LDAP corporativo, como o Azure AD, o Active Directory ou o Keycloak.
• Pesquisa: o produto é compatível com pesquisa semântica avançada, incluindo os seguintes recursos:
  • Pesquisa de texto completo
  • Filtrar resultados da pesquisa por propriedades (data, numérica, tipo enumerado, texto). Os filtros podem ser combinados com os operadores AND e OR.
  • Pesquisa semântica: compatível com sinônimos comuns, erros de ortografia e derivações. As aspas (" ") podem ser usadas na consulta para especificar palavras-chave de correspondência exata.
  • Sinônimos personalizados: termos específicos do setor ou da empresa, por exemplo.
  • Pesquisar em uma hierarquia de pastas raiz
  • Operadores para palavras-chave da rede de pesquisa: "" correspondência exata, | ou, + e, - excluir
• Organização: gerenciamento flexível de pastas
  • Os documentos podem ser catalogados em uma ou mais pastas com base no aplicativo (por exemplo, um documento de ID é colocado em uma pasta KYC, pasta de empréstimo ou pasta de conta bancária), sem a replicação do documento.
  • Essas pastas têm as próprias propriedades e controle de acesso, independentes das propriedades e do controle de acesso do documento.
  • As pastas podem ser aninhadas em uma ou mais hierarquias [por exemplo, AllLoans->State->Branch->Loans ou LoanTypes->Loans].
  • Os usuários podem pesquisar documentos em uma hierarquia de pastas, por exemplo, AllLoans->State.
• Interface^*: o produto inclui uma UI acessível pela Web com os seguintes recursos:
  • Explorador de documentos: pesquise documentos, filtre resultados da pesquisa, selecione documentos para atualizar propriedades em massa ou excluir
  • Visualizador de documentos: visualizar documentos, visualizar/atualizar as propriedades,atribuir ACLs, adicionar a pastas
  • Upload: faça upload de documentos e execute-os em um extrator da DocAI^** (OCR ou um analisador especializado compatível, como o Invoice DocAI).
  • Navegador de pastas: adicione documentos a uma ou mais pastas e explore a hierarquia de pastas.
  • Interface incorporável: os componentes Doc Explorer e Doc Viewer (para PDFs) podem ser integrados aos aplicativos do cliente
• Conectores^*** para repositórios comuns no local e na nuvem: fornecemos um conector do Cloud Storage para o Document AI Warehouse (como um modelo separado com base no Google Workflows) que pode ser personalizado/estendido para outros repositórios. Também trabalhamos com parceiros para fornecer conectores prontos para repositórios como Sharepoint, Amazon S3, IBM FileNet e outros, para ingerir e indexar documentos.
• Flexibilidade de migração x federação: o produto é compatível com uma arquitetura flexível para que o conteúdo do documento possa ser migrado para o Document AI Warehouse ou permanecer em vigor se houver restrições na migração de conteúdo. Basta indexar o conteúdo e os metadados.
• Integrado com fluxos de trabalho de documentos: integração com o Google Workflows e outros fluxos de trabalho de processamento de documentos, com suporte para:
  • Propriedades: representam o estado de um documento em um fluxo de trabalho e as APIs que os fluxos de trabalho podem usar para atualizar o estado dos documentos.
  • Interface do Doc Explorer: para acompanhar o progresso dos documentos em um pipeline de fluxo de trabalho, permitindo que uma pessoa inspecione, gerencie falhas e documentos parados no pipeline de fluxo de trabalho.
  • Notificações condicionais: em que os documentos que atendem a determinadas condições podem acionar/notificar um fluxo de trabalho por um tópico do Pub/Sub ou uma chamada de API da Web. Por exemplo, acionador: OnUpdate; condição: (DocType=Invoice e TotalAmount>$1000) -> enviar notificação do Pub/Sub
• Gerenciamento de políticas e aplicação de compliance: as notificações condicionais e programadas podem ser usadas para acionar fluxos de trabalho que aplicam políticas (por exemplo, gerenciamento de registros, retenção e disposição, retenções legais) em documentos específicos no Document AI Warehouse.
• Arquivos compatíveis: PDFs de texto, imagens (PDFs digitalizados, arquivos TIFF, arquivos JPEG), arquivos do Office (DOCX, PPTX, XLSX) executados pelo OCR e indexados.
  • Observação: embora o foco do produto sejam documentos, ele também é usado para gerenciar imagens associadas (por exemplo, em setores como seguros, engenharia, construção, pesquisa etc.).

• Integrado à Document AI: o Document AI Warehouse é integrado aos processadores da Document AI em vários níveis:

  • Processamento da Document AI na interface: a interface do Document AI Warehouse permite que os usuários façam upload de PDFs/TIFFs digitalizados ou de tipos especiais de documentos, ambos extraídos automaticamente pelo OCR da Document AI ou por processadores especializados, respectivamente, antes que o documento seja indexado no Document AI Warehouse.
  • Gerenciamento de pipelines da Document AI em lote^***: o Document AI Warehouse se integra ao Workflows para fornecer modelos que processam pipelines em lote de documentos por meio da extração e classificação do Document AI. Isso não é trivial porque envolve operações de longa duração (LRO) e chamadas de API assíncronas que precisam ser gerenciadas para falhas e novas tentativas. O modelo do Workflows orquestra esses pipelines. A interface do Document AI Warehouse pode ser usada para pesquisar e rastrear o fluxo de documentos por esses pipelines, visualizar a saída da Document AI para falhas em cada etapa do pipeline e entrar em ação em documentos paralisados/com falha.

^*A interface está em pré-lançamento e deve ser disponibilizada ao público em geral em breve.

^**O OCR e outros extratores de documentos estão disponíveis nos produtos da Document AI, mas não estão incluídos no Document AI Warehouse.

^***Esses recursos não fazem parte do Document AI Warehouse. Esses recursos são ativados por componentes e scripts de código aberto externos que os clientes podem implantar ou personalizar e não são implementados no Document AI Warehouse.

Exonerações de responsabilidade e limitações conhecidas

Para mais informações sobre as exonerações de responsabilidade e limitações conhecidas, consulte Exonerações de responsabilidade e limitações conhecidas.

Terminologia

Veja a seguir os termos usados no Document AI Warehouse.

Termos e conceitos	Definição, exemplos
Documento	Um registro no Document AI Warehouse em que os usuários podem pesquisar, gerenciar e aplicar o controle de acesso. Ele inclui o documento bruto e alguns metadados associados. [As imagens armazenadas no Document AI Warehouse também são chamadas de "Documentos"]
Documento bruto [conteúdo]	O arquivo de conteúdo bruto (pdf/imagem/binário/blob) do documento.
Esquema [Tipo de documento]	Cada documento é de um determinado tipo e é especificado por um esquema. Por exemplo, uma fatura contém o seguinte esquema: nome do fornecedor, nome do vendedor, valor da fatura etc.
Propriedade [metadados]	Campos do esquema de documento que podem ser extraídos do documento ou enriquecidos (rotulados) pelos usuários. Atualmente, os metadados incluem os seguintes tipos: valores de texto livre, tipo enumerado, numérico, data, mapa (uma hierarquia JSON de pares de chave-valor). Planejamos oferecer suporte a tipos booleanos, monetários e outros no futuro.
Extratores de documentos (DocAI e outros)	Os documentos podem ser extraídos por um pipeline de IA para que as extrações sejam ingeridas e gerenciadas no Document AI Warehouse (como metadados) junto com o documento bruto. A extração pode ser feita por Analisadores especializados da Document AI (para formulários de compras, empréstimos e outros) OCR, AutoML, analisador de formulários (para imagens como TIFF/PNG/etc.) Outros modelos personalizados Ferramentas de extração de texto para formatos de documentos especializados, como PDFs, documentos do Office e outros. O Document AI Warehouse pode funcionar com qualquer pipeline de extração que chame as APIs do Document AI Warehouse para ingerir/atualizar documentos.
Pastas	Uma pasta é uma coleção virtual de documentos (virtual porque o mesmo documento pode estar em uma ou mais pastas). Ele tem um "Tipo/esquema de documento" e contém metadados e listas de controle de acesso, assim como os documentos. Um usuário precisa de permissão de edição para a pasta e de visualização para o documento para adicionar um documento a uma pasta.
Links	Os links são usados para adicionar documentos a pastas ou vincular documentos relacionados. Os links não têm um "Tipo de link"
Documentos relacionados	Os documentos podem ser relacionados por links direcionais de um documento para outro.
Permissões de link	Um usuário precisa de permissão de edição para o objeto de origem do link (por exemplo, pasta) e de permissão de visualização para o objeto de destino do link (por exemplo, documento) para adicionar um documento a uma pasta.
Política	Uma política avaliada quando um documento/pasta é criado/atualizado e usada para validar ou atualizar metadados de documentos, ACLs ou adicionar/mover/remover documentos de pastas. Uma política inclui: Um gatilho, por exemplo, em DocUpdate/DocCreate Condição, por exemplo, Invoice.Amount <$1000 Ação, por exemplo, atualizar metadados do documento, retornar avaliação de condição, adicionar documento à pasta etc. Uma política normalmente é associada a um tipo de documento. Ela é expressa em uma Common Expression Language de pouco código (formato JSON, especificado posteriormente).
Política de notificações	É um tipo especial de política em que a ação é publicar uma mensagem em um tópico do Pub/Sub quando uma determinada condição é atendida. Os aplicativos / fluxos de trabalho de consumo podem consumir a mensagem para acionar ações nos documentos ou em outras partes de um fluxo de trabalho empresarial.
Policy Engine, APIs Policy	Mecanismo: o servidor que avalia as políticas e toma medidas. API: API Admin usada para criar/atualizar/ler/excluir políticas.
Pesquisa facetada	Um atributo é um filtro de metadados usado em uma consulta de pesquisa. Por exemplo, pesquisar extratos bancários de "Mês = março de 2021" e "Estado da agência = CA" filtra os resultados da pesquisa por essas duas facetas. A faceta normalmente é um campo enumerado. As facetas de data e numéricas serão compatíveis em versões futuras. As facetas de um tipo de documento são especificadas no esquema do documento pelos administradores (pela API Admin)
Pesquisa semântica	A pesquisa semântica aceita sinônimos ou termos "semanticamente relacionados" na consulta de pesquisa. Por exemplo, "carteira de habilitação" retorna "permissão para dirigir".
Histograma de pesquisa	O histograma é um recurso da API de pesquisa que retorna a distribuição (contagens) dos resultados da pesquisa por atributo. Por exemplo, os resultados da pesquisa para "carteira de motorista" retornam o histograma "CA 500, NV 150, …"
Acesso universal x controle de acesso no nível do documento	O Document AI Warehouse oferece suporte a dois modos de acesso para cada projeto Acesso universal: qualquer usuário pode acessar qualquer documento no projeto. A API tem controle de acesso para contas de usuário ou de serviço, mas não tem permissões no nível do documento. ACL no nível do documento: os usuários recebem permissões no nível do documento. Cada documento tem permissões de leitura/atualização/exclusão atribuídas a usuários/grupos.