Almacenes de datos

Las herramientas de almacén de datos usan almacenes de datos para encontrar respuestas a las preguntas de los usuarios finales a partir de tus datos. Los almacenes de datos son una colección de sitios web, documentos o datos en sistemas de terceros, cada uno de los cuales hace referencia a tus datos.

Cuando le haces una pregunta al agente, este busca una respuesta en el contenido de la fuente determinado y resume los hallazgos en una respuesta coherente. También proporciona vínculos de respaldo a las fuentes de la respuesta para ayudarte a obtener más información. El agente puede proporcionar hasta cinco fragmentos de respuesta para una pregunta determinada.

Fuentes de almacén de datos

Puedes usar diferentes fuentes para tus datos:

Fuentes de almacén de datos con acceso restringido

Google ofrece muchas fuentes de almacén de datos de origen y de terceros adicionales como una función con acceso restringido. Para ver las fuentes disponibles y solicitar acceso, consulta fuentes de almacén de datos adicionales.

Contenido de sitios web

Cuando agregas contenido de un sitio web como fuente, puedes agregar y excluir varios sitios. Cuando especificas un sitio, puedes usar páginas individuales o * como comodín para un patrón. El sistema procesa todo el contenido HTML y PDF.

Verifica tu dominio cuando uses contenido de un sitio web como fuente.

Limitaciones:

  • El indexador de la Búsqueda de Google debe haber rastreado los archivos de las URLs públicas para que existan en el índice de la Búsqueda. Puedes verificarlo con Google Search Console.
  • Se indexan hasta 200,000 páginas. Si el almacén de datos contiene más páginas, la indexación falla en ese punto, pero se conserva el contenido que ya se indexó.

Importar datos

Puedes importar datos de BigQuery o Cloud Storage. Estos datos pueden adoptar la forma de datos de preguntas frecuentes, datos no estructurados, datos con metadatos o datos sin metadatos.

Están disponibles las siguientes opciones de importación de datos:

  • Agregar o actualizar datos: Agrega los documentos proporcionados al almacén de datos. Si un documento nuevo tiene el mismo ID que uno existente, el nuevo reemplaza al anterior.
  • Anular los datos existentes: Borra todos los datos existentes y sube datos nuevos. Esta acción es irreversible.

Almacén de datos de preguntas frecuentes

Los almacenes de datos pueden contener respuestas a preguntas frecuentes. Cuando el agente coincide con las preguntas del usuario con un alto nivel de confianza con una pregunta subida, devuelve la respuesta a esa pregunta sin modificaciones. Puedes proporcionar un título y una URL para cada par de pregunta y respuesta que muestre el agente.

Sube datos al almacén de datos en formato CSV. Cada archivo debe incluir una fila de encabezado que describa las columnas.

Por ejemplo:

"question","answer","title","url"
"Why is the sky blue?","The sky is blue because of Rayleigh scattering.","Rayleigh scattering","https://en.wikipedia.org/wiki/Rayleigh_scattering"
"What is the meaning of life?","42","",""

Puedes omitir las columnas title y url:

"answer","question"
"42","What is the meaning of life?"

Durante el proceso de carga, puedes seleccionar una carpeta en la que cada archivo se procese como un archivo CSV, sin importar la extensión de archivo.

Limitaciones:

  • Un carácter de espacio adicional después de una coma provoca un error.
  • Las líneas en blanco (incluso al final del archivo) provocan un error.

Almacén de datos no estructurados

Los almacenes de datos no estructurados pueden contener contenido en los siguientes formatos:

  • HTML
  • PDF
  • TXT
  • CSV

Puedes importar archivos desde el bucket de Cloud Storage de otro proyecto. Para ello, otorga acceso explícito al proceso de importación. Sigue las instrucciones del mensaje de error, que contiene el nombre del usuario que necesita acceso de lectura al bucket para realizar la importación.

Limitaciones:

  • El tamaño máximo de archivo es de 2.5 MB para los formatos basados en texto y de 100 MB para otros formatos.

Almacén de datos con metadatos

Puedes proporcionar un título y un url como metadatos. Durante una conversación, el agente puede proporcionar esta información para ayudarte a vincular rápidamente páginas web internas a las que no puede acceder el indexador de la Búsqueda de Google.

Para importar contenido con metadatos, debes proporcionar uno o más archivos de líneas JSON. Cada línea de este archivo describe un documento. No subes directamente los documentos reales, sino que los URI que vinculan a las rutas de acceso de Cloud Storage se proporcionan en el archivo de líneas JSON.

Para enviar tus archivos de líneas JSON, proporciona una carpeta de Cloud Storage que contenga estos archivos. No coloques ningún otro archivo en esta carpeta.

Descripciones de los campos:

Campo Tipo Descripción
id cadena Es el identificador único del documento.
content.mimeType cadena Es el tipo de MIME del documento. Se admiten "application/pdf" y "text/html".
content.uri cadena Es el URI del documento en Cloud Storage.
structData cadena Objeto JSON de una sola línea con campos title y url opcionales.

Por ejemplo:

{ "id": "d001", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/first_doc.pdf"}, "structData": {"title": "First Document", "url": "https://internal.example.com/documents/first_doc.pdf"} }
{ "id": "d002", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/second_doc.pdf"}, "structData": {"title": "Second Document", "url": "https://internal.example.com/documents/second_doc.pdf"} }
{ "id": "d003", "content": {"mimeType": "text/html", "uri": "gs://example-import/unstructured/mypage.html"}, "structData": {"title": "My Page", "url": "https://internal.example.com/mypage.html"} }

Almacén de datos sin metadatos

Este contenido no tiene metadatos. En su lugar, debes proporcionar vínculos de URI a los documentos individuales. El tipo de contenido se determina según la extensión de archivo.

Configuración de análisis y fragmentación

Según la fuente de datos, puedes configurar los parámetros de análisis y fragmentación que define la búsqueda de agentes.

Usa Cloud Storage para un documento de almacén de datos

Si tu contenido no es público, te recomendamos que lo almacenes en Cloud Storage. Cuando creas documentos de almacén de datos, proporcionas las URLs de tus objetos de Cloud Storage con el siguiente formato: gs://bucket-name/folder-name. Cada documento dentro de la carpeta se agrega al almacén de datos.

Cuando crees el bucket de Cloud Storage, haz lo siguiente:

Crea un bucket y sube archivos con la guía de inicio rápido de Cloud Storage.

Idiomas

Para obtener más información sobre los lenguajes compatibles, consulta la columna del almacén de datos en la referencia de lenguajes.

Para obtener el mejor rendimiento, crea almacenes de datos en un solo idioma.

Después de crear un almacén de datos, puedes especificar su idioma de forma opcional. Si configuras el idioma del almacén de datos, puedes conectarlo a un agente que esté configurado para un idioma diferente. Por ejemplo, puedes crear un almacén de datos en francés que esté conectado a un agente en inglés.

Regiones admitidas

Para obtener información sobre las regiones admitidas, consulta la referencia de regiones.

(Acceso restringido) Fuentes de almacén de datos adicionales

En la siguiente tabla, se enumeran los tipos de almacén de datos adicionales. Están disponibles como funciones con acceso restringido. Puedes completar el formulario de solicitud de acceso para solicitar acceso. Una vez aprobada, podrás ver estas opciones cuando crees un almacén de datos en Vertex AI Agent Builder.

Fuentes de almacén de datos de terceros

Fuente del almacén de datos Descripción
Box Importa datos desde el sitio de Box de tu organización.
Confluence Cloud Importa datos de tu espacio de trabajo de Confluence Cloud.
Dropbox Importa datos desde tu almacenamiento de Dropbox.
EntraID Importa datos del sistema de EntraID de tu organización.
Jira Cloud Importa datos de tu sistema de administración de tareas de Jira.
OneDrive Importa datos desde el almacenamiento de OneDrive de tu organización.
Microsoft Outlook Importa datos de Microsoft Outlook.
Salesforce Importa datos desde Salesforce.
ServiceNow Importa datos desde ServiceNow.
SharePoint Importa datos del sistema de SharePoint de tu organización.
Slack Importa datos desde Slack.
Microsoft Teams Importa datos de Microsoft Teams.

Configura un almacén de datos de terceros con un conector

En esta sección, se explica cómo configurar un almacén de datos con datos de terceros. Para obtener instrucciones específicas para cada fuente de datos de terceros, consulta la documentación de Vertex AI Agent Builder.

Proveedores de identidades

Los proveedores de identidad te permiten administrar usuarios, grupos y la autenticación. Cuando configuras un almacén de datos de terceros, puedes usar un proveedor de identidad de Google o un proveedor de identidad de terceros.

Proveedor de identidad de Google:

  • Los usuarios del agente acceden con sus credenciales de Google. Se trata de cualquier dirección de correo electrónico de @gmail.com o cualquier cuenta que use Google como proveedor de identidad (por ejemplo, Google Workspace). Este paso se omite si los usuarios hablan con el agente usando Google Cloud directamente, ya que la identidad de Google se integra automáticamente en el sistema.
  • Puedes asignar acceso a las Cuentas de Google con Identity and Access Management (IAM).

Proveedor de identidad de terceros:

  • Los usuarios del agente acceden con credenciales que no son de Google, por ejemplo, una dirección de correo electrónico de Microsoft.
  • Debes crear un grupo de personal con Google Cloud que contenga los proveedores de identidad que no son de Google. Luego, puedes usar la IAM para otorgar acceso a todo el grupo o a usuarios individuales dentro de ese grupo.
  • Este método no se puede usar con ningún proyecto de Google Cloud configurado en la organización@google.com.

Conectores

Los almacenes de datos de terceros se implementan con un conector. Cada conector puede contener varios almacenes de datos, que se guardan como entidades en el sistema de Dialogflow CX.

  • Antes de crear un almacén de datos, debes configurar cada región con un solo proveedor de identidad en Google Cloud > Agent Builder > Configuración. Todos los almacenes de datos de esa región usan el mismo proveedor de identidad. Puedes elegir una identidad de Google o una identidad de terceros en un grupo de personal. La misma credencial de Google se considera una identidad diferente si está en un grupo de personal. Por ejemplo, test@gmail.com se considera una identidad diferente de workforcePools/test-pool/subject/test@gmail.com.
    • Crea un grupo de personal (si es necesario).
    • Ve a Agent Builder Configuración y selecciona Google Identity o Identidad de terceros. Haz clic en Guardar para guardar la identidad en la región.
    • Ahora puedes crear un almacén de datos en la región.
  • Cada almacén de datos guarda los datos de la lista de control de acceso (ACL) con cada documento. Este registro hace un seguimiento de qué usuarios o grupos tienen acceso de lectura a qué entidades. Durante el tiempo de ejecución, un usuario o miembro del grupo recibe respuestas del agente solo si las respuestas provienen de entidades a las que tiene acceso de lectura. Si un usuario no tiene acceso de lectura a ninguna entidad en el almacén de datos, el agente devuelve una respuesta vacía.
  • Debido a que los datos del almacén de datos son una copia de la instancia de terceros, se deben actualizar de forma periódica. Puedes configurar los intervalos de actualización en una escala de tiempo de horas o días.
  • Después de configurar tu almacén de datos y hacer clic en Crear, puede tardar hasta una hora en aparecer en tu lista de almacenes de datos.

Seguimiento del almacén de datos

Esta función incluye dos partes:

  • Muestra los seguimientos de ejecución interna del almacén de datos y las latencias de los pasos en el simulador de agentes.
  • Exporta los seguimientos de ejecución interna y las latencias de los pasos del almacén de datos a Cloud Logging y BigQuery.

Visualiza datos en el simulador

Para mostrar los datos de seguimiento y ejecución en el simulador de agentes, expande los detalles sobre un turno de conversación haciendo clic en la flecha de expansión que se encuentra a la derecha de la respuesta del agente.

En la pestaña execution, se muestran los seguimientos de ejecución del almacén de datos interno, incluidos los siguientes elementos:

  • Es la entrada original del usuario.
  • Es la consulta reescrita por el motor del almacén de datos.
  • Indicadores de calidad de los pasos de ejecución, incluido el estado de la verificación de seguridad, el estado de la verificación de estabilidad, el resultado de la verificación de fundamentación y el estado de la verificación de seguridad.
  • Fragmentos de búsqueda de la búsqueda en el almacén de datos.
  • Lista de documentos de respaldo para los fragmentos.

En la pestaña Latencia, se muestra un gráfico de tiempo para varios pasos de ejecución del almacén de datos. La lista de pasos varía según cómo configures el almacén de datos y el flujo de ejecución. En la pestaña, se pueden mostrar los siguientes datos:

  • Coincidencia de preguntas frecuentes: Realiza un paso de coincidencia de preguntas frecuentes.
  • Reescritura de consultas: Reescribe la consulta original del usuario.
  • Search: Realiza una búsqueda de fragmentos.
  • Resumen: Resume la respuesta.
  • Verificaciones de seguridad: Realiza pasos de verificación de seguridad.

Visualiza datos de seguimiento en otras ubicaciones

¿Qué sigue?

Para obtener más información sobre cómo crear y usar un almacén de datos con un agente, consulta la documentación de las herramientas de almacén de datos.

Anterior
Evaluaciones de guías
Siguiente
Herramientas de almacén de datos