Los conectores personalizados te permiten integrar fuentes de datos externas que no están incluidas en la biblioteca de conectores estándar de Gemini Enterprise, lo que hace que se puedan buscar los datos únicos de tu organización y acceder a ellos con lenguaje natural, con la tecnología de Gemini y la inteligencia de búsqueda avanzada de Google. El conector personalizado interactúa directamente con la API de Discovery Engine, que permite un almacenamiento de datos sólido, indexación y capacidades de búsqueda inteligente. El conector convierte la información de origen en el formato de documento estandarizado basado en JSON (estructurando el contenido, los metadatos y las listas de control de acceso [LCA]) y garantiza que estos datos se organicen en almacenes de datos. Estos almacenes actúan como repositorios lógicos, que representan idealmente un solo formato de documento, cada uno con su propio índice de búsqueda y configuraciones dedicados.
Cómo funcionan los conectores personalizados
Los conectores personalizados funcionan mediante una canalización de datos automatizada para realizar tres acciones clave: recuperación, transformación y sincronización. Este proceso garantiza que los datos externos se preparen y suban correctamente a Gemini Enterprise.
Recuperación: El conector extrae datos, incluidos documentos, metadatos y permisos, del sistema externo con sus APIs, bases de datos o formatos de archivo.
Transformación: El conector convierte los datos sin procesar al formato de documento de Discovery Engine, estructura el contenido y los metadatos, y asigna un ID único a nivel global a cada documento. Para los controles de acceso, puedes usar directamente identidades reconocidas por Google o la asignación de identidad para usuarios externos o grupos personalizados.
Sincronización: El conector sube los documentos a los almacenes de datos de Gemini Enterprise y los mantiene actualizados a través de trabajos programados. La sincronización de datos se realiza con un almacén de datos creado para una entidad. Para obtener más información sobre la creación de almacén de datos, consulta Proceso de creación de almacenes de datos. Elige un modo de sincronización según tus necesidades: Incremental agrega y actualiza datos, mientras que Completa reemplaza todo el conjunto de datos.
LCA y asignación de identidad
Para administrar el acceso a nivel del documento, elige entre dos métodos: LCA puras o asignación de identidad, según el formato de identidad que usen los datos.
LCA puras (AclInfo): Este método se usa cuando la fuente de datos usa identidades basadas en correo electrónico reconocidas por (Google Cloud). Este enfoque es ideal para definir directamente quién tiene acceso.
Asignación de identidad: Este método se usa cuando la fuente de datos usa nombres de usuario, IDs heredados o cualquier otro sistema de identidad externo:
Establece una asociación clara y uno a uno entre los grupos de identidad externos (p.ej., EXT1) y los usuarios o grupos internos del proveedor de identidad (IDP) (p.ej.,
IDPUser1@example.com).Permite que el sistema comprenda y aplique los controles de acceso basados en grupos del sistema de origen, lo que es útil cuando una API muestra etiquetas de grupo sin membresías de usuario completas o para escalar las LCA de manera eficiente sin enumerar miles de usuarios por documento.
El proceso de asignación de identidad requiere resolver todas las estructuras de identidad anidadas o jerárquicas en una lista plana de asignaciones directas, por lo general, en un formato JSON especificado.
Usa IDs de grupos de identidad externos únicos (p.ej., EXT1) para las identidades externas y mantener la integridad del sistema. Para obtener más información y ejemplos, consulta Asigna identidades externas.
Proceso de creación de almacenes de datos
Crea el almacén de identidades: Este almacén actúa como el recurso superior para todas las asignaciones de identidad. Una vez creado, se recuperan automáticamente los parámetros de configuración del proveedor de identidad (IDP) a nivel del proyecto. Para obtener más información, consulta Recupera o crea un almacén de identidades.
Carga asignaciones de identidad externas en el almacén de identidades: Después de crear el almacén de identidades, carga en él los datos de identidad externos. Para obtener más información, consulta Transfiere la asignación de identidad al almacén de identidades.
Crea y vincula el almacén de datos de la entidad: El almacén de datos de la entidad solo se puede crear después de que se cree correctamente el almacén de identidades y se carguen las asignaciones de identidad. Debes vincular el almacén de identidades al almacén de datos de la entidad durante su creación. Para obtener más información sobre la creación de almacenes de datos de entidades, consulta Crea un almacén de datos.
Sincronizar datos
Existen dos modelos de arquitectura diferentes para sincronizar datos:
Modelo de arquitectura 1: Upsert incremental: El enfoque de upsert incremental es el más adecuado para situaciones en las que los datos se transmiten y requieren actualizaciones en tiempo real. El conector aprovecha la API de Discovery Engine para realizar upserts incrementales eficientes (insertar o actualizar datos) llamando a las funciones adecuadas con pequeños cambios a medida que ocurren. Este enfoque en tamaños de cambio mínimos y retraso mínimo mantiene el almacén de documentos muy actualizado, incluso con datos que cambian rápidamente.
Modelo de arquitectura 2: Sincronización integral con Google Cloud Storage: Este enfoque recomendado ofrece un conjunto completo de funciones de administración de datos y una gran flexibilidad. Admite sincronizaciones completas, que permiten la inserción, actualización y eliminación de datos en todo el conjunto de datos, y sincronizaciones incrementales, que solo controlan las inserciones y actualizaciones mediante el envío de cambios. Esto hace que el enfoque sea sólido para una amplia variedad de necesidades de datos, en particular para administrar operaciones de datos más grandes o complejas. Este modelo utiliza un proceso de preparación (paso 1 en el diagrama) en el que el conector primero escribe los datos en Google Cloud Storage (GCS) y, luego, aprovecha la API de Discovery Engine para actualizar el almacén de documentos llamando a las funciones de importación necesarias desde la ubicación de GCS preparada.
Los conectores personalizados son lo suficientemente flexibles como para admitir una arquitectura híbrida, lo que te permite implementar upsert incremental para datos que cambian rápidamente y sincronización integral para actualizaciones o eliminaciones de datos completas programadas.
