I connettori personalizzati ti consentono di integrare origini dati esterne che non rientrano nella libreria standard dei connettori di Gemini Enterprise e che rendono i dati unici della tua organizzazione ricercabili e accessibili utilizzando il linguaggio naturale, grazie a Gemini e alla funzionalità di ricerca avanzata di Google. Il connettore personalizzato interagisce direttamente con l'API Discovery Engine, che consente funzionalità di archiviazione, indicizzazione e ricerca intelligente dei dati. Il connettore converte le informazioni di origine nel formato Document basato su JSON standardizzato (strutturando contenuti, metadati ed elenchi di controllo dell'accesso (ACL)) e garantisce che questi dati siano organizzati in datastore. Questi store fungono da repository logici, che rappresentano idealmente un singolo formato di documento, ognuno con il proprio indice di ricerca e le proprie configurazioni dedicati.
Come funzionano i connettori personalizzati
I connettori personalizzati funzionano utilizzando una pipeline di dati automatizzata per eseguire tre azioni chiave: recupero, trasformazione e sincronizzazione. Questo processo garantisce che i dati esterni siano preparati e caricati correttamente in Gemini Enterprise.
Recupero: il connettore estrae i dati, inclusi documenti, metadati e autorizzazioni, dal sistema esterno utilizzando le relative API, database o formati di file.
Trasformazione: il connettore converte i dati non elaborati nel formato di documento di Discovery Engine, struttura i contenuti e i metadati e assegna un ID univoco globale a ogni documento. Per i controlli di accesso, puoi utilizzare direttamente le identità riconosciute da Google o la mappatura delle identità per utenti esterni o gruppi personalizzati.
Sincronizzazione: il connettore carica i documenti nei datastore di Gemini Enterprise e li mantiene aggiornati tramite job pianificati. La sincronizzazione dei dati viene eseguita utilizzando un datastore creato per un'entità. Per ulteriori informazioni sulla creazione di datastore, consulta la sezione Processo di creazione del datastore. Scegli una modalità di sincronizzazione in base alle tue esigenze: Incrementale aggiunge e aggiorna i dati, mentre Completa sostituisce l'intero set di dati.
ACL e mappatura delle identità
Per gestire l'accesso a livello di documento, scegli tra due metodi: ACL pure o mappatura delle identità, a seconda del formato di identità utilizzato dai dati.
ACL pure (AclInfo): questo metodo viene utilizzato quando l'origine dati utilizza identità basate su indirizzi email riconosciute da (Google Cloud). Questo approccio è ideale per definire direttamente chi ha accesso.
Mappatura delle identità: questo metodo viene utilizzato quando l'origine dati utilizza nomi utente, ID legacy o altri sistemi di identità esterni:
Stabilisce un'associazione chiara e one-to-one tra gruppi di identità esterni (ad es. EXT1) e utenti o gruppi del provider di identità (IdP) interno (ad es.
IDPUser1@example.com).Consente al sistema di comprendere e applicare i controlli di accesso basati su gruppi dal sistema di origine, il che è utile quando un'API restituisce etichette di gruppo senza appartenenze complete degli utenti o per scalare in modo efficiente gli ACL senza elencare migliaia di utenti per documento.
Il processo di mappatura delle identità richiede la risoluzione di tutte le strutture di identità nidificate o gerarchiche in un elenco flat di mappature dirette, in genere in un formato JSON specificato.
Utilizza ID di gruppi di identità esterni univoci (ad es. EXT1) per le identità esterne per mantenere l'integrità del sistema. Per ulteriori informazioni ed esempi, consulta la sezione Mappare le identità esterne.
Processo di creazione del datastore
Crea l'identity store: questo store funge da risorsa padre per tutte le mappature delle identità. Al momento della creazione, le impostazioni del provider di identità (IdP) a livello di progetto vengono recuperate automaticamente. Per ulteriori informazioni, consulta la sezione Recuperare o creare un identity store.
Carica le mappature delle identità esterne nell'identity store: dopo aver creato l'identity store, carica i dati delle identità esterne. Per ulteriori informazioni, consulta la sezione Importare la mappatura delle identità nell'identity store.
Crea e associa il datastore dell'entità: il datastore dell'entità può essere creato solo dopo che l'identity store è stato creato correttamente e le mappature delle identità sono state caricate. Devi associare l'identity store al datastore dell'entità durante la creazione. Per ulteriori informazioni sulla creazione del datastore dell'entità, consulta la sezione Creare un datastore.
Sincronizzazione dati
Esistono due modelli di architettura diversi per la sincronizzazione dei dati:
Modello di architettura 1: upsert incrementale: l'approccio upsert incrementale è più adatto agli scenari in cui i dati vengono trasmessi in streaming e richiedono aggiornamenti in tempo reale. Il connettore sfrutta l'API Discovery Engine per eseguire upsert incrementali efficienti (inserimento o aggiornamento dei dati) chiamando le funzioni appropriate con piccole modifiche man mano che si verificano. Questo focus sulle dimensioni minime delle modifiche e sul ritardo minimo mantiene il datastore dei documenti altamente aggiornato, anche con dati in rapida evoluzione.
Modello di architettura 2: sincronizzazione completa con Google Cloud Storage: questo approccio consigliato offre un set completo di funzionalità di gestione dei dati e un'elevata flessibilità. Supporta le sincronizzazioni complete, che consentono l'inserimento, l'aggiornamento e l'eliminazione dei dati nell'intero set di dati, e le sincronizzazioni incrementali, che gestiscono solo inserimenti e aggiornamenti inviando le modifiche. Questo approccio è efficace per un'ampia gamma di esigenze di dati, in particolare per la gestione di operazioni sui dati più grandi o più complesse. Questo modello utilizza un processo di gestione temporanea (passaggio 1 nel diagramma) in cui il connettore scrive prima i dati in Google Cloud Storage (GCS), quindi sfrutta l'API Discovery Engine per aggiornare il datastore dei documenti chiamando le funzioni di importazione necessarie dalla località GCS di gestione temporanea.
I connettori personalizzati sono sufficientemente flessibili da supportare un'architettura ibrida, consentendoti di implementare l'upsert incrementale per i dati in rapida evoluzione e la sincronizzazione completa per gli aggiornamenti o le eliminazioni complete dei dati pianificati.
