Knowledge Studio te permite seleccionar y unificar los metadatos empresariales para fundamentar las aplicaciones de IA generativa, como las estadísticas conversacionales en BigQuery y Gemini Enterprise, en tu contexto empresarial. Fundamentar tus agentes de IA ayuda a reducir las alucinaciones y mejorar la exactitud de las estadísticas generadas.
Con Knowledge Studio, puedes unificar el conocimiento de esquemas, wikis y consultas en SQL anteriores. Puedes explorar datos en lenguaje natural, navegar por un gráfico de contexto visual de semántica empresarial y ejecutar flujos de trabajo automatizados que redacten actualizaciones del catálogo para su revisión manual. Luego, puedes entregar de forma dinámica estos bloques de contexto seleccionados a los agentes con el Protocolo de contexto del modelo (MCP) o las APIs de Knowledge Catalog.
Este documento está dirigido a arquitectos de datos, líderes de administración y ingenieros de IA que deseen comprender cómo funciona Knowledge Studio. Para comenzar a explorar tu catálogo o configurar el enriquecimiento automatizado de inmediato, consulta Explora los recursos de datos en Knowledge Studio y Crea tareas de enriquecimiento.
Para obtener una descripción general de cómo Knowledge Studio y el enriquecimiento de autoaprendizaje fundamentan los agentes de IA empresariales, mira el siguiente video:
De un catálogo pasivo a un motor de contexto activo
Los catálogos de metadatos típicos almacenan esquemas estáticos, descripciones y diccionarios de datos. Aunque son suficientes para los analistas de datos humanos que buscan tablas, los metadatos estáticos no son suficientes para los agentes de IA generativa que requieren lo siguiente:
Relaciones semánticas profundas: Comprender cómo se unen las tablas en los esquemas, qué columnas representan las métricas empresariales clave y cómo se asignan los glosarios empresariales al almacenamiento subyacente.
Fundamentación operativa: Incorpora patrones de uso de SQL del mundo real, frecuencia de consultas, y las instrucciones y respuestas reales del agente en el contexto.
Autoaprendizaje continuo: Define mejor automáticamente las descripciones de las tablas, los aspectos y las definiciones de las columnas según los comentarios de los usuarios y las tasas de éxito de la ejecución del agente.
Knowledge Studio ofrece estas capacidades a través de un motor de contexto siempre activo que extrae continuamente indicadores operativos, genera propuestas de metadatos de alta fidelidad y entrega bloques de contexto con formato previo a los agentes a través de las APIs de Model Context Protocol (MCP) o Knowledge Catalog Catalog.
Interfaces de Knowledge Studio
Knowledge Studio organiza tu flujo de trabajo en tres áreas principales:
Nuevo chat: Es una interfaz de chat conversacional y un gráfico de contexto interactivo para el descubrimiento de datos, la investigación y la validación de consultas semánticas con lenguaje natural. Para obtener más información, consulta Explora los recursos de datos.
Conjuntos de contexto: Es una interfaz para crear y administrar los contenedores lógicos (grupos de entradas) que empaquetan tus metadatos enriquecidos para fundamentar de forma segura los agentes de IA downstream. Para obtener más información, consulta Administra conjuntos de contexto.
Enriquecimientos: Es un centro de control para automatizar la generación de metadatos, configurar comparativas de evaluación y revisar las actualizaciones de catálogos propuestas por la IA (solicitudes de cambio) con flujos de trabajo de selección con intervención humana. Para obtener más información, consulta Acerca de las tareas de enriquecimiento.
Situaciones reales con varios productos
Knowledge Studio conecta tu almacén de datos, los repositorios de conocimiento empresarial y las aplicaciones de IA generativa. En las siguientes situaciones, se ilustra cómo funciona Knowledge Studio en varios productos de una arquitectura empresarial.
Fundamenta las consultas en lenguaje natural en BigQuery
El desafío: Los analistas de negocios usan el lenguaje natural en el análisis conversacional para hacer preguntas como "¿Cuál fue nuestra tasa de retención neta por región el trimestre pasado?" Sin una semántica empresarial seleccionada, el modelo podría inventar claves de unión o confundir las reservas brutas con los ingresos netos.
La solución de Knowledge Studio: El analista usa la interfaz de Nuevo chat para verificar las relaciones entre las tablas de etapa de pruebas de ventas y la tabla certificada
SZBank Business Glossary. Knowledge Studio fundamenta el análisis conversacional con el grafo de contexto activo, lo que garantiza que el SQL generado incluya condiciones de unión verificadas y fórmulas de KPI estándar.
Enriquece los metadatos de los SOP empresariales
El desafío: Los equipos de ingeniería de datos mantienen decenas de conjuntos de datos en BigQuery, mientras que las reglas empresariales fundamentales y el linaje de las canalizaciones se encuentran en wikis externas de Confluence o tickets de Jira. A medida que los esquemas evolucionan, la documentación del catálogo queda desactualizada.
La solución de Knowledge Studio: Un líder de administración configura una tarea de enriquecimiento recurrente orientada al conjunto de datos de estadísticas. Knowledge Studio ingiere SOP no estructurados de Confluence y registros de consultas históricos de Cloud Logging, y propone automáticamente definiciones de columnas y relaciones de tablas actualizadas. Los curadores inspeccionan las diferencias propuestas en la página Detalles de la ejecución y aprueban las actualizaciones verificadas del catálogo.
Proporciona contexto seleccionado a los agentes
- El desafío: Los desarrolladores de IA que crean agentes de asistencia o asesoramiento orientados al cliente con LangChain o el ADK necesitan semántica de esquema actualizada sin codificar las credenciales de la base de datos ni incluir definiciones de tablas grandes en las instrucciones.
- La solución de Knowledge Studio: Knowledge Studio captura metadatos seleccionados
y grafos de unión validados en un conjunto de contexto (como
entryGroups/customer-360). Para acceder al contexto, los agentes pueden conectarse a Knowledge Studio a través del Protocolo de contexto del modelo (MCP) o usar las APIs de Knowledge Catalog. En el momento de la inferencia, el agente consulta el extremo de MCP o las APIs de Catalog para recuperar de forma dinámica el contexto empresarial certificado y las consultas de ejemplo relevantes para la intención del usuario.
Descripción general de la arquitectura
En el siguiente diagrama, se ilustra cómo interactúan los componentes de Knowledge Studio con tu patrimonio de datos, los modelos de base y las aplicaciones de IA que los consumen:
Conceptos básicos
Para trabajar de forma eficaz con Knowledge Studio, comprende cómo se modelan, empaquetan y seleccionan los metadatos empresariales.
Grafo de contexto
El grafo de contexto es la topología visual interactiva central de Knowledge Studio. Unifica tus recursos de datos (como tablas, vistas y lakehouses de BigQuery) con la semántica empresarial (como términos del glosario empresarial, fórmulas de métricas y productos de datos). En los catálogos típicos, una tabla de datos y su definición de glosario empresarial asociado existen en silos separados. En el gráfico de contexto, existen como nodos en el mismo lienzo. Los analistas y los ingenieros de datos pueden ver de forma visual las relaciones entre sus datos, ya sea por el uso inferido, las condiciones de unión en las tablas y mucho más, mientras que Gemini usa el gráfico para fundamentar la exploración en lenguaje natural. Para obtener más información, consulta Explora los recursos de datos en Knowledge Studio.
Tipos de recursos y conexiones admitidos para el gráfico de contexto
El agente de exploración y el gráfico de contexto pueden descubrir, explorar y renderizar todos los tipos de entradas catalogadas en Knowledge Catalog, incluidos los siguientes recursos:
- Tablas y vistas: Tablas, vistas, conjuntos de datos, catálogos, espacios de nombres, data lakes, zonas y recursos técnicos de BigQuery y Lakehouse.
- Bases de datos, almacenamiento y recursos de IA: Bases de datos operativas y recursos en la nube (como Spanner, Cloud SQL, AlloyDB para PostgreSQL, Pub/Sub, Cloud Storage y modelos de Vertex AI).
- Fuentes de análisis y de terceros: Proyectos de Looker y metadatos de terceros sincronizados a través de la conectividad administrada (como modelos, pruebas y exposiciones de dbt, Databricks Unity Catalog, LookML y SAP).
- Términos del glosario: Definiciones, categorías y términos empresariales individuales de un glosario empresarial.
- Productos de datos: Son paquetes seleccionados de recursos de datos para el consumo entre equipos.
- Contexto: Conjuntos de contexto y documentos seleccionados de la base de conocimiento.
- Recursos personalizados: Grupos de entradas personalizados y tipos de entradas personalizados.
El grafo define cómo se conectan estos recursos mediante la visualización de los siguientes bordes de relación semántica:
Unión de esquemas: Son las relaciones de unión estructurales y operativas entre las tablas. El sistema analiza automáticamente los trabajos de BigQuery en busca de consultas que indiquen que las columnas de diferentes tablas comparten el mismo significado y se pueden unir.
Definición: Son vínculos que asignan un recurso o una columna de datos técnicos a su definición correspondiente en el glosario empresarial.
Referencia: Son vínculos dirigidos (
dataplex-types.global.reference) que conectan los documentos del conjunto de contexto y las entradas de recursos de datos con los recursos del catálogo de destino que describen.Contexto: Son vínculos que atribuyen conjuntos de contexto especializados o documentación de dominio personalizado a un recurso de datos de destino.
Paquetes: Son vínculos de agregación que muestran qué recursos de datos se agrupan en un producto de datos específico.
Vínculos de entrada
Un vínculo de entrada representa un borde semántico dirigido o no dirigido en el grafo de contexto. Estos vínculos unen visualmente tus recursos de datos y otros recursos unificados en el lienzo. Puedes filtrar estos vínculos de forma selectiva para aislar relaciones específicas en tu patrimonio de datos.
Los vínculos de entrada conectan distintas entidades en toda tu empresa:
Vínculos de referencia: Conecta las entradas del conjunto de contexto (como los documentos de la base de conocimiento seleccionados y las entradas de recursos de datos) a los recursos catalogados que describen con el tipo de vínculo de entrada
reference(projects/dataplex-types/locations/global/entryLinkTypes/reference).Vínculos de definición: Conecta las columnas de la tabla subyacente directamente con los términos del glosario empresarial certificado y las fórmulas de KPI.
Vínculos de relación: Asigna rutas de acceso de unión de varias tablas, clave externa y clave primaria verificadas.
Vínculos de seguimiento de agentes: Asocia las instrucciones de los usuarios de IA del mundo real con las tablas específicas que se usan para responderlas.
Vincula paquetes: Une conjuntos de recursos de datos a un producto de datos seleccionado.
Los vínculos de entrada sirven como las conexiones individuales que se recorren para ensamblar conjuntos de contexto. Durante las ejecuciones de enriquecimiento automatizadas, el agente propone nuevos vínculos de entrada para la aprobación del curador cada vez que identifica uniones candidatas o términos no vinculados.
Conjuntos de información contextual
Un conjunto de contexto es un contenedor limitado de información semántica y referencias de recursos de datos. Cada conjunto de contexto se implementa como un grupo de entradas especializado
(type="context-set").
Los conjuntos de contexto establecen límites de ejecución herméticos que evitan que los agentes realicen búsquedas abiertas en todo el catálogo empresarial. Este método reduce las alucinaciones y el consumo de tokens.
Para comprender cómo se diferencian los conjuntos de contexto de las construcciones relacionadas, como los productos de datos y el grafo de contexto semántico, o para obtener información detallada sobre las capacidades, las categorías, los espacios de nombres y los patrones de consulta de agentes, consulta Descripción general de los conjuntos de contexto.
Tareas y ejecuciones de enriquecimiento
La mejora automatizada de metadatos en Knowledge Studio se organiza en tareas de enriquecimiento, trabajos de enriquecimiento y ejecuciones de enriquecimiento.
Tarea de enriquecimiento: Es una configuración duradera que define cómo el agente de enriquecimiento analiza un conjunto específico de recursos de datos. Una tarea de enriquecimiento especifica el conjunto de contexto de destino, las fuentes de entrada contextuales y las comparativas de evaluación.
Trabajo de enriquecimiento: Es el proceso de organización de backend dentro de Knowledge Studio que ejecuta una tarea de enriquecimiento.
Ejecución de enriquecimiento: Es una instancia de ejecución única y puntual de una tarea. Cada ejecución inspecciona los recursos de destino, extrae indicadores semánticos y genera solicitudes de cambio (propuestas) que los administradores de datos pueden revisar.
Para obtener más información sobre los flujos de trabajo de enriquecimiento, consulta Acerca de las tareas de enriquecimiento.
Gráfico de contexto en comparación con el linaje de datos
Comprender la diferencia entre el gráfico de contexto de Knowledge Studio y el linaje de datos de Knowledge Catalog te ayuda a elegir la capacidad adecuada para tu flujo de trabajo:
| Función | Preguntas principales que se responden | Estructura de grafos | Nodos y bordes | Cuándo usar |
|---|---|---|---|---|
| Linaje de datos | ¿Dónde se originaron estos datos? ¿Qué canalización de ETL propagó esta tabla? Si este esquema upstream cambia, ¿qué paneles downstream se verán afectados? | Grafo acíclico dirigido (DAG) de las transformaciones y el movimiento de datos históricos | Los nodos representan recursos físicos y trabajos de transformación (como canalizaciones de Dataflow o trabajos de BigQuery), y los bordes dirigidos representan el flujo de datos. | Úsalo para la depuración de la causa raíz, el análisis del impacto de la canalización y las auditorías de procedencia reglamentarias. |
| Gráfico de contexto | ¿Qué significa esta columna en términos comerciales? ¿Cómo se relacionan estas tablas conceptualmente? ¿Cómo debería un agente de IA unir estos recursos para responder una pregunta? | Gráfico de conocimiento semántico multimodal del significado y las relaciones empresariales. | Los nodos representan los recursos de datos junto con los términos del glosario, los productos de datos y los documentos de conjuntos de contexto. Los bordes representan las uniones de esquemas, las definiciones, las referencias y los vínculos de contexto. | Úsala para el descubrimiento interactivo, la desambiguación semántica y la selección de conjuntos de contexto para fundamentar agentes de IA. |
Para obtener más información sobre la trazabilidad de las canalizaciones, consulta Linaje de datos de Knowledge Catalog.
Seguridad y administración empresarial
Knowledge Studio se basa en una arquitectura de seguridad de nivel empresarial diseñada para entornos con un control estricto.
Acceso basado en roles: Los roles de Identity and Access Management (IAM) controlan quién puede crear, descubrir y leer conjuntos de contexto, seleccionar entradas de conjuntos de contexto y aprobar y publicar los cambios de metadatos propuestos.
Identidad de ejecución administrada por el usuario: Las tareas de enriquecimiento se ejecutan con una cuenta de servicio administrada por el usuario, que es una identidad que creas y administras en tu proyecto para permitir que los servicios actúen en tu nombre. El agente de servicio de Dataplex (P4SA) actúa en nombre de esta cuenta de servicio con el rol de Creador de tokens de cuenta de servicio (
roles/iam.serviceAccountTokenCreator) para generar credenciales de OAuth 2.0 de corta duración. La generación de estas credenciales de corta duración limita la vida útil de los tokens de acceso, lo que minimiza el riesgo de exposición de las credenciales en comparación con el uso de claves de cuenta de servicio de larga duración.Autenticación de terceros: La conexión de fuentes de conocimiento de SaaS remotas (como Microsoft SharePoint, Atlassian Confluence, Jira y GitHub) usa el administrador de autenticación de Agent Identity deGoogle Cloud, lo que garantiza que los operadores humanos nunca manejen secretos de cliente sin procesar.
Para obtener información sobre cómo configurar estas funciones de seguridad, consulta Configura los requisitos previos de enriquecimiento.
Limitaciones
Regímenes de cumplimiento de Assured Workloads (incluidos FedRAMP, CJIS, IL4/IL5 y HIPAA).
Compromisos de residencia de datos (DRZ) Los datos que procesa esta función se pueden almacenar o procesar fuera de los límites geográficos configurados de forma estricta.
Claves de encriptación administradas por el cliente (CMEK). Los datos que se almacenan o procesan con esta función se encriptan con claves que son propiedad de Google y Google-owned and Google-managed encryption keys , en lugar de tus claves de Cloud Key Management Service o Cloud EKM. Para obtener más información, consulta Claves de encriptación administradas por el cliente (CMEK), Encriptación en reposo predeterminada y Cloud External Key Manager.
Controles del servicio de VPC No se admiten los Controles del servicio de VPC.
Notificaciones de Transparencia de acceso (AXT) y controles de Aprobación de acceso. Las acciones que realice el personal de Google para respaldar o mantener esta vista previa no se registrarán en tu Cloud Access Ledger (CAL) de Transparencia de acceso.
Durante la versión preliminar, Knowledge Studio opera dentro de los siguientes límites adicionales:
Alcance regional del conjunto de contextos: Un conjunto de contextos de una sola región (por ejemplo,
us-central1) solo puede hacer referencia a recursos de esa región. Los conjuntos de contexto multirregionales (comousoeu) yglobalpueden abarcar regiones compatibles, y seleccionas una sola región de ejecución cuando configuras una tarea de enriquecimiento para ellos.Administración centrada en la consola: Las tareas de enriquecimiento y las sesiones de exploración se administran a través de la consola de Google Cloud . Las APIs de REST directas y los comandos de la CLI de
gcloudpara la administración de tareas no están disponibles en la versión preliminar. Sin embargo, los agentes downstream pueden descubrir y consultar de forma programática conjuntos de contexto seleccionados con las APIs de Catalog de Knowledge Catalog (ListEntriesyLookupEntry) y el Protocolo de contexto del modelo (MCP). Para obtener más información, consulta Método: projects.locations.entryGroups.entries.list y Método: projects.locations.lookupEntry.Selección centralizada: Toda la revisión y aprobación de metadatos se realiza en la página Detalles de la ejecución del enriquecimiento.
Precios
Durante la versión preliminar, la exploración de datos de Knowledge Studio, la ejecución de tareas de enriquecimiento y la etapa de pruebas de las solicitudes de cambio por lotes no aprobadas se ofrecen sin cargo.
El uso de las funciones de Knowledge Studio puede generar cargos estándar por los recursos subyacentes deGoogle Cloud en tu proyecto:
- Exploración de datos: Cuando el agente de exploración en el chat invoca trabajos de consulta de BigQuery o Conversational Analytics de BigQuery, se aplican los cargos estándar de procesamiento de consultas de BigQuery y Conversational Analytics.
- Conjuntos de contexto y enriquecimiento: Un grupo de entradas de conjunto de contexto vacío o una solicitud de cambio por lotes no aprobada no genera cargos por almacenamiento de metadatos. Cuando se crean entradas en un conjunto de contexto (por ejemplo, cuando apruebas una solicitud de cambio por lotes), se aplican cargos estándar de almacenamiento de metadatos de Knowledge Catalog al proyecto que aloja el grupo de entradas. Los cargos por uso estándar, incluidos el procesamiento de consultas de BigQuery y las lecturas y escrituras de etapa de pruebas de Cloud Storage, se aplican en tu proyecto cuando una tarea de enriquecimiento usa recursos opcionales administrados por el cliente, como buckets de Cloud Storage para indicadores de conocimiento o conjuntos de evaluación y tablas de seguimiento de análisis de agentes de BigQuery para el autoaprendizaje.
¿Qué sigue?
Explora los recursos de datos en Knowledge Studio
Usa el lienzo visual de Knowledge Studio para chatear con tus datos y rastrear relaciones semánticas.
Descripción general de los conjuntos de contexto
Obtén información sobre los contenedores de contexto empaquetados de Knowledge Studio que se usan para fundamentar de forma segura tus agentes de IA downstream.
Acerca de las tareas de enriquecimiento
Aprende a configurar flujos de trabajo de extracción de metadatos basados en IA para crear contexto de datos automáticamente.
Establecer el contexto de los datos fundamentales
Crear un glosario empresarial, definir tipos de aspectos personalizados y enriquecer los recursos en BigQuery
Acerca de los servidores de MCP en Knowledge Catalog
Conecta agentes de IA y herramientas para desarrolladores a Knowledge Catalog con el Protocolo de contexto del modelo.
Enriquecimiento de contexto de autoaprendizaje para agentes de IA
Descubre cómo Knowledge Studio usa el enriquecimiento de contexto de autoaprendizaje y los grafos de contexto interactivos para fundamentar los agentes de IA empresariales.