En este documento, se proporciona una arquitectura de alto nivel para implementar flujos de trabajo de estadísticas entre nubes que usan agentes de IA. El documento está destinado a arquitectos de la nube, ingenieros de datos y científicos de datos que desean usar la IA de agentes para flujos de trabajo de análisis en data lakes de múltiples nubes, almacenes de datos estructurados y almacenes de datos no estructurados. En el documento, se supone que tienes conocimientos básicos de los conceptos de IA de agentes, el análisis de datos y la arquitectura de la nube.
En la sección Implementación de este documento, se proporciona un codelab que puedes usar para aprender a compilar una solución de estadísticas de agentes.
Arquitectura
En el siguiente diagrama, se muestra una arquitectura para una solución de estadísticas de agentes que deriva estadísticas empresariales de datos estructurados y no estructurados que se distribuyen en varios almacenes de datos y proveedores de servicios en la nube.
Los componentes de esta arquitectura se organizan en las siguientes capas:
Acciones del usuario y de agentes
- Entorno de desarrollo de agentes: Los profesionales de datos, como los ingenieros de datos
y los científicos de datos, envían solicitudes en lenguaje natural con uno de los
siguientes métodos:
- Un entorno de desarrollo de agentes como Google Antigravity IDE o Microsoft Visual Studio Code.
- Un agente de CLI como Gemini CLI, Claude Code o Codex.
- Extensión del Kit de agentes de datos de Google Cloud: La extensión permite que los agentes accedan a datos confiables Google Cloud cargando las habilidades adecuadas y conectándose a servidores MCP remotos para los Google Cloud servicios.
- Modelo base: Para generar estadísticas empresariales a partir de datos y contexto confiables y datos, el entorno de desarrollo de agentes usa un modelo base, como un modelo de la familia Gemini. El modelo usa las habilidades adecuadas de la extensión del Kit de agentes de datos y las herramientas necesarias del servidor MCP para implementar flujos de trabajo de estadísticas complejos.
- Entorno de desarrollo de agentes: Los profesionales de datos, como los ingenieros de datos
y los científicos de datos, envían solicitudes en lenguaje natural con uno de los
siguientes métodos:
Flujos de trabajo de estadísticas
- Lakehouse para Apache Iceberg: Lakehouse proporciona un catálogo de metadatos unificado y de alto rendimiento que integra el formato de tabla abierta de Apache Iceberg con el almacenamiento de nivel empresarial en Google Cloud.
- Managed Service para Apache Spark: Este es el componente principal de procesamiento de datos en la arquitectura. La función Lightning Engine de Managed Service para Apache Spark admite el procesamiento de datos sin servidores y de alto rendimiento en modos interactivos y por lotes. Los trabajos de procesamiento de datos de Spark usan metadatos del catálogo de Iceberg en Lakehouse, leen datos estructurados de BigQuery y realizan lecturas sin copia de fuentes externas como Amazon S3.
- Knowledge Catalog: El agente usa Knowledge Catalog para realizar análisis inteligentes de datos no estructurados en Cloud Storage, extraer metadatos semánticos y compilar un gráfico de contexto.
Almacenes de datos confiables
- Datos en Google Cloud: BigQuery funciona como el almacén central de datos estructurados, incluidas las extracciones estructuradas de datos no estructurados en Cloud Storage.
- Datos de fuentes externas: La arquitectura muestra fuentes de datos externas, como datos en buckets de Amazon S3 y metadatos en Databricks Unity Catalog. Cross-Cloud Interconnect proporciona conectividad dedicada de ancho de banda alto entre Google Cloud y otros proveedores de servicios en la nube.
Productos usados
La arquitectura usa los siguientes Google Cloud productos y herramientas:
- Kit de agentes de datos de Google Cloud: Extensiones de agentes para permitir que los científicos de datos, los ingenieros de datos y los desarrolladores de apps de datos administren todo el ciclo de vida de los datos desde sus entornos de desarrollo de agentes preferidos
- BigQuery: Un almacén de datos empresarial que te ayuda a administrar y analizar tus datos con funciones integradas como el aprendizaje automático, el análisis geoespacial y la inteligencia empresarial.
- Managed Service para Apache Spark: Un servicio administrado que ejecuta cargas de trabajo por lotes de Apache Spark en una infraestructura de procesamiento administrada
- Lakehouse para Apache Iceberg: Un motor de almacenamiento de alto rendimiento que te permite compilar data lakehouses abiertos y proporciona una interfaz unificada para estadísticas avanzadas y la IA.
- Knowledge Catalog: Un servicio potenciado por IA que proporciona un catálogo unificado de recursos de datos con metadatos inteligentes y capacidades de administración
- Gemini: Una familia de modelos de IA multimodales desarrollados por Google.
- Cloud Storage: Un almacén de objetos de bajo costo y sin límites para varios tipos de datos. Se puede acceder a los datos desde y hacia Google Cloud, y estos se replican en las ubicaciones para aumentar la redundancia.
- Cross-Cloud Interconnect: Un servicio que proporciona conectividad dedicada de ancho de banda alto y baja latencia entre Google Cloud y otros proveedores de servicios en la nube
- Servidores MCP de Google Cloud: Servicios remotos administrados por Google que implementan el Protocolo de contexto del modelo (MCP) para proporcionar a las aplicaciones de IA acceso a los productos y servicios de Google Google Cloud .
Casos de uso
La arquitectura que se describe en este documento es adecuada para los siguientes casos de uso:
- Análisis de datos de múltiples nubes: Consulta y analiza de manera eficiente los datos que se distribuyen en Google Cloud y otros proveedores de servicios en la nube sin mover archivos ni compilar canalizaciones complejas de extracción, transformación y carga (ETL). Por ejemplo, un gerente de marketing de un comercio minorista global puede analizar la efectividad de las campañas de marketing uniendo los datos de fidelización de clientes en Amazon S3 con los datos de operaciones de marketing en BigQuery.
- Descubrimiento inteligente de datos: Usa instrucciones en lenguaje natural y agentes de IA para descubrir, consultar y procesar conjuntos de datos federados en varios entornos. Por ejemplo, un especialista en adquisiciones puede determinar las causas comunes de las interrupciones de la cadena de suministro en función de los datos estructurados en un sistema de administración de la cadena de suministro (SCM) combinados con estadísticas de comunicaciones por correo electrónico no estructuradas y los informes de evaluación de daños.
- Extracción de datos estructurados de fuentes no estructuradas: Analiza grandes volúmenes de datos no estructurados, deriva metadatos semánticos y almacena extracciones de datos estructurados en BigQuery para el análisis posterior. Por ejemplo, un controlador de operaciones puede analizar los gastos de manera eficiente extrayendo datos estructurados de miles de facturas que se almacenan en un formato no estructurado, como archivos PDF.
Deployment
Para aprender a compilar una solución de estadísticas de agentes con la extensión del Kit de agentes de datos, consulta el codelab, Datos sin procesar para la previsión en segundos con agentes de IA. En el codelab, se muestra cómo la extensión del Kit de agentes de datos te permite analizar datos de manera eficiente desde tu entorno de desarrollo de agentes preferido. Todos los datos de muestra que usa el codelab se almacenan en Google Cloud.
¿Qué sigue?
- Obtén información sobre cómo la extensión del Kit de agentes de datos te permite usar notebooks para la transformación y el análisis de datos.
- Explora los casos de uso de Knowledge Catalog.
- Obtén más información sobre Lakehouse.
- Aprende a acelerar las cargas de trabajo de Apache Spark con Lightning Engine.
- Descubre cómo puedes usar Knowledge Catalog como una capa de administración y de agentes para BigQuery.
- Para obtener más información sobre las arquitecturas de referencia, los diagramas y las prácticas recomendadas, explora el Cloud Architecture Center.
Colaboradores
Autor: Kumar Dhanagopal | Desarrollador de soluciones entre productos
Otros colaboradores:
- Abirami Sukumaran | Staff Developer Advocate
- Arti Prasad | Escritor técnico
- Brad Miro | Senior Developer Advocate
- Matthew Rahmann | Gerente de producto sénior
- Ranadip Chatterjee | Ingeniero de soluciones
- Remigiusz Samborski | Ingeniero principal de relaciones con desarrolladores