En este documento, se proporciona una arquitectura de alto nivel para una aplicación que usa IA con el objetivo de generar soluciones para las preguntas de asistencia de los clientes.
El público objetivo de este documento incluye arquitectos, desarrolladores y administradores que compilan y administran aplicaciones de IA generativa en la nube. En el documento, se supone que tienes conocimientos básicos de IA generativa.
En la sección Implementación de este documento, se proporcionan muestras de código para casos de uso de asistencia al cliente asistida por IA.
Arquitectura
En el siguiente diagrama, se muestra una arquitectura para una aplicación de servicio de asistencia asistida por IA en Google Cloud. La aplicación recibe preguntas de los clientes, recupera recursos pertinentes de una base de conocimiento y, luego, genera soluciones para las preguntas. La arquitectura es una implementación del enfoque de generación aumentada por recuperación (RAG).
La aplicación de esta arquitectura consta de servicios alojados en contenedores que se implementan en un clúster de Google Kubernetes Engine (GKE). La arquitectura muestra el siguiente flujo:
- Un cliente envía una pregunta a la aplicación de asistencia técnica.
- La aplicación de asistencia técnica pasa la pregunta del cliente al servicio de recuperación de conocimiento.
- El servicio de recuperación de conocimiento construye y envía una instrucción a Gemini Enterprise Agent Platform para recuperar recursos que sean pertinentes para la pregunta del cliente.
- El modelo de Gemini en Agent Platform identifica los recursos pertinentes de una base de conocimiento de asistencia que se almacena en Cloud Storage.
- Gemini devuelve los IDs de los recursos pertinentes al servicio de recuperación de conocimiento.
- El servicio de recuperación de conocimiento recupera los recursos pertinentes de Cloud Storage.
- El servicio de recuperación de conocimiento envía la pregunta del cliente y los recursos pertinentes al servicio de generación de soluciones.
- El servicio de generación de soluciones envía los recursos a Agent Platform, con una instrucción para generar una solución detallada para la pregunta del cliente.
- Gemini genera una solución, como instrucciones paso a paso o un video explicativo.
- El servicio de generación de soluciones proporciona la solución al cliente a través de la aplicación de la mesa de ayuda.
Productos usados
En esta arquitectura de ejemplo, se usan los siguientes productos de Google Cloud :
- Google Kubernetes Engine (GKE): Un servicio de Kubernetes que puedes usar para implementar y operar aplicaciones en contenedores a gran escala con la infraestructura de Google.
- Gemini Enterprise Agent Platform: Es una plataforma integral que te permite crear, escalar, administrar y optimizar agentes de IA de nivel empresarial.
- Cloud Storage: Es un almacén de objetos de bajo costo y sin límites para varios tipos de datos. Se puede acceder a los datos desde y hacia Google Cloud, y estos se replican en las ubicaciones para aumentar la redundancia.
Consideraciones del diseño
En esta sección, se describen los factores de diseño, las prácticas recomendadas y las recomendaciones de acuerdo con el Framework de buena arquitectura deGoogle Cloud . Ten en cuenta esta información cuando uses esta arquitectura de referencia para desarrollar una topología que cumpla con tus requisitos específicos de seguridad, optimización de costos, eficiencia operativa y rendimiento.
Security, privacy, and compliance
Para diseñar una topología en Google Cloud que cumpla con los requisitos de seguridad, privacidad y cumplimiento de tu carga de trabajo, ten en cuenta las siguientes recomendaciones:
- Para filtrar las instrucciones de clientes no confiables y las respuestas de RAG en busca de inyección de instrucciones, jailbreaks y contenido dañino, usa Model Armor.
- Para detectar y ocultar información de identificación personal (IIP) en los tickets de asistencia y los documentos de la base de conocimiento, integra Sensitive Data Protection.
Para conocer los principios y las recomendaciones de seguridad específicos de las cargas de trabajo de IA y AA, consulta Perspectiva de IA y AA: Seguridad en el Well-Architected Framework.
Optimización de costos
En esta sección, se proporciona orientación para ayudarte a optimizar el costo de configurar y operar tu topología de asistencia al cliente en Google Cloud.
Cuando las instrucciones de asistencia comparten de forma reiterada instrucciones del sistema y documentos de referencia, habilita el almacenamiento en caché de contexto en Agent Platform. Reutilizar tokens de prefijo almacenados en caché en todas las solicitudes reduce los costos de los tokens de entrada repetidos y disminuye la latencia de respuesta.
Para conocer los principios y las recomendaciones de optimización de costos específicos de las cargas de trabajo de IA y AA, consulta Perspectiva de IA y AA: Optimización de costos en el Well-Architected Framework.
Eficiencia operativa
Para diseñar una topología de Google Cloud que puedas operar con eficiencia operativa, ten en cuenta las siguientes recomendaciones:
- Para automatizar la división de documentos, los embeddings y la recuperación fundamentada en Cloud Storage, usa RAG Engine en Gemini Enterprise Agent Platform. Para la búsqueda empresarial lista para usar con citas en artículos de ayuda no estructurados, también puedes fundamentar las respuestas con Agent Search.
- Para organizar los flujos de trabajo de asistencia de varios turnos y las llamadas a herramientas, compila tus servicios con el Kit de desarrollo de agentes (ADK). Para conservar el estado de la conversación entre turnos, usa las sesiones de Gemini Enterprise Agent Platform. Para retener el contexto del cliente a largo plazo en todas las sesiones de asistencia, vincula Agent Platform Sessions con Memory Bank.
- Si tu equipo no necesita personalizar GKE a nivel de clúster, puedes implementar agentes de asistencia en Agent Runtime en Gemini Enterprise Agent Platform. En el caso de los servicios HTTP alojados en contenedores sin estado, también puedes ejecutar cargas de trabajo en Cloud Run para reducir la sobrecarga de administración de la infraestructura.
- Antes de implementar actualizaciones en las instrucciones, la lógica de recuperación o el modelo, mide la fundamentación y la calidad de las respuestas con la evaluación de modelos y agentes en Agent Platform.
Para conocer los principios y las recomendaciones de excelencia operativa específicos de las cargas de trabajo de IA y AA, consulta Perspectiva de IA y AA: Excelencia operativa en el Well-Architected Framework.
Optimización del rendimiento
Para diseñar una topología en Google Cloud que cumpla con los requisitos de rendimiento de tus cargas de trabajo, ten en cuenta las siguientes recomendaciones:
- Para lograr una recuperación semántica de baja latencia en grandes bases de conocimiento de asistencia, indexa los embeddings de documentos en Vector Search. Para combinar la búsqueda de vectores y palabras clave con la generación automática de embeddings en una sola colección, considera Agent Retrieval.
- Para mantener una latencia de respuesta constante y evitar el agotamiento de la cuota durante los aumentos repentinos de tráfico de asistencia, reserva capacidad con la capacidad de procesamiento aprovisionada en Agent Platform.
Para conocer los principios y las recomendaciones de optimización del rendimiento específicos de las cargas de trabajo de IA y AA, consulta Perspectiva de IA y AA: Optimización del rendimiento en el Well-Architected Framework.
Implementación
Para experimentar con aplicaciones de asistencia al cliente asistidas por IA en Google Cloud, usa las siguientes muestras de código:
- Compila una aplicación de asistencia al cliente que use IA generativa.
- Diseña instrucciones de chat para chatbots de atención al cliente.
¿Qué sigue?
- Crea un agente de asistencia al cliente con Gemini.
- Crea agentes de IA para casos de uso de asistencia al cliente con instrucciones, agentes basados en flujos y herramientas de almacén de datos en Customer Experience Agent Studio.
- Explora más guías de arquitectura de IA generativa.
- Para obtener una descripción general de los principios y las recomendaciones de arquitectura específicos de las cargas de trabajo de IA y AA en Google Cloud, consulta la perspectiva de IA y AA en el Well-Architected Framework.
- Para obtener más información sobre las arquitecturas de referencia, los diagramas y las prácticas recomendadas, explora Cloud Architecture Center.
Colaboradores
Autor: Kumar Dhanagopal | Desarrollador de soluciones entre productos
Otros colaboradores:
- Amina Mansour | Líder técnica, Relaciones con desarrolladores globales y contenido estratégico
- Megan O'Keefe | Developers Advocate
- Samantha He | Escritora técnica
- Shir Meir Lador | Gerente de Ingeniería de Relaciones con Desarrolladores