En este documento, se proporciona una arquitectura de referencia que puedes usar para proteger la infraestructura de red de las aplicaciones con generación aumentada por recuperación (RAG). Una arquitectura de RAG suele contener subsistemas independientes para controlar los flujos de procesamiento de datos y recuperación de contenido. En esta arquitectura de referencia, se muestra cómo usar la VPC compartida para hacer lo siguiente:
- Crea una separación entre los subsistemas con los permisos de Identity and Access Management (IAM).
- Conectar los componentes de la aplicación con direcciones IP privadas
El público previsto para este documento incluye arquitectos, desarrolladores y administradores de redes y seguridad. En el documento, se da por sentado que tienes conocimientos básicos de redes. En este documento, no se describe la creación de una aplicación basada en RAG.
Arquitectura
En el siguiente diagrama, se muestra la arquitectura de red que se presenta en este documento:
La arquitectura del diagrama anterior muestra los siguientes componentes:
- Red externa, ya sea local o en otra nube
Una red externa que realiza las siguientes funciones:
- Proporciona conectividad de red a los ingenieros de datos que suben datos de RAG sin procesar.
- Finaliza la conectividad de red externa.
- Aloja routers externos.
- Proporciona conectividad al extremo de Private Service Connect en la red de nube privada virtual (VPC) de enrutamiento de Google Cloud .
- Contiene servidores DNS que apuntan al extremo de Private Service Connect.
- Proyecto de enrutamiento
Un proyecto de Google Cloud que realiza las siguientes funciones:
- Aloja la red de VPC de enrutamiento, que se conecta a la red externa a través de una conexión de Cloud Interconnect o Cloud VPN.
- Aloja un concentrador de Network Connectivity Center (NCC) que conecta la red externa, la red de VPC de enrutamiento y las redes de VPC compartida.
- Aloja un extremo de Private Service Connect que se conecta a un extremo regional de Cloud Storage. Este extremo permite que los ingenieros de datos suban datos de RAG al bucket de Cloud Storage.
- Proyecto host de VPC compartida de RAG
Aloja una red de VPC compartida que aloja el balanceador de cargas de aplicaciones interno del servicio de frontend y cualquier otro servicio que necesite una red de VPC. Todos los proyectos de servicio tienen acceso a esa red de VPC compartida.
- Proyecto de servicio de transferencia de datos
Contiene un bucket de Cloud Storage para la entrada de datos sin procesar. Contiene el subsistema de ingesta de datos, que incluye los siguientes componentes:
- Procesamiento de transferencia: Lee los datos sin procesar y los procesa.
- Resultado de la transferencia: Escribe en el almacén de datos final.
- Proyecto de servicio de entrega
Contiene el subsistema de entrega, que incluye los siguientes componentes que proporcionan los servicios y las funciones para la inferencia y la interacción:
- Almacén de datos de RAG que contiene el resultado del subsistema de transferencia de datos.
- Procesos de entrega que alimentan el modelo combinando la consulta de inferencia con datos del almacén de datos de RAG.
- Es el modelo que usa el subsistema de entrega para crear vectores a partir de los datos de RAG subidos y procesar la solicitud del usuario final.
- Proyecto de servicio de frontend
Contiene el subsistema de frontend, que es un balanceador de cargas de aplicaciones frente a un servicio de interacción del usuario que se ejecuta en Cloud Run o Google Kubernetes Engine (GKE).
El proyecto también contiene Google Cloud Armor, que ayuda a limitar la forma en que se accede al servicio. Si quieres proporcionar acceso desde Internet, puedes agregar un balanceador de cargas de aplicaciones externo regional.
- Perímetro de los Controles del servicio de VPC
Ayuda a proteger contra el robo de datos. Los datos que se almacenan en los buckets de Cloud Storage no se pueden copiar en ningún lugar fuera del perímetro, y las operaciones del plano de control están protegidas.
En las siguientes secciones, se describen las conexiones y los flujos de tráfico que se encuentran en la arquitectura.
Conexiones entre componentes
En esta sección, se describen las conexiones entre los componentes y las redes en esta arquitectura.
Red externa a la red de VPC de enrutamiento
Las redes externas se conectan a la red de VPC de enrutamiento de Google Cloud a través de Cloud Interconnect o Cloud VPN, que son radios híbridos de un concentrador de NCC.
Los Cloud Routers en la red de VPC de enrutamiento y los routers externos en la red externa intercambian rutas del protocolo de puerta de enlace de frontera (BGP):
- Los routers de las redes externas anuncian las rutas de las subredes externas al Cloud Router de la VPC de enrutamiento. Puedes expresar la preferencia de las rutas con métricas y atributos de BGP.
- Los Cloud Routers en la red de VPC de enrutamiento anuncian las rutas para los prefijos en las VPC de Google Clouden las redes externas.
Red de VPC de enrutamiento a red de VPC compartida
Conecta la red de VPC de enrutamiento y la red de VPC de RAG con los radios de VPC de NCC del concentrador de NCC. El concentrador también aloja los radios híbridos en la red externa.
De recurso a recurso dentro de la red de VPC compartida
En este diseño, un bucket de Cloud Storage recibe datos de la red externa. Las solicitudes de inferencia llegan a través de un balanceador de cargas de aplicaciones interno regional. Para el resto del sistema, tienes las siguientes opciones:
- Aloja todo en la infraestructura de SaaS de Google, como los buckets de Cloud Storage, Gemini Enterprise Agent Platform, Cloud Run y Pub/Sub. En este caso, los componentes se comunican a través de la infraestructura privada de Google.
- Aloja todo en cargas de trabajo que se ejecutan en VMs de Compute Engine, clústeres de GKE, bases de datos de Cloud SQL o en otros componentes que se ejecutan en redes de VPC. En este caso, los sistemas se comunican con direcciones IP privadas en las redes que vinculas a través de NCC o el intercambio de tráfico entre redes de VPC.
- Usa una combinación de servicios completamente administrados, de plataforma y de infraestructura. En
este caso, puedes establecer conexiones entre una red de VPC y un servicio completamente
administrado con los siguientes métodos:
- Acceso privado a Google: Con este método, las cargas de trabajo que no tienen direcciones IP externas y que se ejecutan en redes de VPC pueden acceder a las APIs de Google. Este acceso se produce de forma interna a través de la infraestructura de Google, y este proceso no expone ese tráfico a Internet.
- Private Service Connect: Con este método, puedes crear un extremo en tu proyecto de servicio para servicios como AlloyDB para PostgreSQL que se alojan en redes de VPC administradas.
De la red externa al servicio de frontend del balanceador de cargas de aplicaciones
El extremo del balanceador de cargas de aplicaciones interno regional es una dirección IP en la red de RAG. La red de RAG, la red de enrutamiento y las conexiones híbridas a la red externa son radios del mismo concentrador de NCC. Por lo tanto, puedes indicarle a NCC que exporte todos los subrangos de radios al concentrador, que, luego, vuelve a exportar esos subrangos a las otras redes de radios. Luego, los usuarios finales del sistema pueden acceder al servicio con balanceo de cargas desde la red externa.
Flujos de tráfico
Los flujos de tráfico en esta arquitectura de referencia incluyen un flujo de datos de RAG y un flujo de inferencia.
Flujo de población de RAG
En este flujo, se describe cómo los datos de RAG fluyen por el sistema desde los ingenieros de datos hasta el almacenamiento de vectores.
- Desde la red externa, los ingenieros de datos suben datos sin procesar a través de la conexión de Cloud Interconnect o de Cloud VPN. Los datos se suben al extremo de Private Service Connect en la red de VPC de enrutamiento.
- Los datos viajan a través de la infraestructura interna de Google hasta el bucket de Cloud Storage en el proyecto de servicio de transferencia de datos.
Dentro del proyecto de servicio de transferencia de datos, los datos viajan entre sistemas con uno de los siguientes métodos:
- Acceso privado a Google
- Extremos de Private Service Connect
- Infraestructura directa de Google
El método depende de si los sistemas se alojan en redes de VPC deGoogle Cloud o directamente en Google Cloud. Como parte de este flujo, el subsistema de ingesta de datos envía datos de RAG divididos en fragmentos al modelo, que produce vectores para cada fragmento.
El subsistema de transferencia de datos escribe los datos vectoriales y los datos fragmentados en el almacén de datos adecuado.
Flujo de inferencia
Este flujo describe las solicitudes de los clientes.
- Desde la red externa, un cliente envía una solicitud a la dirección IP del Service.
- La solicitud viaja a través de la conexión de Cloud Interconnect o la conexión de Cloud VPN a la red de VPC de enrutamiento.
- La solicitud viaja por la conexión de radio de VPC a la red de VPC de RAG.
- La solicitud del cliente llega al balanceador de cargas de aplicaciones, que la pasa al subsistema de frontend.
- El subsistema de frontend reenvía la solicitud al subsistema de entrega.
- El subsistema de entrega aumenta la solicitud con los datos contextuales pertinentes del almacén de datos.
- El subsistema de entrega envía la instrucción aumentada al modelo de IA, que genera una respuesta.
Productos usados
En esta arquitectura de referencia, se usan los siguientes productos de Google Cloud :
- Nube privada virtual (VPC): Es un sistema virtual que proporciona funcionalidad de red global y escalable para tus cargas de trabajo de Google Cloud . La VPC incluye el intercambio de tráfico entre redes de VPC, Private Service Connect, el acceso privado a servicios y la VPC compartida.
- VPC compartida: Es una función de la nube privada virtual que te permite conectar recursos de varios proyectos a una red de VPC común con direcciones IP internas de esa red.
- Private Service Connect: Es una función que permite a los consumidores acceder a los servicios administrados de forma privada desde su red de VPC.
- Acceso privado a Google: Es una función que permite que las instancias de VM sin direcciones IP externas accedan a las direcciones IP externas de las APIs y los servicios de Google.
- Cloud Interconnect: Es un servicio que extiende tu red externa a la red de Google a través de una conexión de alta disponibilidad y baja latencia.
- Cloud VPN: Es un servicio que extiende de forma segura tu red de intercambio de tráfico a la red de Google a través de un túnel VPN con IPsec.
- Cloud Router: Es una oferta distribuida y completamente administrada que proporciona capacidades de emisor y receptor del protocolo de puerta de enlace de frontera (BGP). Cloud Router funciona con Cloud Interconnect, Cloud VPN y los dispositivos de router para crear rutas dinámicas en redes de VPC según las rutas que se reciben de BGP y las que se aprenden de forma personalizada.
- Network Connectivity Center: Es un framework de organización que simplifica la conectividad de red entre los recursos de radio que están conectados a un recurso de administración central llamado concentrador.
- Controles del servicio de VPC: Es una funcionalidad de herramientas de redes administradas que minimiza los riesgos de robo de datos para tus recursos de Google Cloud .
- Cloud Load Balancing: Una cartera de balanceadores de cargas escalables, globales y regionales de alto rendimiento.
- Model Armor: Es un servicio que protege tus recursos de IA generativa y agéntica contra la inyección de instrucciones, las filtraciones de datos sensibles y el contenido dañino.
- Google Cloud Armor: Es un servicio de seguridad de redes que ofrece reglas de firewall de aplicación web (WAF) y ayuda a proteger contra ataques DSD y de aplicaciones.
- Cloud Storage: Es un almacén de objetos de bajo costo y sin límites para varios tipos de datos. Se puede acceder a los datos desde y hacia Google Cloud, y estos se replican en las ubicaciones para aumentar la redundancia.
Casos de uso
Esta arquitectura está diseñada para situaciones empresariales en las que las comunicaciones de entrada, salida y las internas del sistema general deben usar direcciones IP privadas y no deben atravesar Internet:
- Entrada privada: Los datos subidos no se transmiten por Internet. En su lugar, alojas tu bucket de Cloud Storage detrás de un extremo de Private Service Connect en tu red de VPC de enrutamiento de Google Cloud. Copias los datos de RAG en tu conexión de Cloud Interconnect o Cloud VPN con solo direcciones IP privadas.
- Conectividad privada entre servicios: Los servicios se comunican entre sí a través de las interfaces internas de Google o de direcciones privadas que son internas en tus redes de VPC.
- Salida privada: No se puede acceder a los resultados de la inferencia a través de Internet, a menos que elijas configurar ese acceso. De forma predeterminada, solo los usuarios de la red externa designada pueden acceder al extremo privado de tu servicio.
Alternativas de diseño
En esta sección, se presentan enfoques alternativos de diseño de red que puedes considerar para tu aplicación compatible con RAG en Google Cloud.
Haz que el servicio esté disponible de forma pública
En la arquitectura que se muestra en este documento, solo los usuarios de tu red interna pueden enviar consultas a tu aplicación. Si los clientes en Internet deben poder acceder a tu aplicación, usa un balanceador de cargas de aplicaciones externo regional.
Usa GKE Inference Gateway
Si tu subsistema de frontend se ejecuta en GKE, puedes usar GKE Inference Gateway en lugar de un balanceador de cargas de aplicaciones.
Consideraciones del diseño
En esta sección, se proporcionan instrucciones adicionales para ayudarte a implementar las herramientas de redes que admiten la conectividad privada para una arquitectura compatible con RAG. Esta guía puede ayudarte a cumplir con tus requisitos específicos de seguridad, privacidad y cumplimiento, confiabilidad, optimización de costos, eficiencia operativa y optimización del rendimiento. La guía de esta sección no está completa. Para tu implementación en particular, es posible que debas considerar factores de diseño adicionales que no se tratan en esta sección.
Security, privacy, and compliance
Para ayudar a proteger tu arquitectura compatible con RAG y cumplir con tus requisitos de privacidad y cumplimiento, ten en cuenta las siguientes recomendaciones:
- Análisis de instrucciones y respuestas: Implementa Model Armor frente al modelo de IA para evaluar las instrucciones entrantes y los resultados salientes en busca de inyecciones de instrucciones, intentos de jailbreak, filtraciones de datos sensibles y de incumplimientos de políticas de IA responsable. Puedes integrar Model Armor directamente con Gemini Enterprise Agent Platform o adjuntar Model Armor al balanceador de cargas de aplicaciones con las extensiones de tráfico de Service Extensions para rechazar las solicitudes inapropiadas antes de que lleguen al subsistema de entrega. Para acceder a los extremos regionales de Model Armor de forma privada desde una red de VPC sin errores de certificado cuando usas el Acceso privado a Google o los Controles del servicio de VPC, crea un extremo regional de Private Service Connect para las APIs de Model Armor.
- Microsegmentación de perímetro y red: Esta arquitectura usa Controles del servicio de VPC para ayudar a evitar el robo de datos no autorizado en tus proyectos de servicio. Además de los perímetros de servicio, usa las políticas de firewall de red y jerárquicas de Cloud Next Generation Firewall con etiquetas gobernadas por IAM para restringir el tráfico este-oeste entre las cargas de trabajo de transferencia de datos, entrega y frontend en la red de VPC compartida.
- Identidad y acceso de confianza cero: Aplica el control de acceso de confianza cero en el balanceador de cargas de aplicaciones interno de frontend o en el balanceador de cargas de aplicaciones externo regional habilitando Identity-Aware Proxy (IAP) para que solo los usuarios autenticados y autorizados puedan consultar la aplicación de RAG. Combina cuentas de servicio con privilegios mínimos con políticas de límite de acceso de las entidades para restringir a qué recursos puede acceder cada entidad del subsistema. Si tu subsistema de entrega organiza agentes autónomos o herramientas del Protocolo de contexto del modelo (MCP) en redes privadas, usa Agent Identity y Agent Gateway para autenticar y administrar el tráfico de agente a herramienta.
- Privacidad y encriptación de los datos: Usa Sensitive Data Protection en el subsistema de transferencia de datos para inspeccionar, clasificar y desidentificar la información de identificación personal (PII) en los documentos sin procesar subidos al bucket de Cloud Storage antes de generar incorporaciones y escribir en el almacén de datos de RAG. Si el cumplimiento de reglamentaciones requiere el control de las claves de encriptación, configura claves de encriptación administradas por el cliente (CMEK) en Cloud Key Management Service (Cloud KMS) para el bucket de Cloud Storage, el almacén de datos de vectores y los extremos del modelo.
Este diseño usa principios de seguridad establecidos para ayudar a proteger tus cargas de trabajo de RAG. Para conocer los principios y las recomendaciones de seguridad específicos de las cargas de trabajo de IA y AA, consulta Perspectiva de IA y AA: Seguridad en el Well-Architected Framework.
Confiabilidad
Para compilar y operar una infraestructura de red confiable para tu aplicación compatible con RAG, ten en cuenta las siguientes recomendaciones:
- Conectividad híbrida redundante: Configura adjuntos de VLAN de Cloud Interconnect o túneles VPN con alta disponibilidad redundantes en varios dominios y regiones de disponibilidad perimetral, vinculados con Cloud Routers redundantes para la conmutación por error dinámica de BGP entre tu red externa y la red de VPC de enrutamiento.
- Balanceo de cargas y almacenamiento multirregionales: Para obtener alta disponibilidad en todas las regiones, usa un balanceador de cargas de aplicaciones interno entre regiones para distribuir el tráfico de inferencia entre los backends de entrega y de frontend en varias regiones, y usa buckets de Cloud Storage birregionales o multirregionales con almacenes de datos de vectores replicados.
- Transferencia asíncrona y resiliencia de cuotas: Desvincula las cargas de datos sin procesar
al bucket de Cloud Storage de la canalización de procesamiento de transferencia con
Pub/Sub
con temas de mensajes no entregados o
políticas de reintento de Eventarc
para que se puedan reintentar las fallas transitorias de incorporación o indexación sin pérdida de
datos. Para obtener una latencia y una capacidad predecibles durante la generación
y la inferencia de embeddings de alto volumen, reserva
la capacidad de procesamiento aprovisionada
e implementa la retirada exponencial para las respuestas HTTP
429.
Para conocer los principios y las recomendaciones de confiabilidad específicos de las cargas de trabajo de IA y AA, consulta Perspectiva de IA y AA: Confiabilidad en el Well-Architected Framework.
Optimización de costos
Para optimizar el costo de compilar y ejecutar tu arquitectura compatible con RAG, ten en cuenta las siguientes recomendaciones:
- Selección de extremos y salida de red: Coloca la red de VPC de enrutamiento, los extremos de Private Service Connect, el bucket de Cloud Storage, el almacén de datos de RAG y los extremos del modelo en la misma región para evitar cargos por transferencia de datos entre regiones en los radios de NCC. Consolida los extremos de Private Service Connect compartidos en la red de VPC de enrutamiento o host para reducir los cargos por hora de los extremos y el procesamiento de datos.
- Administración del ciclo de vida del almacenamiento: Configura la administración del ciclo de vida de los objetos de Cloud Storage o Autoclass en el bucket de transferencia de datos sin procesar para transferir los documentos de origen procesados a clases de almacenamiento más frías o borrar los archivos de etapa de pruebas después de que se escriban los vectores en el almacén de datos de RAG.
- Incorporación por lotes y almacenamiento en caché de contexto: Para actualizaciones grandes y no urgentes del corpus de RAG en el subsistema de transferencia de datos, usa la predicción por lotes para embeddings o la inferencia por lotes a un costo menor que las solicitudes en línea. En el subsistema de entrega, habilita el caché de contexto para las instrucciones del sistema recurrentes y los documentos de referencia que se recuperan con frecuencia para reducir los costos de los tokens de entrada.
Para conocer los principios y las recomendaciones de optimización de costos específicos de las cargas de trabajo de IA y AA, consulta Perspectiva de IA y AA: Optimización de costos en el Well-Architected Framework.
Eficiencia operativa
Para operar y administrar de manera eficiente tu infraestructura de redes y RAG, ten en cuenta las siguientes recomendaciones:
- Infraestructura como código (IaC): Automatiza el aprovisionamiento del proyecto de enrutamiento, los proyectos de servicio y host de VPC compartida, el concentrador y los radios de NCC, los extremos de Private Service Connect y los perímetros de Controles del servicio de VPC con módulos de Terraform del esquema de bases empresariales y el Administrador de infraestructura.
- Resolución de DNS privado centralizada: Simplifica la administración de DNS en tu red externa y los radios de VPC con zonas privadas de Cloud DNS y políticas de reenvío entrantes o salientes en la red de VPC de enrutamiento para que los clientes locales y los proyectos de servicio resuelvan automáticamente las direcciones IP del extremo de Private Service Connect y del balanceador de cargas de aplicaciones interno.
- Observabilidad de red y de IA: Supervisa la conectividad híbrida, el tráfico de radios de NCC y las denegaciones de políticas de los Controles del servicio de VPC con Network Intelligence Center (incluidas las pruebas de conectividad y Flow Analyzer), Cloud Logging y Cloud Monitoring. Evalúa de forma continua la relevancia y la fundamentación de la recuperación en el subsistema de entrega con el servicio de evaluación de IA generativa.
Para conocer los principios y las recomendaciones de excelencia operativa específicos de las cargas de trabajo de IA y AA, consulta Perspectiva de IA y AA: Excelencia operativa en el Well-Architected Framework.
Optimización del rendimiento
Para optimizar el rendimiento de tus cargas de trabajo de redes y RAG, ten en cuenta las siguientes recomendaciones:
- Ancho de banda híbrido y coubicación regional: Ajusta el tamaño de tus adjuntos de VLAN de Cloud Interconnect o túneles de Cloud VPN para controlar los volúmenes máximos de carga de datos sin procesar desde tu red externa sin saturar el ancho de banda compartido con las solicitudes de inferencia interactivas. Coloca el extremo regional de Private Service Connect, el bucket de Cloud Storage, el almacén de datos de vectores (como Vector Search o AlloyDB para PostgreSQL) y los extremos de modelo en la región más cercana a tu punto de presencia de interconexión híbrida para minimizar la latencia de ida y vuelta de la red.
- Escalamiento de procesamiento y enrutamiento de inferencia: Si tu subsistema de frontend o de entrega se ejecuta en Cloud Run, configura las instancias mínimas y ajusta la configuración de simultaneidad para eliminar la latencia de inicio en frío durante los aumentos repentinos de tráfico. Si entregas modelos abiertos en GKE, usa la puerta de enlace de inferencia para realizar un enrutamiento que tenga en cuenta la caché de KV y la carga en los servidores de modelos.
Para conocer los principios y las recomendaciones de optimización del rendimiento específicos de las cargas de trabajo de IA y AA, consulta Perspectiva de IA y AA: Optimización del rendimiento en el Well-Architected Framework.
Implementación
En esta sección, se describen los pasos para crear tu aplicación:
- Identifica la región para las cargas de trabajo.
- Crea proyectos de Google Cloud y redes de VPC.
- Conecta tus redes externas a tu red de VPC de enrutamiento.
- Vincula redes con NCC.
- Identifica los componentes para la implementación de RAG y crea cuentas de servicio.
- Configura los Controles del servicio de VPC.
- Compila el subsistema de transferencia de datos.
- Compila el subsistema de entrega.
- Compila el subsistema de frontend.
- Haz que se pueda acceder a tu aplicación desde Internet.
Identifica la región para las cargas de trabajo
En general, se recomienda colocar la conectividad, las subredes de VPC y las cargas de trabajo de Google Cloud cerca de tus redes locales o de otros clientes de la nube. Para obtener más información sobre cómo elegir una región para tus cargas de trabajo, consulta Selector de regiones deGoogle Cloud y Prácticas recomendadas para seleccionar regiones de Compute Engine.
Crea proyectos de Google Cloud y redes de VPC
Si tu organización ya configuró Red Multinube para aplicaciones distribuidas, tu proyecto de enrutamiento y la red de VPC de enrutamiento ya deberían existir.
Crea los proyectos deGoogle Cloud y una red de VPC en el siguiente orden:
- Crea el proyecto de enrutamiento.
- Crea la red de VPC de enrutamiento con el Acceso privado a Google habilitado.
- Crea el proyecto de RAG.
- Ascender el proyecto de RAG para que sea un proyecto host de VPC compartida.
- Crea el proyecto de servicio de transferencia de datos.
- Crea el proyecto de servicio de entrega.
- Crea el proyecto de servicio de frontend.
- Crea la red de RAG de VPC compartida con el Acceso privado a Google habilitado.
- Otorga permiso a los proyectos de servicio para usar la red de RAG.
Conecta tus redes externas a tu red de VPC de enrutamiento
Puedes omitir este paso si ya configuraste Red Multinube para aplicaciones distribuidas.
Configura la conectividad entre las redes externas y tu red de enrutamiento. Para comprender las tecnologías pertinentes, consulta Conectividad híbrida y externa. Para obtener orientación sobre cómo elegir un producto de conectividad, consulta Elige un producto de Conectividad de red.
Vincula redes con NCC
- En el proyecto de enrutamiento, crea un concentrador de NCC.
- Agrega las conexiones de Cloud Interconnect como radios de adjuntos de VLAN o agrega conexiones de Cloud VPN como radios de VPN.
- Agrega la red de VPC de RAG y la red de VPC de enrutamiento al concentrador como radios de VPC.
Identificar componentes para la implementación de RAG y crear cuentas de servicio
- Elige una implementación de RAG y crea una lista de los componentes que necesita.
- Identifica el acceso que necesita cada componente.
- Para cada componente, crea una cuenta de servicio con los permisos adecuados. En algunos casos, esto significa que otorgas permiso a un componente para leer o escribir en un proyecto de servicio diferente.
En este diseño, se supone que usas un bucket de Cloud Storage como componente de entrada de datos y que usas un balanceador de cargas de aplicaciones en tu frontend de inferencia. El resto del diseño puede variar según sea necesario.
Lo ideal es que cada componente se ejecute como su propia cuenta de servicio. Asegúrate de que cada componente tenga solo los permisos de IAM mínimos necesarios para realizar las funciones requeridas. Por ejemplo, un trabajo de Cloud Run en el subsistema de transferencia de datos necesita leer desde el bucket de Cloud Storage de entrada, pero no necesita escribir en el bucket. En este ejemplo, el proyecto de servicio que ejecuta el trabajo de Cloud Run debe tener permiso para solo leer del bucket, sin permiso de escritura.
Configurar los Controles del servicio de VPC
- Crea un perímetro de Controles del servicio de VPC alrededor de tu implementación.
- Configura reglas de acceso.
Compila el subsistema de transferencia de datos
El subsistema de transferencia de datos toma datos sin procesar de los ingenieros de datos y los procesa para que los use el subsistema de entrega.
- En el proyecto de servicio de transferencia de datos, crea un bucket de Cloud Storage.
- En la red de VPC de enrutamiento, crea un extremo regional de Private Service Connect y conéctalo al bucket.
- En la red externa, agrega una entrada de DNS para el extremo con la dirección IP y la URL que se generaron en el paso anterior.
- Actualiza las reglas de firewall de red externa para permitir el acceso a la dirección IP del extremo.
- En el proyecto de servicio de transferencia de datos, compila el resto de tu canalización de transferencia según la arquitectura de RAG que elegiste.
- Otorga permisos de IAM para que el recurso relevante en la canalización de transferencia pueda acceder al modelo que produce los vectores.
- Otorga permisos de IAM para que el recurso relevante en la canalización de transferencia pueda escribir en el almacén de datos de vectores.
Compila el subsistema de entrega
- En el proyecto de servicio de entrega, compila tu canalización de entrega.
- Otorga permisos de IAM para que la cuenta de servicio en el sistema de frontend pueda acceder al resultado del subsistema de entrega.
Compila el subsistema de frontend
En esta sección, se supone que usas un balanceador de cargas de aplicaciones interno regional que usa un NEG sin servidores delante de Cloud Run. Sin embargo, puedes usar un balanceador de cargas y un backend diferentes.
- Crear el código para tu sistema de frontend
- En el proyecto de servicio de frontend, implementa tu sistema de frontend con balanceo de cargas, que incluye el paso opcional para configurar una política de seguridad de Cloud Armor.
- Configura Cloud Router en la red de VPC de enrutamiento para reenviar rutas desde la red de VPC de RAG a los routers locales. Esta configuración permite que los clientes lleguen al balanceador de cargas de aplicaciones.
- En tu red externa, configura las reglas de firewall para que se pueda acceder al frontend del balanceador de cargas desde tu red externa.
- En tu red externa, actualiza el DNS para que apunte a la regla de reenvío del balanceador de cargas de aplicaciones.
Haz que se pueda acceder a tu aplicación desde Internet
Esta sección es opcional.
En este diseño, se supone que deseas que solo se pueda acceder al servicio desde tu red externa, pero también puedes hacer que se pueda acceder al servicio desde Internet.
Para que se pueda acceder al servicio desde Internet, completa los siguientes pasos:
- Crea un balanceador de cargas de aplicaciones externo regional que apunte al mismo backend al que apunta el balanceador de cargas de aplicaciones interno. Completa el paso opcional para configurar una política de seguridad de Cloud Armor.
- Actualiza los Controles del servicio de VPC para permitir que los clientes del servicio lleguen a los servicios de backend.
¿Qué sigue?
- Obtén más información sobre Cross-Cloud Network para aplicaciones distribuidas.
- Aprende a alojar apps y agentes de IA en Cloud Run.
- Obtén información sobre las prácticas recomendadas de IA responsable y los filtros de seguridad de Agent Platform.
- Obtén información sobre las estrategias de instrucciones para LLM.
- Para obtener una descripción general de los principios y las recomendaciones de arquitectura específicos de las cargas de trabajo de IA y AA en Google Cloud, consulta la perspectiva de IA y AA en el Well-Architected Framework.
- Para obtener más información sobre las arquitecturas de referencia, los diagramas y las prácticas recomendadas, explora Cloud Architecture Center.
Colaboradores
Autores:
- Deepak Michael | Ingeniero de Atención al cliente especializado en herramientas de redes
- Mark Schlagenhauf | Escritor técnico, Herramientas de redes
Otros colaboradores:
- Autor: Kumar Dhanagopal | Desarrollador de soluciones entre productos
- Victor Moreno | Gerente de producto, Herramientas de redes de Cloud
- Samantha He | Escritora técnica
- Ammett Williams | Ingeniero de relaciones con desarrolladores
- Aspen Sherrill | Arquitecto de seguridad en la nube