En este documento, se proporciona una arquitectura de referencia que muestra cómo implementar un flujo de trabajo de generación de candidatos de dos torres de extremo a extremo con Gemini Enterprise Agent Platform. El framework de modelado de dos torres es una técnica de recuperación potente para los casos de uso de personalización, ya que aprende la similitud semántica entre dos entidades diferentes, como las consultas web y los elementos candidatos.
Este documento está dirigido a profesionales técnicos, como científicos de datos e ingenieros de aprendizaje automático, que desarrollan aplicaciones de recomendación a gran escala con requisitos de entrega de baja latencia.
Arquitectura
En el siguiente diagrama, se muestra una arquitectura para entrenar un modelo de dos torres y implementar cada torre por separado para diferentes tareas de implementación y entrega:
La arquitectura del diagrama incluye los siguientes componentes:
- Datos de entrenamiento: Los archivos de entrenamiento se almacenan en Cloud Storage.
- Entrenamiento de dos torres: El modelo combinado de dos torres se entrena sin conexión con el servicio de entrenamiento administrado de Gemini Enterprise Agent Platform. Cada torre se guarda por separado y se usa para diferentes tareas.
- Torres de consultas y candidatos registradas: Después de entrenar las torres, cada una se sube por separado a Model Registry en Gemini Enterprise Agent Platform.
- Torre de consultas implementada: La torre de consultas registrada se implementa en un extremo en línea de Agent Platform.
- Embeddings de predicción por lotes: La torre de candidatos registrada se usa en un trabajo de inferencia por lotes para calcular previamente las representaciones de embeddings de todos los elementos candidatos disponibles.
- JSON de embeddings: Los embeddings predichos se guardan en un archivo JSON en Cloud Storage.
- Índice de ANN: Se usa Vector Search de Agent Platform para crear un índice de entrega que se configura para la búsqueda de vecino más cercano aproximado (ANN).
- Índice implementado: El índice de ANN se implementa en un extremo de índice de Vector Search de Agent Platform.
Productos usados
En esta arquitectura de referencia, se usan los siguientes productos de Google Cloud :
- Entrenamiento administrado de Gemini Enterprise Agent Platform: Es un servicio de entrenamiento administrado que te permite poner en funcionamiento el entrenamiento de modelos a gran escala.
- Vector Search: Es un servicio de coincidencia de similitud de vectores que te permite almacenar, indexar y buscar datos semánticamente similares o relacionados.
- Model Registry en Gemini Enterprise Agent Platform: Es un repositorio central en el que puedes administrar el ciclo de vida de tus modelos de AA.
- Cloud Storage: Es un almacén de objetos de bajo costo y sin límites para varios tipos de datos. Se puede acceder a los datos desde y hacia Google Cloud, y estos se replican en las ubicaciones para aumentar la redundancia.
Caso de uso
Para cumplir con los requisitos de entrega de baja latencia, los recomendadores a gran escala suelen implementarse en producción como sistemas de dos etapas o, a veces, como sistemas de varias etapas. El objetivo de la primera etapa, la generación de candidatos, es analizar una gran colección de elementos candidatos y recuperar un subconjunto relevante de cientos de elementos para las tareas de filtrado y clasificación posteriores. Para optimizar esta tarea de recuperación, considera estos dos objetivos principales:
- Durante el entrenamiento de modelos, aprende la mejor representación del problema o
la tarea que se resolverá y compila esta representación en
embeddings de
<query, candidate>. - Durante la entrega de modelos, recupera los elementos pertinentes con la rapidez suficiente para cumplir con los requisitos de latencia.
En el siguiente diagrama, se muestran los componentes conceptuales de un recomendador de dos etapas:
En el diagrama, la generación de candidatos filtra millones de elementos candidatos. Luego, la clasificación filtra los cientos de elementos candidatos resultantes para mostrar decenas de elementos recomendados.
La arquitectura de referencia de este documento entrena un modelo de recuperación basado en dos torres. En la arquitectura, cada torre es una red neuronal que procesa los atributos de los elementos de consulta o candidatos y, luego, produce una representación de incorporación de esos atributos. Cada torre se implementa por separado, ya que cada una se usará para diferentes tareas en producción:
- Torre de candidatos: Se usa para calcular previamente los embeddings de todos los elementos candidatos. Las incorporaciones calculadas previamente se implementan en un extremo de índice de Vector Search que está optimizado para la recuperación de baja latencia.
- Torre implementada: Durante la entrega en línea, la torre de consultas implementada convierte las consultas sin procesar de los usuarios en representaciones de incorporaciones. Luego, las representaciones de embeddings se usan para buscar embeddings de elementos similares en el índice implementado.
Las arquitecturas de dos torres son ideales para muchas tareas de recuperación, ya que capturan la relación semántica de las entidades de consulta y candidatas, y las asignan a un espacio de embedding compartido. Cuando las entidades se asignan a un espacio de embedding compartido, las entidades semánticamente similares se agrupan más cerca. Por lo tanto, si calculas los embeddings de vectores de una consulta determinada, puedes buscar en el espacio de embeddings los elementos candidatos más cercanos (más similares). El principal beneficio de esta arquitectura es la capacidad de desvincular la inferencia de las representaciones de consultas y candidatos. Las ventajas de este desacoplamiento son principalmente dos:
- Puedes publicar elementos nuevos (recientes) sin volver a entrenar un vocabulario de elementos
nuevo. Si ingresas cualquier conjunto de atributos de elementos en la torre de elementos candidatos, puedes calcular las incorporaciones de elementos para cualquier conjunto de candidatos, incluso aquellos que no se ven durante el entrenamiento. Realizar este cálculo ayuda a
abordar el problema de inicio en frío.
- La torre de candidatos puede admitir un conjunto arbitrario de elementos candidatos, incluidos los elementos que aún no interactuaron con el sistema de recomendación. Esta compatibilidad es posible porque las arquitecturas de dos torres procesan funciones de contenido enriquecido y metadatos sobre cada par
<query, candidate>. Este tipo de procesamiento permite que el sistema describa un elemento desconocido en función de los elementos que conoce.
- La torre de candidatos puede admitir un conjunto arbitrario de elementos candidatos, incluidos los elementos que aún no interactuaron con el sistema de recomendación. Esta compatibilidad es posible porque las arquitecturas de dos torres procesan funciones de contenido enriquecido y metadatos sobre cada par
- Puedes optimizar la inferencia de recuperación calculando previamente todos los embeddings de elementos candidatos. Estos embeddings calculados previamente se pueden indexar e implementar
en una infraestructura de entrega optimizada para la recuperación con baja latencia.
- El aprendizaje conjunto de las torres te permite describir elementos en términos de consultas y viceversa. Si tienes una mitad de un par, como una consulta, y necesitas buscar el otro elemento correspondiente, puedes calcular previamente la mitad de la ecuación con anticipación. El cálculo previo te permite tomar el resto de la decisión lo más rápido posible.
Consideraciones del diseño
En esta sección, se describen los factores de diseño, las prácticas recomendadas y las recomendaciones de acuerdo con el Framework de buena arquitectura deGoogle Cloud . Ten en cuenta esta información cuando uses esta arquitectura de referencia para desarrollar una topología que cumpla con tus requisitos específicos de seguridad, confiabilidad, optimización de costos, eficiencia operativa y rendimiento.
Security, privacy, and compliance
Agent Platform Vector Search admite extremos públicos, intercambio de tráfico entre redes de nube privada virtual (VPC) y Private Service Connect para implementaciones de extremos de índice. Considera las siguientes opciones de seguridad de redes para tu carga de trabajo:
- Conectividad privada con Private Service Connect: Para la mayoría de las implementaciones privadas, configura Private Service Connect en tu extremo de índice de Vector Search. Private Service Connect permite que los clientes de varias redes de VPC y proyectos consulten el índice a través de las direcciones IP internas que definas, sin necesidad de reservas de rango de IP de intercambio de tráfico entre VPC dedicadas.
- Intercambio de tráfico entre redes de VPC: Si usas el intercambio de tráfico entre redes de VPC, solo las consultas de coincidencia de vectores en línea requieren una conexión de intercambio de tráfico desde la misma red de VPC. Por ejemplo, si envías consultas en línea desde una instancia de Gemini Enterprise Agent Platform Workbench a un extremo de índice con intercambio de tráfico, crea la instancia en la misma red de VPC. Las llamadas a la API del plano de control que crean, implementan o borran un índice no requieren una conexión de intercambio de tráfico entre redes de VPC.
- Protección contra el robo de datos: Para ayudar a evitar el movimiento no autorizado de datos en tus recursos de entrenamiento, almacenamiento y entrega, coloca Agent Platform y Cloud Storage dentro de un perímetro de servicio de Controles del servicio de VPC.
Confiabilidad
Para garantizar la alta disponibilidad de la generación de candidatos en línea, configura la redundancia en los extremos del índice de Vector Search y los extremos del modelo en línea:
- Configuración de réplica de índice: Cuando implementas un índice en un
extremo de Vector Search, establece el campo
minReplicaCounten, al menos,2réplicas por fragmento. Un recursoDeployedIndexrequiere al menos dos réplicas por fragmento para la cobertura en virtud del Acuerdo de Nivel de Servicio (ANS) de Agent Platform. - Límites de ajuste de escala automático: Supervisa el uso de CPU y memoria en tus
fragmentos de índice implementados y configura el campo
maxReplicaCountpara que Vector Search pueda agregar réplicas cuando el uso de CPU o memoria supere el 60% de forma constante.
Optimización de costos
Para administrar los costos de infraestructura en el entrenamiento sin conexión y la entrega de vectores en línea, dimensiona correctamente los fragmentos de índice y los recursos de procesamiento:
- Tamaño de la máquina y del fragmento de índice: Cuando
creas e implementas un índice de Vector Search,
selecciona el tamaño de fragmento más pequeño (como el valor
SHARD_SIZE_SMALLpara un máximo de 2 GiB o el valorSHARD_SIZE_MEDIUMpara un máximo de 20 GiB) y el tipo de máquina compatible que se ajuste a tu corpus de incorporaciones candidatas. Ajustar el tamaño de los fragmentos ayuda a evitar el aprovisionamiento excesivo de las VMs de extremos de índice siempre activas.
Eficiencia operativa
Para simplificar el mantenimiento continuo de las incorporaciones de candidatos, las canalizaciones de atributos y las actualizaciones de índices, considera las siguientes funciones:
- Actualizaciones de índices de transmisión: La arquitectura de este documento usa reconstrucciones de índices por lotes para las actualizaciones periódicas del catálogo de candidatos. Si tu aplicación requiere que los elementos candidatos nuevos o actualizados aparezcan en las recomendaciones en segundos, configura un índice de transmisión de Vector Search en lugar de volver a compilar el índice completo en lotes.
- Búsqueda híbrida: Si tus consultas incluyen SKU de productos, identificadores o palabras clave fuera del dominio exactos junto con embeddings semánticos, usa la búsqueda híbrida en Vector Search para combinar embeddings densos de dos torres y embeddings de tokens dispersos en un solo índice con fusión por clasificación recíproca (RRF).
- Entrega de atributos en línea: Si la torre de consultas implementada requiere contexto del usuario o atributos de comportamiento en tiempo real durante la inferencia en línea, usa Agent Platform Feature Store con la entrega en línea de Bigtable para recuperar atributos de baja latencia de las tablas de BigQuery.
- Organización automatizada de flujos de trabajo: Para automatizar los pasos recurrentes de preparación de datos, entrenamiento de dos torres, inferencia por lotes y de implementación de índices, organiza tu flujo de trabajo con Gemini Enterprise Agent Platform Pipelines.
Optimización del rendimiento
En esta sección, se describen los factores que debes tener en cuenta cuando usas esta arquitectura de referencia para diseñar una topología en Google Cloud que cumpla con los requisitos de rendimiento de tus cargas de trabajo.
Genera perfiles de trabajos de entrenamiento
Para optimizar las canalizaciones de entrada de datos y el grafo de entrenamiento general, genera un perfil
del rendimiento del entrenamiento con el complemento cloud_profiler del
SDK de Agent Platform
y Vertex AI TensorBoard, que proporciona una versión administrada del
generador de perfiles de TensorBoard de código abierto.
Cuando inicializas el módulo cloud_profiler en tu secuencia de comandos de entrenamiento personalizada
y configuras la devolución de llamada tf.keras.callbacks.TensorBoard, el trabajo de entrenamiento
crea un perfil de una cantidad establecida de lotes para cada ciclo de entrenamiento. El perfil captura seguimientos
de la CPU del host y de la GPU del dispositivo o del hardware de Cloud TPU. Los
seguimientos proporcionan información sobre el consumo de recursos del trabajo de entrenamiento.
Para evitar errores de falta de memoria, comienza con una duración de perfil de entre 2 y 10
pasos de entrenamiento y aumenta la duración según sea necesario.
Para aprender a generar perfiles de trabajos de entrenamiento personalizados con el entrenamiento administrado de Agent Platform y Vertex AI TensorBoard, consulta Genera perfiles de rendimiento de entrenamiento de modelos. Para conocer las prácticas recomendadas de depuración, consulta Optimiza el rendimiento de las GPU. Para obtener información sobre cómo optimizar el rendimiento, consulta Optimiza el rendimiento de TensorFlow con el generador de perfiles.
Aprovecha al máximo los aceleradores
Cuando conectas aceleradores de entrenamiento, como las GPU de NVIDIA o las Cloud TPU, es importante mantenerlos en uso por completo. El uso completo de los aceleradores de entrenamiento es una práctica recomendada para la administración de costos, ya que los aceleradores son el componente más costoso de la arquitectura. La utilización completa de los aceleradores de entrenamiento también es una práctica recomendada para la eficiencia del trabajo, ya que no tener tiempo de inactividad genera un menor consumo general de recursos.
Para mantener un acelerador completamente utilizado, por lo general, realizas algunas iteraciones para encontrar el cuello de botella, optimizarlo y, luego, repetir estos pasos hasta que el uso del dispositivo acelerador sea aceptable. Debido a que muchos de los conjuntos de datos para este caso de uso son demasiado grandes para caber en la memoria, los cuellos de botella suelen encontrarse entre el almacenamiento, las VMs de host y el acelerador.
En el siguiente diagrama, se muestran las etapas conceptuales de una canalización de entrada de entrenamiento de ML:
En el diagrama, los datos se leen desde el almacenamiento y se procesan previamente. Después de que se procesan previamente los datos, se envían al dispositivo. Para optimizar el rendimiento, comienza por determinar si el rendimiento general está limitado por la CPU del host o por el dispositivo acelerador (GPU o TPU). El dispositivo es responsable de acelerar el bucle de entrenamiento, mientras que el host es responsable de alimentar los datos de entrenamiento al dispositivo y recibir los resultados del dispositivo. En las siguientes secciones, se describe cómo resolver los cuellos de botella mejorando el rendimiento de la canalización de entrada y el rendimiento del dispositivo.
Mejora el rendimiento de la canalización de entrada
Para reducir los cuellos de botella de la canalización de entrada del host, usa las siguientes técnicas:
- Lee datos del almacenamiento: Para mejorar las lecturas de datos, usa el almacenamiento en caché, la prefetching, los patrones de acceso secuencial y la E/S paralela.
- Preprocesa datos: Para mejorar el procesamiento previo de datos, configura el
procesamiento paralelo
para la extracción y transformación de datos, y ajusta la
transformación de
interleaveen la canalización de entrada de datos. - Envía datos al dispositivo: Para reducir el tiempo total del trabajo, transfiere datos del host a varios dispositivos en paralelo.
Mejora el rendimiento del dispositivo
Para mejorar el uso del acelerador durante cada paso de entrenamiento, usa las siguientes técnicas:
- Aumenta el tamaño del minilote: Los minilotes son la cantidad de muestras de entrenamiento que usa cada dispositivo en una iteración de un bucle de entrenamiento. Cuando aumentas el tamaño del minilote, aumentas el paralelismo entre las operaciones y mejoras la reutilización de datos. Sin embargo, el minilote debe poder caber en la memoria con el resto del programa de entrenamiento. Si aumentas demasiado el tamaño del minilote, puedes experimentar errores de memoria insuficiente y divergencia del modelo.
- Vectoriza las funciones definidas por el usuario: Por lo general, las transformaciones de datos se pueden expresar como una función definida por el usuario que describe cómo transformar cada elemento de un conjunto de datos de entrada. Para vectorizar esta función, aplica la operación de transformación en un lote de entradas a la vez, en lugar de transformar un elemento a la vez. Cualquier función definida por el usuario tiene una sobrecarga relacionada con la programación y la ejecución. Cuando transformas un lote de entradas, incurres en la sobrecarga una vez por lote, en lugar de una vez por elemento del conjunto de datos.
Escala verticalmente antes de escalar horizontalmente
Cuando configures los recursos de procesamiento para tus trabajos de entrenamiento, escala verticalmente antes de escalar horizontalmente. Elige un dispositivo más grande y potente antes de usar varios dispositivos menos potentes. Escala tus recursos de entrenamiento en el siguiente orden:
- Un trabajador y un dispositivo
- Un solo trabajador con un dispositivo más potente
- Un solo trabajador con varios dispositivos
- Entrenamiento distribuido
Evalúa la recuperación en comparación con la latencia para la búsqueda de vectores de ANN
Para evaluar los beneficios de la búsqueda de ANN, puedes medir la latencia y la recuperación de una consulta determinada. Para ayudar con el ajuste de índices, Vector Search de Agent Platform ofrece la capacidad de crear un índice de fuerza bruta. Los índices de fuerza bruta realizarán una búsqueda exhaustiva, a expensas de una mayor latencia, para encontrar los vecinos más cercanos verdaderos para un vector de consulta determinado. El uso de índices de fuerza bruta no está diseñado para su uso en producción, pero proporciona un buen modelo de referencia cuando calculas la recuperación durante el ajuste del índice.
Para evaluar la recuperación en comparación con la latencia, implementa los embeddings de candidatos precalculados en un índice configurado para la búsqueda de ANN y en otro índice configurado para la búsqueda de fuerza bruta. El índice de fuerza bruta mostrará los vecinos más cercanos absolutos, pero, por lo general, tardará más que una búsqueda de ANN. Es posible que estés dispuesto a sacrificar cierta recuperación de datos para obtener mejoras en la latencia de recuperación, pero se debe evaluar esta compensación. Entre las características adicionales que afectan la recuperación y la latencia, se incluyen las siguientes:
- Parámetros de modelado: Muchas decisiones de modelado afectan el espacio de embedding, que, en última instancia, se convierte en el índice de entrega. Compara los candidatos que se recuperan para los índices que se compilan a partir de modelos de recuperación superficiales y profundos.
- Dimensiones: Las dimensiones son otro aspecto que, en última instancia, determina el modelo. Las dimensiones del índice de ANN deben coincidir con las dimensiones de los vectores de la torre de consultas y de candidatos.
- Etiquetas de agrupamiento y filtrado: Las etiquetas pueden proporcionar capacidades potentes para adaptar los resultados a diferentes casos de uso de producción. Es una práctica recomendada comprender cómo las etiquetas influyen en los candidatos recuperados y afectan el rendimiento.
- Recuento de ANN: Cuando aumentas este valor, aumentas la recuperación, lo que puede incrementar la latencia de forma proporcional.
- Porcentaje de nodos de hoja para buscar: El porcentaje de nodos de hoja para buscar es la opción más importante cuando evalúas la compensación entre la recuperación y la latencia. Cuando aumentas este valor, aumentas la recuperación, lo que puede aumentar la latencia de forma proporcional.
¿Qué sigue?
Para obtener más información sobre las arquitecturas de referencia, los diagramas y las prácticas recomendadas, explora Cloud Architecture Center.
Colaboradores
Autores:
- Jordan Totten | Ingeniero de Atención al cliente
- Jeremy Wortz | Ingeniero de Atención al cliente
- Lakshmanan Sethu | Administrador técnico de cuentas
Otro colaborador: Kaz Sato | Developer Advocate de planta