En este documento, se describe cómo se diseñaron los productos de Gemini en Google Cloud, como Gemini Code Assist, en función de las capacidades, limitaciones y riesgos asociados con la IA generativa.
Capacidades y riesgos de los modelos grandes de lenguaje
Los modelos grandes de lenguaje (LLM) pueden realizar muchas tareas útiles, como las siguientes:
- Traducir idiomas
- Resumir texto
- Generar código y escritura creativa
- Impulsar chatbots y asistentes virtuales
- Complementar motores de búsqueda y sistemas de recomendación
Al mismo tiempo, las capacidades técnicas en evolución de los LLM generan el potencial de aplicación inadecuada, uso inadecuado y consecuencias no deseadas o imprevistas.
Los LLM pueden generar resultados que no se esperan, incluido un texto que sea ofensivo, insensible o factible. Debido a que los LLM son increíblemente versátiles, puede ser difícil predecir exactamente qué tipos de resultados no deseados o imprevistos podrían producir.
Debido a estos riesgos y complejidades, los productos como Gemini Code Assist se diseñan teniendo en cuenta los principios de la IA de Google en mente. Sin embargo, es importante que los usuarios comprendan algunas de las limitaciones de los productos de Gemini para trabajar de forma segura y responsable.
Limitaciones de los productos de Gemini en Google Cloud
Algunas de las limitaciones que puedes encontrar cuando usas los productos de Gemini en Google Cloud incluyen (sin limitarse a) las siguientes:
Casos extremos. Los casos extremos se refieren a situaciones inusuales o excepcionales que no están bien representadas en los datos de entrenamiento. Estos casos pueden generar limitaciones en el resultado de los modelos de Gemini, como un exceso de confianza, una interpretación errónea del contexto o resultados inapropiados.
Alucinaciones, fundamentación y facticidad de modelos. Es posible que los modelos de Gemini no tengan conocimientos básicos y un hecho en lo que respecta a los conocimientos, las propiedades físicas o la comprensión precisa en el mundo real. Esta limitación puede generar alucinaciones del modelo, en las que Gemini puede generar resultados que suenan posibles, pero que son incorrectos, irrelevantes, inapropiados o no tienen sentido. Las alucinaciones también pueden incluir la fabricación de vínculos a páginas web que no existen y nunca existieron. Para obtener más información, consulta Cómo escribir mejores instrucciones para Gemini en Google Cloud.
Calidad y ajuste de los datos. La calidad, precisión y sesgo de los datos de la instrucción que se ingresan en los productos de Gemini en Google Cloud pueden tener un impacto significativo en su rendimiento. Si los usuarios ingresan instrucciones incorrectas o inexactas, Gemini puede mostrar respuestas deficientes o falsas.
Amplificación de sesgo. Los modelos de lenguaje pueden amplificar de forma involuntaria el sesgo existente en los datos de entrenamiento, lo que genera resultados que pueden reforzar aún más los prejuicios sociales y el tratamiento desigual de ciertos grupos.
Calidad del lenguaje. Si bien los productos de Gemini en Google Cloud producen capacidades impresionantes multilingües en las comparativas con las que evaluamos, la mayoría de nuestras comparativas (incluidas todas las evaluaciones de equidad) están en inglés estadounidense.
Los modelos de lenguaje pueden proporcionar una calidad de servicio incoherente a diferentes usuarios. Por ejemplo, es posible que la generación de texto no sea tan eficaz para algunos dialectos o variedades de idioma debido a la subrepresentación en los datos de entrenamiento. El rendimiento puede ser peor para los idiomas que no son inglés o los variedades de idioma inglés con menos representación.
Subgrupos y comparativas de la equidad. Los análisis de equidad de Google Research de los modelos de Gemini no proporcionan una cuenta exhaustiva de los diversos riesgos potenciales. Por ejemplo, nos enfocamos en los sesgos de género, raza, etnia y religión, pero realizamos el análisis solo en los datos de inglés estadounidense y las salidas de modelos.
Experiencia limitada en el dominio. Los modelos de Gemini se entrenaron en Google Cloud tecnología, pero es posible que no tengan la profundidad de los conocimientos necesarios para proporcionar respuestas precisas y detalladas sobre temas altamente especializados o técnicas, lo que genera información superficial o incorrecta.
Cuando usas el Gemini panel en la Google Cloud consola, Gemini no tiene contexto de tu entorno específico, por lo que no puede responder preguntas como "¿Cuándo fue la última vez que creé una VM?"
En algunos casos, los productos de Gemini en Google Cloud vían un segmento específico de tu contexto al modelo para recibir una respuesta específica del contexto , por ejemplo, cuando haces clic en el botón Sugerencias para solucionar problemas en la página del servicio de Error Reporting.
Seguridad y filtrado de toxicidad de Gemini
Las instrucciones y respuestas de los productos de Gemini en Google Cloud, como Gemini Code Assist, se verifican con una lista completa de atributos de seguridad según corresponda para cada caso de uso. Estos atributos de seguridad tienen como objetivo filtrar el contenido que incumple nuestra Política de Uso Aceptable. Si un resultado se considera dañino, se bloqueará la respuesta.
¿Qué sigue?
- Obtén más información sobre cómo Gemini cita fuentes cuando te ayuda a generar código.