Os modelos de linguagem grandes (LLMs, na sigla em inglês) podem traduzir idiomas, resumir textos, gerar textos criativos, gerar códigos, executar bots de bate-papo e assistentes virtuais e complementar mecanismos de pesquisa e sistemas de recomendação. No entanto, os recursos e usos em evolução deles criam potencial para aplicação incorreta, uso indevido e consequências não intencionais ou imprevistas. Os LLMs podem gerar resultados inesperados, incluindo texto ofensivo, insensível ou incorreto.
A versatilidade dos LLMs dificulta a previsão exata dos tipos de saídas não intencionais ou imprevistas que eles podem produzir. Considerando esses riscos e complexidades, as APIs de IA generativa da Gemini Enterprise Agent Platform são projetadas com base nos princípios de IA do Google em mente. No entanto, é importante que os desenvolvedores entendam e testem os modelos para implantá-los com segurança e responsabilidade. Para ajudar os desenvolvedores, o Vertex AI Studio tem filtragem de conteúdo integrada, e nossas APIs de IA generativa têm pontuação de atributos de segurança a fim de ajudar os clientes a testar os filtros de segurança do Google e definir limites de confiança adequados para seus casos de uso e seus negócios. Para saber como usar filtros e atributos de segurança em uma API, consulte a API Gemini na Agent Platform.
Quando nossas APIs generativas são integradas ao seu caso de uso e ao seu contexto exclusivos, pode ser necessário levar em conta outras considerações de IA responsável e limitações. Incentivamos os clientes a promover as práticas recomendadas de imparcialidade, interpretabilidade, privacidade e segurança recomendadas práticas . Os clientes também continuam responsáveis pela adesão à Google Cloud's Política de Uso Aceitável (PUA), à Política de Uso Proibido de IA Generativa, e a quaisquer outros Termos Específicos do Serviço ou requisitos relevantes para o uso de serviços de IA/ML e IA generativa.
Limitações do modelo
As limitações que você pode encontrar ao usar modelos de IA generativa incluem, entre outras:
Casos extremos: casos extremos, raros ou excepcionais que não estão bem representados nos dados de treinamento. Esses casos podem levar a limitações no desempenho do modelo, como excesso de confiança, interpretação incorreta do contexto ou saídas inadequadas.
Alucinações, embasamento e veracidade do modelo: os modelos de IA generativa exigem contexto baseado em informações do mundo real, propriedades físicas e compreensão precisa dos seus dados específicos para reduzir a chance de o modelo produzir saídas imprecisas, irrelevantes ou sem sentido. Para saber mais sobre o embasamento na Agent Platform, consulte Visão geral do embasamento.
Qualidade e ajuste de dados: a qualidade, a acurácia e o viés do comando ou da entrada de dados em um modelo podem ter um impacto significativo na qualidade das respostas dele. Se os usuários inserirem dados ou comandos incorretos, o modelo poderá ter um desempenho abaixo do ideal ou fornecer saídas de modelo falsas.
Amplificação de vieses: os modelos de IA generativa podem amplificar inadvertidamente os vieses atuais nos dados de treinamento, levando a saídas que podem reforçar ainda mais os preconceitos sociais e o tratamento desigual de determinados grupos.
Qualidade de idioma: embora os modelos produzam recursos multilíngues impressionantes nos comparativos de mercado que avaliamos, a maioria dos nossos comparativos (incluindo todas as avaliações de imparcialidade) está em inglês. Para mais informações, consulte o blog do Google Research.
- Os modelos de IA generativa podem fornecer qualidade inconsistente de serviço para diferentes usuários. Por exemplo, a geração de texto pode não ser tão eficaz para alguns dialetos ou variedades de idiomas devido à sub-representação nos dados de treinamento. O desempenho pode ser pior para idiomas diferentes do inglês ou variedades de língua inglesa com menos representação.
Comparativos de mercado e subgrupos de imparcialidade: as análises de imparcialidade do Google Research com relação aos nossos modelos de IA generativa não fornecem uma listagem completa dos vários riscos potenciais. Por exemplo, nos concentramos em vieses nos eixos de gênero, raça, etnia e religião, mas realizamos a análise apenas nos dados em inglês e nos resultados do modelo. Para mais informações, consulte o Google Research blog.
Conhecimento de domínio limitado: os modelos de IA generativa podem não ter a profundidade de informações necessária para fornecer respostas precisas e detalhadas sobre tópicos altamente especializados ou técnicos, o que resulta em informações superficiais ou incorretas. informações. Para casos de uso especializados e complexos, os modelos precisam ser ajustados com dados específicos do domínio. Além disso, é necessário haver uma supervisão humana significativa em contextos em que há o potencial de afetar materialmente direitos individuais.
Comprimento e estrutura de entradas e saídas: os modelos de IA generativa têm um limite máximo de tokens de entrada e saída. Se a entrada ou a saída excederem esse limite, nossos classificadores de segurança não serão aplicados, o que poderá levar a um desempenho insatisfatório do modelo. Embora os modelos hospedados na Agent Platform sejam projetados para processar uma ampla variedade de formatos de texto, o desempenho deles poderá ser afetado se os dados de entrada tiverem uma estrutura incomum ou complexa.
Práticas recomendadas
Para utilizar essa tecnologia com segurança e responsabilidade, também é importante considerar outros riscos específicos para o caso de uso, usuários e contexto empresarial, além das salvaguardas técnicas integradas.
Recomendamos seguir estas etapas:
- Analise os riscos de segurança do aplicativo.
- Realize testes de segurança de acordo com seu caso de uso.
- Configure os filtros de segurança, se necessário.
- Peça o feedback do usuário e monitore os conteúdos.
Reduzir os riscos da saída do modelo renderizada (Markdown e HTML)
Se o aplicativo renderizar automaticamente a saída do modelo, como Markdown ou HTML, em um navegador ou UI, você poderá ficar vulnerável à injeção indireta de comandos e à exfiltração de dados.
Para proteger seus usuários, faça o seguinte:
- Limpar a saída: use um higienizador HTML rigoroso (como o DOMPurify) para remover artefatos maliciosos antes da renderização.
- Aplicar a CSP: use cabeçalhos da Política de Segurança de Conteúdo (CSP, na sigla em inglês) para bloquear o carregamento de imagens externas (
img-src) e a execução de scripts não confiáveis (script-src). - Controlar o carregamento de imagens: desative a renderização automática de imagens externas ou exija o consentimento do usuário.
- Proteger links: anexe automaticamente
rel="noopener noreferrer"a links gerados.
Monitoramento de abuso
Google Cloud criou processos que podem ser usados para ajudar a detectar possíveis abusos e violações dos nossos termos relacionados ao uso dos Serviços de IA Generativa. Saiba mais sobre esses processos, bem como os requisitos mais rigorosos especificamente para modelos ou recursos designados como "IA avançada", na nossa documentação de monitoramento de abuso.
Denunciar abuso
Denuncie suspeitas de abuso do serviço ou de qualquer saída gerada que contenha material inapropriado ou informações imprecisas usando o seguinte formulário: Denunciar uma suspeita de abuso na Google Cloud.
Outros recursos
- Saiba mais sobre as recomendações do Google para práticas de IA responsável.
- Leia nosso blog, Uma agenda compartilhada para o progresso da IA responsável