Diffuser des réponses (ancienne version)

Cette page présente la méthode de réponse en streaming.

La méthode de réponse en streaming présente de nombreuses fonctionnalités identiques à celles de la méthode de réponse, plus une fonctionnalité supplémentaire : le streaming. Lorsque vous diffusez une réponse en streaming, la réponse générée est divisée en plusieurs parties qui sont envoyées de manière séquentielle.

La diffusion de réponses en streaming est particulièrement utile si les réponses générées sont longues, car l'envoi de la réponse complète en une seule fois entraîne un délai. La diffusion de réponses en streaming réduit l'apparence de la latence.

Limites

La méthode de réponse en streaming présente les mêmes fonctionnalités que la méthode de réponse, à l'exception des points suivants :

  • La réponse en streaming n'est disponible qu'en anglais.

  • Le nombre d'étapes de reformulation est de un. Vous ne pouvez pas désactiver la reformulation ni modifier le nombre maximal d'étapes.

  • Vous ne pouvez pas obtenir de scores d'ancrage pour les réponses en streaming, ni choisir de ne renvoyer que des réponses bien ancrées.

  • Seuls les modèles Gemini peuvent être utilisés avec la méthode de réponse en streaming. Pour obtenir la liste des modèles, consultez Modèles disponibles.

Diffuser une réponse en streaming

La commande suivante montre comment appeler la méthode de réponse en streaming answer et renvoyer une réponse générée sous la forme d'une série de réponses JSON. En règle générale, chaque réponse contient une phrase de la réponse.

Cette commande de base n'affiche que l'entrée requise. Les options sont laissées à leurs valeurs par défaut.

Pour obtenir des exemples d'autres options, consultez Obtenir des réponses et des suivis. Certaines options de réponse ne sont pas disponibles pour la diffusion de réponses en streaming. Consultez les limites sur cette page.

REST

Pour effectuer une recherche et obtenir des résultats avec une réponse générée en streaming, procédez comme suit :

  1. Exécutez la commande Curl suivante :

    curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search:streamAnswer" \
  -d '{
        "query": { "text": "QUERY"}
      }'

    Remplacez les éléments suivants :

    • PROJECT_ID : par l'ID du projet.
    • APP_ID : par l'ID de l'application que vous souhaitez interroger.
    • QUERY: par une chaîne de texte libre contenant la question ou la requête de recherche. Par exemple, "Quelle base de données est la plus rapide, BigQuery ou Spanner ?".

Autres exemples

La commande de base présentée dans Diffuser une réponse en streaming est la commande la plus simple, sans aucune option spécifiée. Toutefois, vous pouvez appliquer les mêmes options que celles disponibles avec la méthode de réponse, à l'exception des limites listées sur cette page.

Les réponses en streaming peuvent également être utilisées avec des sessions de suivi.