Résoudre les problèmes d'annulations de requêtes inattendues dans Looker (Google Cloud Core)

Lorsque vous exécutez une requête interactive dans Looker (Google Cloud Core), elle peut sembler s'exécuter indéfiniment dans l'interface utilisateur de l'exploration ou sur un tableau de bord. Cependant, les journaux de la base de données backend indiquent que la requête a été explicitement annulée après 20 à 30 secondes.

Cette page explique pourquoi ce comportement se produit et comment le résoudre en ajustant les paramètres de délai avant expiration sur votre infrastructure réseau intermédiaire. Ce guide est destiné aux administrateurs qui gèrent le routage réseau et résolvent les problèmes de requêtes dans Looker (Google Cloud Core).

Symptômes

Lorsque vous exécutez une requête interactive dans une exploration ou sur un tableau de bord, vous pouvez rencontrer les symptômes suivants :

  • Interface utilisateur Looker : l'interface utilisateur de l'exploration Looker ou la vignette du tableau de bord reste indéfiniment à l'état En cours d'exécution (en rotation) et ne renvoie jamais de résultats ni n'affiche d'erreur.
  • Temps d'exécution de la base de données backend : dans votre base de données backend (telle que BigQuery, Snowflake ou PostgreSQL), la requête est annulée après une courte durée, généralement de 20 à 30 secondes.
  • Journaux de requêtes de la base de données backend : l'historique des requêtes ou les journaux d'audit de votre base de données backend indiquent que le job a été explicitement annulé par l'utilisateur, même si vous n'avez pas annulé la requête ni fermé l'onglet du navigateur.

Cause

Ce problème est dû à une non-concordance entre le mécanisme de pulsation de session de Looker et les paramètres de délai avant expiration configurés sur les appareils réseau intermédiaires qui acheminent le trafic entre votre navigateur et l'instance Looker (Google Cloud Core).

Mécanisme de pulsation de session et d'abandon de requête

Pour gérer efficacement l'utilisation des ressources de la base de données, Looker (Google Cloud Core) surveille la connectivité des clients pendant l'exécution des requêtes à l'aide du mécanisme suivant :

  • Pulsation continue : lorsque vous exécutez une requête interactive dans l'interface utilisateur de Looker, votre navigateur Web maintient une connexion active et envoie des signaux de pulsation continus à l'instance Looker (Google Cloud Core) pour maintenir la session de requête active.
  • Délai avant expiration de la connexion intermédiaire : si un appareil réseau intermédiaire (par exemple, un équilibreur de charge d'application, un proxy inverse d'entreprise, un pare-feu d'application Web (WAF) ou une passerelle VPN) est configuré avec un délai d'inactivité ou de réponse court (par exemple, le délai avant expiration du service de backend par défaut de 30 secondes sur les équilibreurs de charge d'applicationGoogle Cloud ), l'appareil ferme ou interrompt prématurément la connexion lorsque l'environnement d'exécution de la requête dépasse ce seuil.
  • Détection de l'abandon de requête : une fois la connexion intermédiaire fermée, Looker (Google Cloud Core) cesse de recevoir les signaux de pulsation de votre navigateur. Après environ 30 secondes sans signal de pulsation, Looker (Google Cloud Core) détecte que la session client n'est plus accessible et identifie la requête comme abandonnée.
  • Nettoyage de la base de données : pour éviter de consommer inutilement des ressources de calcul de base de données pour des requêtes qu'aucun utilisateur n'attend, Looker (Google Cloud Core) envoie automatiquement une requête d'annulation à votre base de données backend. Étant donné que Looker émet l'annulation au nom de l'utilisateur qui a exécuté la requête, les journaux de la base de données indiquent que le job a été annulé par l'utilisateur.
  • État d'exécution indéfini dans l'interface utilisateur : étant donné que le proxy ou la passerelle intermédiaire a fermé la connexion entre votre navigateur et Looker (Google Cloud core), votre navigateur ne reçoit jamais l'état d'annulation ni la réponse d'erreur. Par conséquent, l'UI d'exploration Looker ou la vignette du tableau de bord reste bloquée à l'état En cours d'exécution.

Identifier le problème

Pour déterminer si les annulations de requêtes sont dues à des délais avant expiration du réseau intermédiaire, procédez comme suit :

  1. Vérifiez les journaux de requêtes de base de données : examinez l'historique d'exécution de la requête annulée dans votre base de données backend :
    • Dans BigQuery, accédez à la page Historique des requêtes de la consoleGoogle Cloud ou consultez l'historique des jobs du projet dans la console Google Cloud , puis recherchez le job ayant échoué. Vérifiez les détails du job pour confirmer que la requête a été annulée après environ 20 à 30 secondes avec un état d'annulation.
    • Dans Snowflake, inspectez la vue QUERY_HISTORY ou l'onglet Historique dans Snowsight. Vérifiez si l'état de la requête affiche FAILED_WITH_ERROR ou indique que la requête a été annulée par l'utilisateur après environ 30 secondes.
    • Dans PostgreSQL, recherchez dans les journaux de serveur des messages tels que canceling statement due to user request qui correspondent au code temporel de votre requête.
  2. Vérifiez la durée de la requête : dans les journaux de la base de données, notez la durée exacte de la requête avant son annulation. Si la requête est systématiquement annulée au bout d'environ 30 secondes (ou autour de la limite de délai avant expiration configurée sur votre proxy ou votre équilibreur de charge), un délai avant expiration du réseau intermédiaire a probablement déclenché l'annulation.
  3. Vérifiez l'infrastructure réseau intermédiaire : identifiez les proxys inverses, les équilibreurs de charge ou les VPN dans le chemin réseau entre les navigateurs de vos utilisateurs et l'instance Looker (Google Cloud core).

Solution

Pour résoudre ce problème, augmentez les paramètres de délai d'inactivité et de délai de réponse sur tous les appareils réseau qui acheminent le trafic entre les navigateurs de vos utilisateurs et l'instance Looker (Google Cloud core). Définissez une limite de délai avant expiration supérieure à la durée attendue de vos requêtes interactives les plus longues.

Augmenter le délai avant expiration du service de backend de l'équilibreur de charge d'application

Si votre instance Looker (Google Cloud Core) est précédée d'un équilibreur de charge d'application externe ou interne, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Équilibrage de charge :

    Accéder à la page "Équilibrage de charge"

  2. Cliquez sur Backends, puis sur le nom du service de backend associé à votre instance Looker (Google Cloud Core).

  3. Cliquez sur Modifier.

  4. Dans le champ Délai avant expiration, augmentez la valeur du délai avant expiration. Par exemple, remplacez la valeur par défaut de 30 secondes par 300 secondes (5 minutes) ou plus, en fonction des temps d'exécution attendus de vos requêtes.

  5. Cliquez sur Enregistrer.

Augmenter les délais avant expiration du proxy, du WAF ou du VPN

Si vos utilisateurs accèdent à Looker (Google Cloud Core) via un proxy de transfert d'entreprise, un proxy inverse (tel que NGINX ou Apache), un WAF ou une passerelle VPN, procédez comme suit :

  1. Recherchez les configurations de délai avant expiration de connexion, de réponse ou d'inactivité dans les paramètres de votre proxy ou de votre passerelle, comme dans les exemples suivants :
    • Dans NGINX, augmentez les directives proxy_read_timeout et proxy_send_timeout.
    • Dans Apache, augmentez les directives TimeOut ou ProxyTimeout.
    • Dans les VPN d'entreprise ou les passerelles de pare-feu, augmentez le délai d'inactivité de la session TCP pour le trafic HTTPS vers le domaine Looker (Google Cloud Core).
  2. Autorisez les connexions HTTP et WebSocket de longue durée via le proxy afin que les signaux de pulsation du navigateur atteignent Looker (Google Cloud Core) sans interruption.
  3. Appliquez les modifications de configuration, puis redémarrez ou rechargez le service proxy.

Vérifier la résolution

Après avoir augmenté les paramètres de délai avant expiration sur votre équilibreur de charge ou vos proxys intermédiaires, procédez comme suit pour vérifier que les requêtes aboutissent :

  1. Dans Looker (Google Cloud Core), accédez à une exploration ou à un tableau de bord où des requêtes ont déjà été annulées.
  2. Exécutez la requête qui a échoué précédemment.
  3. Vérifiez que la requête s'exécute au-delà du seuil de délai avant expiration précédent (par exemple, 30 secondes) sans annulation et qu'elle affiche les résultats dans l'interface utilisateur.
  4. Vous pouvez également consulter les journaux de requêtes de votre base de données backend pour vérifier que le job s'est bien terminé sans état d'annulation par l'utilisateur.