Apache Spark

Cette page contient des informations sur la connexion de Looker à Apache Spark 3.

Looker se connecte à Apache Spark 3 ou version ultérieure via une connexion JDBC au serveur Spark Thrift.

Chiffrement du trafic réseau

Il est recommandé de chiffrer le trafic réseau entre l'application Looker et votre base de données. Pour ce faire, consultez les options détaillées sur la page de documentation Sécurisation de l'accès à la base de données.

Créer la connexion Looker à votre base de données

Dans la section Admin de Looker, sélectionnez Connexions, puis cliquez sur Ajouter une connexion.

Saisissez les informations de connexion. La majorité des paramètres sont communs à la plupart des dialectes de base de données. Pour en savoir plus, consultez la page de documentation Connecter Looker à votre base de données. Voici quelques-uns de ces paramètres :

  • Nom : nom de la connexion. Il s'agit de la façon dont il sera fait référence à la connexion dans le modèle LookML.
  • Dialecte : sélectionnez Apache Spark 3+.
  • Hôte : hôte du serveur Thrift.
  • Port : port du serveur Thrift (10000 par défaut).
  • Base de données : schéma/base de données par défaut qui sera modélisé. Si aucune base de données n'est spécifiée pour une table, celle-ci sera utilisée par défaut.
  • Nom d'utilisateur : utilisateur sous lequel Looker s'authentifiera.
  • Mot de passe : mot de passe facultatif pour l'utilisateur Looker.
  • Activer les PDT : utilisez ce bouton pour activer les tables dérivées persistantes. Lorsque les PDT sont activés, la fenêtre Connexion affiche des paramètres PDT supplémentaires et la section Remplacements pour les PDT.
  • Base de données temporaire : schéma/base de données temporaire pour stocker les PDT. Il doit être créé au préalable, avec une instruction telle que CREATE SCHEMA looker_scratch;.
  • Paramètres JDBC supplémentaires : ajoutez ici des paramètres Hive JDBC supplémentaires, par exemple :
    • ;spark.sql.inMemoryColumnarStorage.compressed=true
    • ;auth=noSasl
  • SSL : décochez cette case.
  • Fuseau horaire de la base de données : fuseau horaire des données stockées dans Spark. En général, vous pouvez le laisser vide ou le définir sur UTC.
  • Fuseau horaire de la requête : fuseau horaire dans lequel afficher les données interrogées dans Looker.

Pour vérifier que la connexion a réussi, cliquez sur Test. Pour obtenir des informations sur le dépannage, consultez la page de documentation Tester la connectivité à la base de données.

Pour enregistrer ces paramètres, cliquez sur Connecter.

Prise en charge de fonctionnalités

Pour que Looker prenne en charge certaines fonctionnalités, votre dialecte de base de données doit également les prendre en charge.

Apache Spark 3 ou version ultérieure

Apache Spark 3+ est compatible avec les fonctionnalités suivantes à partir de Looker 26.0 :

Fonctionnalité Compatibilité
Looker (Google Cloud Core)
Agrégations symétriques
Tables dérivées
Tables dérivées persistantes basées sur SQL
Tables dérivées natives persistantes
Vues stables
Arrêt des requêtes
Tableaux croisés dynamiques basés sur SQL
Fuseaux horaires
SSL
Sous-totaux
Paramètres JDBC supplémentaires
Sensibilité à la casse
Type de lieu
Type de liste
Centile
Centile distinct
Afficher les processus SQL Runner
Décrire la table dans l'exécuteur SQL
Afficher les index dans SQL Runner
SQL Runner Select 10
Nombre d'exécutions SQL Runner
Explication SQL
Identifiants OAuth 2.0
Commentaires contextuels
Regroupement de connexions
Résumés HLL
Reconnaissance d'agrégats
Augmentation de tables PDT
Millisecondes
Microsecondes
Vues matérialisées
Mesures de variation par période
Nombre approximatif d'éléments distincts

Étapes suivantes

Une fois la connexion créée, définissez les options d'authentification.