Apache Spark

Cette page contient des informations sur la connexion de Looker à Apache Spark 3.

Looker se connecte à Apache Spark 3+ via une connexion JDBC au serveur Spark Thrift.

Chiffrement du trafic réseau

Il est recommandé de chiffrer le trafic réseau entre l'application Looker et votre base de données. Pour ce faire, consultez les options détaillées sur la page Sécurisation de l'accès à la base de données de la documentation.

Créer la connexion Looker à votre base de données

Dans la section Admin de Looker, sélectionnez Connections (Connexions), puis cliquez sur Add Connection (Ajouter une connexion).

Saisissez les informations de connexion. La majorité des paramètres sont communs à la plupart des dialectes de base de données. Pour en savoir plus, consultez la page de documentation Connexion de Looker à votre base de données. Voici quelques-uns des paramètres :

  • Nom : nom de la connexion. C'est sous ce nom que la connexion sera désignée dans le modèle LookML.
  • Dialect (Dialecte) : sélectionnez Apache Spark 3+.
  • Host (Hôte) : hôte du serveur Thrift.
  • Port : port du serveur Thrift (10 000 par défaut).
  • Database (Base de données) : schéma ou base de données par défaut qui sera modélisé. Si aucune base de données n'est spécifiée pour une table, cette option sera utilisée par défaut.
  • Nom d'utilisateur : utilisateur sous lequel Looker s'authentifiera.
  • Password (Mot de passe) : mot de passe facultatif pour l'utilisateur Looker.
  • Enable PDTs (Activer les PDT) : utilisez ce bouton pour activer les tables dérivées persistantes. Lorsque les PDT sont activées, la fenêtre Connection (Connexion) affiche des paramètres PDT supplémentaires et la section PDT Overrides (Remplacements de PDT).
  • Temp Database (Base de données temporaire) : schéma ou base de données temporaire pour stocker les PDT. Vous devez la créer au préalable à l'aide d'une instruction telle que CREATE SCHEMA looker_scratch;.
  • Additional JDBC parameters (Paramètres JDBC supplémentaires) : ajoutez des paramètres JDBC supplémentaires. Pour obtenir la liste des paramètres compatibles, consultez la section Paramètres JDBC compatibles sur cette page.
  • SSL : laissez cette case décochée.
  • Database Time Zone (Fuseau horaire de la base de données) : fuseau horaire des données stockées dans Spark. En règle générale, vous pouvez laisser ce champ vide ou le définir sur UTC.
  • Query Time Zone (Fuseau horaire de la requête) : fuseau horaire dans lequel afficher les données interrogées dans Looker.

Pour vérifier que la connexion a réussi, cliquez sur le bouton Test Connection (Tester la connexion) dans la section Status details (Détails de l'état) en bas de la page Connections Settings (Paramètres de connexion).

Si Looker affiche Can Connect (Peut se connecter), appuyez sur Connect (Se connecter) pour créer la connexion.

Votre connexion de base de données est ensuite ajoutée à la liste de la page Connections Admin de Looker.

Paramètres JDBC compatibles

Pour Apache Spark, Looker est compatible avec les paramètres JDBC suivants dans le champ Additional JDBC parameters (Paramètres JDBC supplémentaires) de la connexion. Pour en savoir plus sur ces paramètres, consultez la documentation de votre base de données.

  • batchsize
  • cascadeTruncate
  • connectionProvider
  • createTableColumnTypes
  • createTableOptions
  • customSchema
  • dbtable
  • fetchsize
  • isolationLevel
  • keytab
  • lowerBound
  • numPartitions
  • oracle.jdbc.mapDateToTimestamp
  • partitionColumn
  • password
  • preferTimestampNTZ
  • prepareQuery
  • principal
  • pushDownAggregate
  • pushDownLimit
  • pushDownOffset
  • pushDownPredicate
  • pushDownTableSample
  • query
  • queryTimeout
  • sessionInitStatement
  • truncate
  • upperBound
  • url
  • user

Compatibilité avec les fonctionnalités

Pour que Looker prenne en charge certaines fonctionnalités, votre dialecte de base de données doit également les prendre en charge.

Apache Spark 3+

Apache Spark 3+ est compatible avec les fonctionnalités suivantes à partir de Looker 26.16 :

Fonctionnalité Compatibilité
Looker (Google Cloud Core)
Agrégations symétriques
Tables dérivées
Tables dérivées SQL persistantes
Tables dérivées natives persistantes
Vues stables
Arrêt des requêtes
Tableaux croisés dynamiques basés sur SQL
Fuseaux horaires
SSL
Sous-totaux
Paramètres JDBC supplémentaires
Sensibilité à la casse
Type de lieu
Type de liste
Centile
Centile distinct
Afficher les processus dans l'exécuteur SQL
Décrire la table dans l'exécuteur SQL
Afficher les index dans l'exécuteur SQL
Sélectionner 10 dans l'exécuteur SQL
Nombre dans l'exécuteur SQL
Explication SQL
Identifiants OAuth 2.0
Commentaires contextuels
Regroupement de connexions
Résumés HLL
Reconnaissance d'agrégats
Augmentation de tables PDT
Millisecondes
Microsecondes
Vues matérialisées
Mesures de variation par période
Nombre approximatif d'éléments distincts
Modèles analytiques dans la base de données
Agendas personnalisés

Étapes suivantes

Une fois la connexion créée, définissez les options d'authentification.