Apache Spark

Cette page contient des informations sur la connexion de Looker à Apache Spark 3.

Looker se connecte à Apache Spark 3+ via une connexion JDBC au serveur Spark Thrift.

Chiffrement du trafic réseau

Il est recommandé de chiffrer le trafic réseau entre l'application Looker et votre base de données. Pour ce faire, consultez les options détaillées sur la page de documentation Sécurisation de l'accès à la base de données.

Créer la connexion Looker à votre base de données

Dans la section Admin de Looker, sélectionnez Connexions, puis cliquez sur Ajouter une connexion.

Saisissez les informations de connexion. La majorité des paramètres sont communs à la plupart des dialectes de base de données. Pour en savoir plus, consultez la page de documentation Connecter Looker à votre base de données. Voici quelques-uns des paramètres :

  • Nom : nom de la connexion. C'est sous ce nom que la connexion sera désignée dans le modèle LookML.
  • Dialecte : sélectionnez Apache Spark 3+.
  • Hôte : hôte du serveur Thrift.
  • Port : port du serveur Thrift (10 000 par défaut).
  • Base de données : schéma ou base de données par défaut qui sera modélisé. Si aucune base de données n'est spécifiée pour une table, cette option sera utilisée par défaut.
  • Nom d'utilisateur : utilisateur sous lequel Looker s'authentifiera.
  • Mot de passe : mot de passe facultatif de l'utilisateur Looker.
  • Activer les PDT : utilisez ce bouton pour activer les tables dérivées persistantes. Lorsque les PDT sont activées, la fenêtre Connexion affiche des paramètres PDT supplémentaires et la section Remplacements de PDT.
  • Base de données temporaire : schéma ou base de données temporaire pour stocker les PDT. Vous devez la créer au préalable, avec une instruction telle que CREATE SCHEMA looker_scratch;.
  • Paramètres JDBC supplémentaires : ajoutez des paramètres JDBC supplémentaires. Pour obtenir la liste des paramètres compatibles, consultez la section Paramètres JDBC compatibles sur cette page.
  • SSL : laissez cette case décochée.
  • Fuseau horaire de la base de données : fuseau horaire des données stockées dans Spark. En règle générale, vous pouvez laisser ce champ vide ou le définir sur UTC.
  • Fuseau horaire de la requête : fuseau horaire dans lequel afficher les données interrogées dans Looker.

Pour vérifier que la connexion a réussi, cliquez sur le bouton Tester la connexion dans la section Détails de l'état en bas de la page Paramètres de connexion.

Si Looker affiche Connexion possible, appuyez sur Connecter pour créer la connexion.

Votre connexion de base de données est ensuite ajoutée à la liste de la page Connexions Admin de Looker.

Paramètres JDBC compatibles

Pour Apache Spark, Looker est compatible avec les paramètres JDBC suivants dans le champ Paramètres JDBC supplémentaires de la connexion. Pour en savoir plus sur ces paramètres, consultez la documentation de votre base de données.

  • batchsize
  • cascadeTruncate
  • connectionProvider
  • createTableColumnTypes
  • createTableOptions
  • customSchema
  • dbtable
  • fetchsize
  • isolationLevel
  • keytab
  • lowerBound
  • numPartitions
  • oracle.jdbc.mapDateToTimestamp
  • partitionColumn
  • password
  • preferTimestampNTZ
  • prepareQuery
  • principal
  • pushDownAggregate
  • pushDownLimit
  • pushDownOffset
  • pushDownPredicate
  • pushDownTableSample
  • query
  • queryTimeout
  • sessionInitStatement
  • truncate
  • upperBound
  • url
  • user

Compatibilité avec les fonctionnalités

Pour que Looker prenne en charge certaines fonctionnalités, votre dialecte de base de données doit également les prendre en charge.

Apache Spark 3+

À partir de Looker 26.20, Apache Spark 3+ est compatible avec les fonctionnalités suivantes :

Fonctionnalité Compatibilité
Looker (Google Cloud Core)
Agrégations symétriques
Tables dérivées
Tables dérivées SQL persistantes
Tables dérivées natives persistantes
Vues stables
Arrêt des requêtes
Tableaux croisés dynamiques basés sur SQL
Fuseaux horaires
SSL
Sous-totaux
Paramètres JDBC supplémentaires
Sensibilité à la casse
Type de lieu
Type de liste
Centile
Centile distinct
Afficher les processus dans l'exécuteur SQL
Décrire la table dans l'exécuteur SQL
Afficher les index dans l'exécuteur SQL
Sélectionner 10 dans l'exécuteur SQL
Compter dans l'exécuteur SQL
Expliquer SQL
Identifiants OAuth 2.0
Commentaires contextuels
Regroupement de connexions
Résumés HLL
Reconnaissance d'agrégats
Tables PDT incrémentielles
Millisecondes
Microsecondes
Vues matérialisées
Mesures de variation par période
Nombre approximatif d'éléments distincts
Modèles analytiques dans la base de données
Agendas personnalisés

Étapes suivantes

Une fois la connexion créée, définissez les options d'authentification.