Connectez vos bases de données Cloudera Impala à Looker pour visualiser et analyser vos données. Vous pouvez configurer ces connexions pour différents dialectes Impala. Looker est compatible avec Cloudera Impala versions 3.1 et ultérieures, y compris les configurations de pilotes standards et natifs. Les connexions aux anciens dialectes Impala ne disposant pas d'un numéro de version ou d'un pilote natif ne sont pas acceptées. Les requêtes adressées à ces dialectes renverront une erreur.
Dialectes utilisant ces instructions
Looker se connecte aux bases de données Impala suivantes :
- Cloudera Impala 3.1 ou version ultérieure
- Cloudera Impala 3.1+ avec pilote natif
- Cloudera Impala avec pilote natif
Chiffrement du trafic réseau
Il est recommandé de chiffrer le trafic réseau entre l'application Looker et votre base de données. Pour ce faire, consultez les options détaillées sur la page Sécurisation de l'accès à la base de données de la documentation.
Configurer Looker pour se connecter à Cloudera Impala
Looker se connecte aux bases de données via une connexion JDBC. Pour les bases de données Impala, Looker se connecte par défaut au serveur qui exécute le daemon impalad sur le port 21050. Pour en savoir plus, consultez la section Configurer Impala pour qu'il fonctionne avec JDBC de la documentation sur le site Web de Cloudera.
Dans la section Admin de Looker, sélectionnez Connexions, puis cliquez sur Ajouter une connexion.
La configuration de la connexion Looker dépend de la sécurité utilisée :
- Un cluster n'utilisant pas Kerberos ni l'authentification des utilisateurs
- Un cluster nécessitant une authentification LDAP
- Un cluster sécurisé avec Kerberos, mais n'utilisant pas Apache Sentry
Se connecter à un cluster sans Kerberos ni authentification des utilisateurs
Pour configurer une connexion qui n'utilise pas Kerberos ni l'authentification des utilisateurs, procédez comme suit :
- Sur la page Paramètres de connexion, laissez les champs Nom d'utilisateur et Mot de passe vides. (Le symbole
*à côté des noms de champs indique que ces champs sont obligatoires, mais ce n'est pas le cas.) - Dans le champ Paramètres JDBC supplémentaires, saisissez
;auth=noSasl.
Vérifier la chaîne de connexion
Pour vérifier la chaîne de connexion JDBC dans les fichiers journaux, dans le panneau Admin de Looker, cliquez sur Journal dans le menu de gauche. Ensuite, filtrez le journal sur un terme tel que jdbc ou noSasl. La ligne de journal peut ressembler à ceci :
jdbc connect using: jdbc:hive2://<HOSTNAME>/<DATABASE_NAME>;auth=noSasl
Pour en savoir plus sur la configuration des bases de données Impala pour qu'elles fonctionnent avec JDBC, consultez la documentation sur le site Web externe de Cloudera.
Se connecter à un cluster nécessitant une authentification LDAP
Pour un cluster qui nécessite une authentification LDAP, y compris un cluster avec Apache Sentry et Kerberos, sur la page Paramètres de connexion, saisissez un nom d'utilisateur et un mot de passe ayant accès aux schémas auxquels Looker accédera.
Se connecter à un cluster sécurisé avec Kerberos, mais sans utiliser Apache Sentry
En règle générale, l'authentification Kerberos avec les environnements Cloudera est gérée via Apache Sentry. Pour en savoir plus, consultez la documentation Cloudera.
Si vous souhaitez configurer Looker pour qu'il se connecte directement aux bases de données Impala à l'aide de l'authentification Kerberos, suivez les étapes de cette page.
Configurer la configuration du client Kerberos
Tout d'abord, vérifiez que les logiciels requis sont installés et que les fichiers nécessaires sont présents sur la machine Looker.
Client Kerberos
Vérifiez que le client Kerberos est installé sur la machine Looker en essayant d'exécuter kinit. Si le client Kerberos n'est pas installé, installez les binaires du client Kerberos.
Par exemple, sur Red Hat/CentOS, exécutez la commande suivante :
sudo yum install krb5-workstation krb5-libs krb5-auth-dialog
Java 8
Java 8 doit être installé sur la machine Looker, ainsi que dans les variables PATH et JAVA_HOME de l'utilisateur Looker. Si nécessaire, installez-le localement dans le répertoire looker.
Java Cryptography Extension
Téléchargez et installez l'extension JCE (Java Cryptography Extension) pour Java 8 depuis le site Web d'Oracle.
- Recherchez le répertoire
jre/lib/securityde l'installation Java. - Supprimez les fichiers JAR suivants de ce répertoire :
local_policy.jaretUS_export_policy.jar. - Remplacez ces deux fichiers par les fichiers JAR inclus dans le téléchargement des fichiers de règles de juridiction JCE Unlimited Strength.
Il est possible d'utiliser des versions de Java antérieures à Java 8 avec JCE installé, mais cela n'est pas recommandé.
- Recherchez le répertoire
Mettez à jour
JAVA_HOMEetPATHdans~looker/.bash_profilepour qu'ils pointent vers l'installation correcte de Java et desource ~/.bash_profile, ou déconnectez-vous, puis reconnectez-vous.Vérifiez la version de Java avec
java -version.Vérifiez la variable d'environnement
JAVA_HOMEavececho $JAVA_HOME.
gss-jaas.conf
Créez un fichier gss-jaas.conf dans le répertoire looker avec le contenu suivant :
com.sun.security.jgss.initiate {
com.sun.security.auth.module.Krb5LoginModule required
useTicketCache=true
doNotPrompt=true;
};
Si nécessaire pour les tests, vous pouvez ajouter debug=true à ce fichier comme suit :
com.sun.security.jgss.initiate {
com.sun.security.auth.module.Krb5LoginModule required
useTicketCache=true
doNotPrompt=true
debug=true;
};
krb5.conf
Le serveur qui exécute Looker doit également disposer d'un fichier krb5.conf valide. Par défaut, ce fichier se trouve dans /etc/krb5.conf. S'il se trouve à un autre emplacement, vous devez l'indiquer dans l'environnement (KRB5_CONFIG dans l'environnement de shell).
Vous devrez peut-être le copier à partir d'une autre machine cliente Kerberos.
lookerstart.cfg
Pointez vers les fichiers gss-jaas.conf et krb5.conf en créant un fichier nommé lookerstart.cfg dans le répertoire looker (le même répertoire que celui contenant le script de démarrage looker) et contenant les lignes suivantes :
JAVAARGS="-Djava.security.auth.login.config=/path/to/gss-jaas.conf -Djavax.security.auth.useSubjectCredsOnly=false -Djava.security.krb5.conf=/etc/krb5.conf"
LOOKERARGS=""
Si le fichier krb5.conf ne se trouve pas dans /etc/krb5.conf, vous devrez également ajouter cette variable :
-Djava.security.krb5.conf=/path/to/krb5.conf
Pour le débogage, ajoutez les variables suivantes :
-Dsun.security.jgss.debug=true -Dsun.security.krb5.debug=true
Redémarrez ensuite Looker avec ./looker restart.
S'authentifier avec Kerberos
Authentification des utilisateurs
Si
krb5.confne se trouve pas dans/etc/, utilisez la variable d'environnementKRB5_CONFIGpour indiquer son emplacement.Exécutez la commande
klistpour vous assurer qu'un ticket valide se trouve dans le cache de tickets Kerberos.S'il n'y a pas de ticket, exécutez
kinit username@REALMoukinit usernamepour en créer un.Le compte utilisé avec Looker sera probablement sans interface graphique. Vous pouvez donc obtenir un fichier keytab auprès de Kerberos pour stocker les identifiants en vue d'une utilisation à long terme. Utilisez une commande telle que
kinit -k -t looker_user.keytab username@REALMpour obtenir le ticket Kerberos.
Renouvellement automatique du ticket
Configurez un job Cron qui s'exécute régulièrement pour conserver un ticket actif dans le cache de tickets Kerberos. La fréquence d'exécution dépend de la configuration du cluster. klist doit indiquer dans combien de temps les billets expirent.
Créer la connexion entre Looker et votre base de données
Dans la section Admin de Looker, sélectionnez Connexions, puis cliquez sur Ajouter une connexion.
Renseignez les détails de la connexion comme suit (pour en savoir plus, consultez la page de documentation Connecter Looker à votre base de données) :
- Nom : nom de la connexion. Il s'agit de la façon dont il sera fait référence à la connexion dans le modèle LookML.
Dialecte : Cloudera Impala 3.1+, Cloudera Impala 3.1+ avec pilote natif ou Cloudera Impala avec pilote natif.
Host : nom d'hôte.
Port : port de la base de données (21050 par défaut).
Base de données : schéma/base de données par défaut qui sera modélisé. Si aucune base de données n'est spécifiée pour une table, celle-ci sera utilisée par défaut.
Nom d'utilisateur : laissez ce champ vide.
Mot de passe : laissez ce champ vide.
Activer les PDT : utilisez ce bouton pour activer les tables dérivées persistantes. Lorsque les PDT sont activées, la fenêtre Connexion affiche des paramètres de PDT supplémentaires et la section Remplacements pour les PDT.
Base de données temporaire : schéma/base de données temporaire pour stocker les tables de données persistantes. Il doit être créé au préalable.
Paramètres JDBC supplémentaires : ajoutez des paramètres JDBC supplémentaires. Pour obtenir la liste des paramètres compatibles, consultez la section Paramètres JDBC compatibles sur cette page.
SSL : cochez cette case pour utiliser des connexions SSL. Si votre certificat SSL n'est pas émis par une autorité de certification largement reconnue et que vous utilisez un certificat personnalisé, vous devez :
- Copiez le fichier de certificat sur le serveur Looker. Cette option n'est disponible que pour les déploiements Looker hébergés par le client.
- Ajoutez les paramètres suivants au champ Paramètres JDBC supplémentaires :
sslTrustStore=/path/to/your/trust_store.jks;trustStorePassword=yourpassword
Pour en savoir plus sur la création de chaînes JDBC correctes pour les bases de données Impala, consultez la documentation Cloudera.
- Fuseau horaire de la base de données : fuseau horaire des données stockées dans votre base de données. En général, vous pouvez laisser ce champ vide ou le définir sur UTC.
Il est recommandé d'utiliser le nom canonique du serveur comme nom de serveur (impala.company.com dans cet exemple) et de faire en sorte que les résultats de la résolution DNS inverse de son adresse IP correspondent à ce nom. Toutefois, le nom du serveur doit correspondre à celui indiqué dans le contrôleur de domaine Kerberos :
nslookup servername # get canonical server name and IP address
nslookup ipaddress # get the canonical name back
Il arrive que le nom du serveur soit défini comme le nom d'hôte, et non comme le nom de domaine complet. Dans ce cas, il peut être nécessaire de modifier les fichiers /etc/hosts et /etc/nsswitch.conf pour vous assurer que les recherches inversées se résolvent comme prévu.
Testez la connexion pour vous assurer qu'elle est correctement configurée.
Débogage
- Documentation de Cloudera sur le débogage des problèmes d'authentification Impala
- Lorsque vous ajoutez le débogage à la configuration, les informations de débogage supplémentaires se retrouvent dans
looker/logs/looker.log.
Ressources
- Activer l'authentification Kerberos pour Impala (documentation Cloudera)
- Page de manuel kinit
- Page de manuel klist
- Documentation sur gss-jaas.conf
- Documentation Krb5LoginModule
Autorisations pour les tables de données persistantes
L'utilisateur qui se connecte au schéma brouillon pour les tables dérivées persistantes (PDT) doit disposer d'autorisations de lecture/écriture.
Paramètres JDBC compatibles
Pour Cloudera Impala, Looker accepte les paramètres JDBC suivants dans le champ Paramètres JDBC supplémentaires de la connexion. Pour en savoir plus sur ces paramètres, consultez la documentation de votre base de données.
AllowSelfSignedCertsauthAuthMechCAIssuedCertNamesMismatchhttpPathKrbHostFQDNKrbRealmKrbServiceNameprincipalPWDSocketTimeoutSSLtransportModeUIDUseNativeQueryUseSasl
Prise en charge de fonctionnalités
Pour que Looker prenne en charge certaines fonctionnalités, votre dialecte de base de données doit également les prendre en charge.
Cloudera Impala avec pilote natif
Cloudera Impala avec pilote natif est compatible avec les fonctionnalités suivantes à partir de Looker 26.22 :
| Fonctionnalité | Compatibilité |
|---|---|
| Looker (Google Cloud Core) | |
| Agrégations symétriques | |
| Tables dérivées | |
| Tables dérivées SQL persistantes | |
| Tables dérivées natives persistantes | |
| Vues stables | |
| Arrêt des requêtes | |
| Pivots basés sur SQL | |
| Fuseaux horaires | |
| SSL | |
| Sous-totaux | |
| Paramètres JDBC supplémentaires | |
| Sensible à la casse | |
| Type de lieu | |
| Type de liste | |
| Centile | |
| Centile distinct | |
| Afficher les processus dans l'exécuteur SQL | |
| Décrire la table dans l'exécuteur SQL | |
| Afficher les index dans l'exécuteur SQL | |
| Sélectionner 10 dans l'exécuteur SQL | |
| Nombre d'exécuteurs SQL | |
| SQL Explain | |
| Identifiants OAuth 2.0 | |
| Commentaires sur le contexte | |
| Regroupement de connexions | |
| Résumés HLL | |
| Reconnaissance d'agrégats | |
| Augmentation de tables PDT | |
| Millisecondes | |
| Microsecondes | |
| Vues matérialisées | |
| Mesures de variation par période | |
| Nombre approximatif d'éléments distincts | |
| Modèles d'analyse dans la base de données | |
| Agendas personnalisés |
Cloudera Impala 3.1 ou version ultérieure
Depuis la version 26.22 de Looker, Cloudera Impala 3.1 et les versions ultérieures sont compatibles avec les fonctionnalités suivantes :
| Fonctionnalité | Compatibilité |
|---|---|
| Looker (Google Cloud Core) | |
| Agrégations symétriques | |
| Tables dérivées | |
| Tables dérivées SQL persistantes | |
| Tables dérivées natives persistantes | |
| Vues stables | |
| Arrêt des requêtes | |
| Pivots basés sur SQL | |
| Fuseaux horaires | |
| SSL | |
| Sous-totaux | |
| Paramètres JDBC supplémentaires | |
| Sensible à la casse | |
| Type de lieu | |
| Type de liste | |
| Centile | |
| Centile distinct | |
| Afficher les processus dans l'exécuteur SQL | |
| Décrire la table dans l'exécuteur SQL | |
| Afficher les index dans l'exécuteur SQL | |
| Sélectionner 10 dans l'exécuteur SQL | |
| Nombre d'exécuteurs SQL | |
| SQL Explain | |
| Identifiants OAuth 2.0 | |
| Commentaires sur le contexte | |
| Regroupement de connexions | |
| Résumés HLL | |
| Reconnaissance d'agrégats | |
| Augmentation de tables PDT | |
| Millisecondes | |
| Microsecondes | |
| Vues matérialisées | |
| Mesures de variation par période | |
| Nombre approximatif d'éléments distincts | |
| Modèles d'analyse dans la base de données | |
| Agendas personnalisés |
Cloudera Impala 3.1+ avec pilote natif
Cloudera Impala 3.1 et versions ultérieures avec pilote natif est compatible avec les fonctionnalités suivantes à partir de Looker 26.22 :
| Fonctionnalité | Compatibilité |
|---|---|
| Looker (Google Cloud Core) | |
| Agrégations symétriques | |
| Tables dérivées | |
| Tables dérivées SQL persistantes | |
| Tables dérivées natives persistantes | |
| Vues stables | |
| Arrêt des requêtes | |
| Pivots basés sur SQL | |
| Fuseaux horaires | |
| SSL | |
| Sous-totaux | |
| Paramètres JDBC supplémentaires | |
| Sensible à la casse | |
| Type de lieu | |
| Type de liste | |
| Centile | |
| Centile distinct | |
| Afficher les processus dans l'exécuteur SQL | |
| Décrire la table dans l'exécuteur SQL | |
| Afficher les index dans l'exécuteur SQL | |
| Sélectionner 10 dans l'exécuteur SQL | |
| Nombre d'exécuteurs SQL | |
| SQL Explain | |
| Identifiants OAuth 2.0 | |
| Commentaires sur le contexte | |
| Regroupement de connexions | |
| Résumés HLL | |
| Reconnaissance d'agrégats | |
| Augmentation de tables PDT | |
| Millisecondes | |
| Microsecondes | |
| Vues matérialisées | |
| Mesures de variation par période | |
| Nombre approximatif d'éléments distincts | |
| Modèles d'analyse dans la base de données | |
| Agendas personnalisés |
Étapes suivantes
Après avoir connecté votre base de données à Looker, configurez des options de connexion pour vos utilisateurs.