Apache Spark

En esta página, se incluye información para conectar Looker a Apache Spark 3.

Looker se conecta a Apache Spark 3 o versiones posteriores a través de una conexión JDBC al servidor Thrift de Spark.

Encripta el tráfico de red

Se recomienda encriptar el tráfico de red entre la aplicación de Looker y tu base de datos. Considera una de las opciones que se describen en la página de documentación Habilita el acceso seguro a la base de datos.

Crea la conexión de Looker a tu base de datos

En la sección Administrador de Looker, selecciona Conexiones y, luego, haz clic en Agregar conexión.

Completa los detalles de la conexión. La mayoría de los parámetros de configuración son comunes en la mayoría de los dialectos de bases de datos. Consulta la página de documentación Conecta Looker a tu base de datos para obtener información. A continuación, se describen algunos de los parámetros de configuración:

  • Nombre: Es el nombre de la conexión. Así es como se hará referencia a la conexión en el modelo de LookML.
  • Dialecto: Selecciona Apache Spark 3 o una versión posterior.
  • Host: Es el host del servidor de Thrift.
  • Puerto: Es el puerto del servidor de Thrift (10000 de forma predeterminada).
  • Base de datos: Es el esquema o la base de datos predeterminados que se modelarán. Cuando no se especifica ninguna base de datos para una tabla, se asumirá esta.
  • Nombre de usuario: El usuario con el que Looker se autenticará.
  • Password: Es la contraseña opcional para el usuario de Looker.
  • Habilitar PDT: Usa este botón de activación para habilitar las tablas derivadas persistentes. Cuando se habilitan las PDT, la ventana Conexión muestra parámetros de configuración adicionales de PDT y la sección Anulaciones de PDT.
  • Base de datos temporal: Es un esquema o una base de datos temporal para almacenar PDT. Se debe crear de antemano con una sentencia como CREATE SCHEMA looker_scratch;.
  • Parámetros adicionales de JDBC: Agrega cualquier parámetro adicional de JDBC. Consulta la sección Parámetros de JDBC admitidos en esta página para obtener una lista de los parámetros admitidos.
  • SSL: Deja esta opción sin marcar.
  • Zona horaria de la base de datos: Es la zona horaria de los datos almacenados en Spark. Por lo general, se puede dejar en blanco o establecer en UTC.
  • Zona horaria de la consulta: Es la zona horaria en la que se mostrarán los datos consultados en Looker.

Para verificar que la conexión se haya establecido correctamente, haz clic en el botón Probar conexión en la sección Detalles del estado, en la parte inferior de la página Configuración de la conexión.

Si Looker muestra Can Connect, presiona Connect para crear la conexión.

Luego, la conexión de tu base de datos se agrega a la lista de la página Conexiones de Administrador de Looker.

Parámetros de JDBC admitidos

Para Apache Spark, Looker admite los siguientes parámetros de JDBC en el campo Parámetros de JDBC adicionales de la conexión. Consulta la documentación de tu base de datos para obtener información sobre estos parámetros.

  • batchsize
  • cascadeTruncate
  • connectionProvider
  • createTableColumnTypes
  • createTableOptions
  • customSchema
  • dbtable
  • fetchsize
  • isolationLevel
  • keytab
  • lowerBound
  • numPartitions
  • oracle.jdbc.mapDateToTimestamp
  • partitionColumn
  • password
  • preferTimestampNTZ
  • prepareQuery
  • principal
  • pushDownAggregate
  • pushDownLimit
  • pushDownOffset
  • pushDownPredicate
  • pushDownTableSample
  • query
  • queryTimeout
  • sessionInitStatement
  • truncate
  • upperBound
  • url
  • user

Compatibilidad de funciones

Para que Looker admita algunas funciones, el dialecto de tu base de datos también debe admitirlas.

Apache Spark 3 o versiones posteriores

Apache Spark 3 y versiones posteriores admiten las siguientes funciones a partir de Looker 26.22:

Función ¿Es compatible?
Looker (Google Cloud Core)
Agregaciones simétricas
Tablas derivadas
Tablas derivadas de SQL persistentes
Tablas derivadas persistentes nativas
Vistas estables
Eliminación de consultas
Tablas dinámicas basadas en SQL
Zonas horarias
SSL
Subtotales
Parámetros adicionales de JDBC
Distingue mayúsculas de minúsculas
Tipo de ubicación
Tipo de lista
Percentil
Percentil de valores distintos
Mostrar procesos del Ejecutor de SQL
Describe Table del Ejecutor de SQL
Ejecutor de SQL: Mostrar índices
Seleccionar 10 en el Ejecutor de SQL
Recuento del Ejecutor de SQL
SQL Explain
Credenciales de OAuth 2.0
Comentarios de contexto
Agrupación de conexiones
Esbozos de HLL
Reconocimiento agregado
PDT incrementales
Milisegundos
Microsegundos
Vistas materializadas
Mediciones entre períodos
Distinción de recuento aproximado
Modelos analíticos en la base de datos
Calendarios personalizados

Próximos pasos

Después de crear la conexión, establece las opciones de autenticación.