Apache Spark

En esta página, se incluye información para conectar Looker a Apache Spark 3.

Looker se conecta a Apache Spark 3+ a través de una conexión JDBC al servidor de Thrift de Spark.

Cómo encriptar el tráfico de red

Se recomienda encriptar el tráfico de red entre la aplicación de Looker y tu base de datos. Considera una de las opciones que se describen en la página de documentación Habilitar el acceso seguro a la base de datos.

Cómo crear la conexión de Looker a tu base de datos

En la sección Administrador de Looker, selecciona Conexiones y, luego, haz clic en Agregar conexión.

Completa los detalles de la conexión. La mayoría de los parámetros de configuración son comunes en la mayoría de los dialectos de bases de datos. Consulta la página de documentación Cómo conectar Looker a tu base de datos para obtener información. A continuación, se describen algunos de los parámetros de configuración:

  • Nombre: Es el nombre de la conexión. Así se hará referencia a la conexión en el modelo de LookML.
  • Dialecto: Selecciona Apache Spark 3+.
  • Host: Es el host del servidor de Thrift.
  • Puerto : Es el puerto del servidor de Thrift (10000 de forma predeterminada).
  • Base de datos: Es el esquema o la base de datos predeterminados que se modelarán. Cuando no se especifica una base de datos para una tabla, se supondrá que es esta.
  • Nombre de usuario: Es el usuario con el que Looker se autenticará.
  • Contraseña: Es la contraseña opcional para el usuario de Looker.
  • Habilitar PDT: Usa este botón de activación para habilitar las tablas derivadas persistentes. Cuando se habilitan las PDT, la ventana Conexión revela parámetros de configuración adicionales de PDT y la sección Invalidaciones de PDT.
  • Base de datos temporal: Es un esquema o una base de datos temporales para almacenar PDT. Se debe crear de antemano con una instrucción como CREATE SCHEMA looker_scratch;.
  • Parámetros adicionales de JDBC: Agrega parámetros adicionales de JDBC. Consulta la sección Parámetros de JDBC admitidos en esta página para obtener una lista de los parámetros admitidos.
  • SSL: Deja esta opción sin marcar.
  • Zona horaria de la base de datos: Es la zona horaria de los datos almacenados en Spark. Por lo general, se puede dejar en blanco o establecer en UTC.
  • Zona horaria de la consulta: Es la zona horaria para mostrar los datos consultados en Looker.

Para verificar que la conexión se realice correctamente, haz clic en Probar. Consulta la página de documentación Cómo probar la conectividad de la base de datos para obtener información sobre la solución de problemas.

Para guardar esta configuración, haz clic en Conectar.

Parámetros de JDBC admitidos

En el caso de Apache Spark, Looker admite los siguientes parámetros de JDBC en el campo Parámetros adicionales de JDBC para la conexión. Consulta la documentación de tu base de datos para obtener información sobre estos parámetros.

  • batchsize
  • cascadeTruncate
  • connectionProvider
  • createTableColumnTypes
  • createTableOptions
  • customSchema
  • dbtable
  • fetchsize
  • isolationLevel
  • keytab
  • lowerBound
  • numPartitions
  • oracle.jdbc.mapDateToTimestamp
  • partitionColumn
  • password
  • preferTimestampNTZ
  • prepareQuery
  • principal
  • pushDownAggregate
  • pushDownLimit
  • pushDownOffset
  • pushDownPredicate
  • pushDownTableSample
  • query
  • queryTimeout
  • sessionInitStatement
  • truncate
  • upperBound
  • url
  • user

Compatibilidad de características

Para que Looker admita algunas funciones, el dialecto de tu base de datos también debe admitirlas.

Apache Spark 3+

Apache Spark 3+ admite las siguientes funciones a partir de Looker 26.6:

Función ¿Es compatible?
Looker (Google Cloud Core)
Agregaciones simétricas
Tablas derivadas
Tablas derivadas persistentes basadas en SQL
Tablas derivadas persistentes nativas
Vistas estables
Finalización de consultas
Tablas dinámicas basadas en SQL
Zonas horarias
SSL
Subtotales
Parámetros adicionales de JDBC
Distinción entre mayúsculas y minúsculas
Tipo de ubicación
Tipo de lista
Percentil
Percentil de valores distintos
Mostrar procesos del Ejecutor de SQL
Describir tabla del Ejecutor de SQL
Mostrar índices del Ejecutor de SQL
Seleccionar 10 del Ejecutor de SQL
Recuento del Ejecutor de SQL
Explicar SQL
Credenciales de OAuth 2.0
Comentarios contextuales
Agrupación de conexiones
Esbozos de HLL
Reconocimiento agregado
PDT incrementales
Milisegundos
Microsegundos
Vistas materializadas
Mediciones entre períodos
Distinción de recuento aproximado
Calendarios personalizados

Próximos pasos

Después de crear la conexión, configura las opciones de autenticación.