Apache Spark

Halaman ini berisi informasi tentang menghubungkan Looker ke Apache Spark 3.

Looker terhubung ke Apache Spark 3+ melalui koneksi JDBC ke Spark Thrift Server.

Mengenkripsi traffic jaringan

Praktik terbaiknya adalah mengenkripsi traffic jaringan antara aplikasi Looker dan database Anda. Pertimbangkan salah satu opsi yang dijelaskan di halaman dokumentasi Mengaktifkan akses database yang aman.

Membuat koneksi Looker ke database Anda

Di bagian Admin Looker, pilih Connections, lalu klik Add Connection.

Isi detail koneksi. Sebagian besar setelan sama untuk sebagian besar dialek database. Lihat halaman dokumentasi Menghubungkan Looker ke database Anda untuk mengetahui informasi selengkapnya. Beberapa setelan dijelaskan di bawah:

  • Nama: Nama koneksi. Nama ini akan digunakan untuk merujuk koneksi dalam model LookML.
  • Dialek: Pilih Apache Spark 3+.
  • Host: Host server Thrift.
  • Port Port server Thrift (10000 secara default).
  • Database: Skema atau database default yang akan dimodelkan. Jika tidak ada database yang ditentukan untuk tabel, database ini akan diasumsikan.
  • Nama Pengguna: Pengguna yang akan diautentikasi oleh Looker.
  • Sandi: Sandi opsional untuk pengguna Looker.
  • Aktifkan PDT: Gunakan tombol ini untuk mengaktifkan tabel turunan persisten. Jika PDT diaktifkan, jendela Connection akan menampilkan setelan PDT tambahan dan bagian PDT Overrides.
  • Temp Database: Skema atau database sementara untuk menyimpan PDT. Database ini harus dibuat terlebih dahulu, dengan pernyataan seperti CREATE SCHEMA looker_scratch;.
  • Additional JDBC parameters: Tambahkan parameter JDBC tambahan. Lihat bagian Parameter JDBC yang didukung di halaman ini untuk mengetahui daftar parameter yang didukung.
  • SSL: Biarkan opsi ini tidak dicentang.
  • Zona Waktu Database: Zona waktu data yang disimpan di Spark. Biasanya, zona waktu ini dapat dibiarkan kosong atau ditetapkan ke UTC.
  • Zona Waktu Kueri: Zona waktu untuk menampilkan data yang dikueri di Looker.

Untuk memverifikasi bahwa koneksi berhasil, klik tombol Test Connection di bagian Status details di bagian bawah halaman Connections Settings.

Jika Looker menampilkan Can Connect, tekan Connect untuk membuat koneksi.

Koneksi database Anda kemudian akan ditambahkan ke daftar di halaman Looker Connections Admin.

Parameter JDBC yang didukung

Untuk Apache Spark, Looker mendukung parameter JDBC berikut di kolom Additional JDBC parameters untuk koneksi. Lihat dokumentasi untuk database Anda guna mengetahui informasi tentang parameter ini.

  • batchsize
  • cascadeTruncate
  • connectionProvider
  • createTableColumnTypes
  • createTableOptions
  • customSchema
  • dbtable
  • fetchsize
  • isolationLevel
  • keytab
  • lowerBound
  • numPartitions
  • oracle.jdbc.mapDateToTimestamp
  • partitionColumn
  • password
  • preferTimestampNTZ
  • prepareQuery
  • principal
  • pushDownAggregate
  • pushDownLimit
  • pushDownOffset
  • pushDownPredicate
  • pushDownTableSample
  • query
  • queryTimeout
  • sessionInitStatement
  • truncate
  • upperBound
  • url
  • user

Dukungan fitur

Agar Looker dapat mendukung beberapa fitur, dialek database Anda juga harus mendukungnya.

Apache Spark 3+

Apache Spark 3+ mendukung fitur berikut mulai Looker 26.16:

Fitur Didukung?
Looker (Google Cloud core)
Agregat simetris
Tabel turunan
Tabel turunan berbasis SQL persisten
Tabel turunan berbasis persisten
Tampilan stabil
Penghentian kueri
Pivot berbasis SQL
Zona waktu
SSL
Subtotal
Parameter tambahan JDBC
Peka huruf besar/kecil
Jenis lokasi
Jenis daftar
Persentil
Persentil berbeda
SQL Runner Tampilkan Proses
SQL Runner Jelaskan Tabel
SQL Runner Tampilkan Indeks
SQL Runner Pilih 10
SQL Runner Hitung
SQL Jelaskan
Kredensial OAuth 2.0
Komentar konteks
Penggabungan koneksi
Sketsa HLL
Aggregate awareness
PDT inkremental
Milidetik
Mikrodetik
Tampilan terwujud
Ukuran dari periode ke periode
Jumlah perkiraan berbeda
Model analisis dalam database
Kalender kustom

Langkah berikutnya

Setelah membuat koneksi, tetapkan opsi autentikasi.