Databricks

Mengenkripsi traffic jaringan

Praktik terbaiknya adalah mengenkripsi traffic jaringan antara aplikasi Looker dan database Anda. Pertimbangkan salah satu opsi yang dijelaskan di halaman dokumentasi Mengaktifkan akses database yang aman.

Membuat pengguna Looker

Looker melakukan autentikasi ke Databricks dengan token akses pribadi. Ikuti dokumentasi Databricks untuk membuat token akses pribadi bagi pengguna Databricks yang akan digunakan di Looker.

Tambahkan izin ke pengguna ini dengan GRANT.

Minimal, pengguna Looker harus memiliki izin SELECT dan READ_METADATA.

GRANT SELECT ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`

Informasi server

Ikuti dokumentasi Databricks untuk menemukan HTTP Path untuk cluster Databricks Anda. Di halaman ini, ini akan disebut sebagai <YOUR_HTTP_PATH>.

Menyiapkan tabel turunan persisten

Untuk menggunakan tabel turunan persisten, buat database terpisah.

CREATE DATABASE <YOUR_SCRATCH_DATABASE>

Tindakan ini juga memerlukan pemberian izin pengguna berbasis tulis tambahan.

GRANT SELECT CREATE MODIFY ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`

Membuat koneksi Looker ke database Anda

Di bagian Admin Looker, pilih Connections, lalu klik Add Connection.

Isi detail koneksi. Sebagian besar setelan sama untuk sebagian besar dialek database. Lihat halaman dokumentasi Menghubungkan Looker ke database Anda untuk mengetahui informasi selengkapnya. Beberapa setelan dijelaskan berikutnya:

  • Nama: Tentukan nama koneksi. Nama ini akan digunakan untuk merujuk ke koneksi dalam project LookML.
  • Dialect: Tentukan dialek Databricks.
  • Host: Tentukan URL ruang kerja Databricks. Misalnya, dbc-yyyyyyyy.cloud.databricks.com/.
  • Port: Tentukan port database. Nilai defaultnya adalah 443.
  • Database: Tentukan nama database yang akan digunakan untuk kueri Looker. Nilai defaultnya adalah default.
  • Katalog: Untuk database Databricks dengan Unity Catalog diaktifkan, tentukan nama katalog yang akan digunakan untuk kueri Looker. Jika Anda tidak menentukan katalog, Looker hanya akan mengakses skema dari katalog default. Lihat Fungsi Looker dengan Databricks Unity Catalog untuk mengetahui informasi selengkapnya.
  • Authentication: Pilih Database Account atau OAuth:
    • Gunakan Database Account untuk menentukan token akses pribadi Databricks yang akan digunakan untuk terhubung ke Looker (lihat bagian Membuat pengguna Looker untuk mengetahui petunjuknya).
      • Untuk Username, masukkan nilai token (jangan masukkan email pengguna Databricks di kolom ini).
      • Untuk Password, masukkan token akses pribadi Databricks.
    • Gunakan OAuth untuk mengonfigurasi OAuth untuk koneksi. Lihat bagian Mengonfigurasi OAuth untuk koneksi Databricks untuk mengetahui informasi selengkapnya.
  • Aktifkan PDT: Gunakan tombol ini untuk mengaktifkan tabel turunan persisten. Jika PDT diaktifkan, jendela Connection akan menampilkan setelan PDT tambahan dan bagian PDT Overrides. Catatan: PDT tidak didukung untuk koneksi Databricks yang menggunakan OAuth.
  • Temp Database: Masukkan database yang ingin Anda gunakan untuk menyimpan PDT.
  • Jumlah maksimum koneksi pembuat PDT: Tentukan jumlah kemungkinan build PDT serentak pada koneksi ini. Menetapkan nilai ini terlalu tinggi dapat berdampak negatif pada waktu kueri. Untuk mengetahui informasi selengkapnya, lihat halaman dokumentasi Menghubungkan Looker ke database Anda.

  • Additional JDBC parameters: Tambahkan parameter JDBC tambahan. Lihat bagian Parameter JDBC yang didukung di halaman ini untuk mengetahui daftar parameter yang didukung Looker.

  • Jadwal Pemeliharaan: Ekspresi cron yang menunjukkan kapan Looker harus memeriksa grup data dan tabel turunan persisten. Baca lebih lanjut setelan ini di dokumentasi Maintenance Schedule.

  • SSL: Centang untuk menggunakan koneksi SSL.

  • Verifikasi SSL: Centang untuk menerapkan verifikasi sertifikat SSL yang ketat.

  • Max connections per node: Anda dapat mempertahankan setelan ini pada nilai default awalnya. Baca lebih lanjut setelan ini di bagian Max connections per node pada halaman dokumentasi Menghubungkan Looker ke database Anda.

  • Connection Pool Timeout: Anda dapat mempertahankan setelan ini pada nilai default awalnya. Baca lebih lanjut setelan ini di bagian Connection Pool Timeout pada halaman dokumentasi Menghubungkan Looker ke database Anda.

  • SQL Runner Precache: Untuk mencegah SQL Runner memuat informasi tabel dan memuat informasi tabel hanya saat tabel dipilih, hapus centang pada kotak ini. Baca lebih lanjut setelan ini di bagian SQL Runner Precache pada halaman dokumentasi Menghubungkan Looker ke database Anda.

  • Zona Waktu Database: Tentukan zona waktu yang akan digunakan dalam database. Biarkan kolom ini kosong jika Anda tidak ingin konversi zona waktu. Lihat halaman dokumentasi Menggunakan setelan zona waktu untuk mengetahui informasi selengkapnya.

Klik Test untuk menguji koneksi dan memastikan koneksi dikonfigurasi dengan benar. Jika Anda melihat Can Connect, tekan Connect. Tindakan ini akan menjalankan sisa pengujian koneksi untuk memverifikasi bahwa akun layanan telah disiapkan dengan benar dan dengan peran yang tepat. Lihat halaman dokumentasi Menguji konektivitas database untuk mengetahui informasi pemecahan masalah.

Fungsi Looker dengan Databricks Unity Catalog

Looker mendukung koneksi ke database Databricks dengan Unity Catalog diaktifkan. Anda dapat menentukan nama katalog di kolom Catalog pada jendela Connection Looker saat Anda membuat koneksi Looker ke database Anda, atau saat mengedit koneksi Looker yang ada ke database Databricks.

Jika database Databricks Anda diaktifkan untuk Unity Catalog, Anda dapat menentukan katalog Databricks di kolom Catalog koneksi Looker. Saat Anda menentukan katalog Databricks, Looker akan menggunakan katalog dalam skenario berikut:

  • Saat membuat project LookML baru dari database Anda, Looker akan membuat file project berdasarkan tabel di katalog yang dikonfigurasi koneksi Anda.
  • Untuk project yang ada, saat menggunakan Looker IDE untuk membuat tampilan dari tabel, Looker hanya akan membuat file tampilan dari tabel di katalog yang dikonfigurasi koneksi Anda.
  • Saat menggunakan SQL Runner, Anda hanya dapat memilih skema dari katalog yang dikonfigurasi koneksi Anda.

Jika database Databricks Anda diaktifkan untuk Unity Catalog dan koneksi Looker tidak memiliki nilai di kolom Catalog, sebagian besar fungsi Looker hanya akan mengakses skema dari katalog default, seperti dalam skenario berikut:

  • Saat membuat project LookML baru dari database Anda, Looker akan membuat file project berdasarkan tabel di katalog default Unity Catalog.
  • Untuk project yang ada, saat menggunakan Looker IDE untuk membuat tampilan dari tabel, Looker hanya dapat membuat file tampilan dari tabel di katalog default Unity Catalog.
  • Saat menggunakan SQL Runner, Anda hanya dapat memilih skema dari katalog default Unity Catalog.

Mengonfigurasi OAuth untuk koneksi Databricks

Looker mendukung OAuth untuk koneksi Databricks, yang berarti setiap pengguna Looker melakukan autentikasi ke database dan mengotorisasi Looker untuk menjalankan kueri di database dengan akun pengguna OAuth miliknya sendiri.

OAuth memungkinkan administrator database melakukan tugas berikut:

  • Mengaudit pengguna Looker yang menjalankan kueri terhadap database
  • Menerapkan kontrol akses berbasis peran menggunakan izin tingkat database
  • Menggunakan token OAuth untuk semua proses dan tindakan yang mengakses database, bukan menyematkan ID dan sandi database di beberapa tempat
  • Mencabut otorisasi untuk pengguna tertentu secara langsung melalui database

Dengan koneksi Databricks yang menggunakan OAuth, pengguna harus login lagi secara berkala saat token OAuth mereka berakhir masa berlakunya.

Perhatikan hal berikut untuk koneksi OAuth tingkat database:

  • Jika pengguna membiarkan token OAuth-nya berakhir masa berlakunya, jadwal atau notifikasi Looker yang dimiliki pengguna akan terpengaruh. Untuk mencegah hal ini, Looker akan mengirim email notifikasi kepada pemilik setiap jadwal dan setiap notifikasi sebelum token OAuth aktif saat ini berakhir masa berlakunya. Looker akan mengirim email notifikasi ini 14 hari, 7 hari, dan 1 hari sebelum token berakhir masa berlakunya. Pengguna dapat membuka halaman pengguna Looker untuk mengotorisasi Looker ke database dan menghindari gangguan pada jadwal dan notifikasi mereka. Lihat halaman dokumentasi Mempersonalisasi setelan akun pengguna untuk mengetahui detailnya.
  • Karena koneksi database yang menggunakan OAuth adalah "per pengguna", kebijakan penyimpanan dalam cache juga per pengguna dan bukan hanya per kueri. Artinya, bukan menggunakan hasil yang di-cache setiap kali kueri yang sama dijalankan dalam periode penyimpanan dalam cache, Looker hanya akan menggunakan hasil yang di-cache jika pengguna yang sama telah menjalankan kueri yang sama dalam periode penyimpanan dalam cache. Untuk mengetahui informasi lebih lanjut tentang penyimpanan dalam cache, lihat halaman dokumentasi Kueri penyimpanan dalam cache.
  • Tabel turunan persisten (PDT) tidak didukung untuk koneksi Databricks dengan OAuth.
  • Saat admin Looker melakukan sudo sebagai pengguna lain, admin akan menggunakan token akses OAuth pengguna tersebut. Jika token akses pengguna telah berakhir masa berlakunya, admin tidak dapat membuat token baru atas nama pengguna yang di-sudo. Lihat halaman dokumentasi Pengguna untuk mengetahui informasi tentang penggunaan perintah sudo.
  • Saat pengguna login ke Databricks dari Looker menggunakan OAuth, Looker tidak menampilkan dialog izin pengguna eksplisit. Dengan menyiapkan OAuth dengan Looker, Anda secara implisit menyetujui instance Looker Anda mengakses database Databricks Anda.
  • Untuk menggunakan OAuth untuk koneksi Databricks, Anda harus memiliki pengguna Databricks atau pokok layanan yang dapat digunakan untuk kueri Looker, dan Anda harus memberikan izin Databricks kepada pengguna dan pokok layanan yang akan diperlukan Looker untuk mengakses sumber data dan melakukan tindakan yang diperlukan dalam Databricks.

Untuk membuat koneksi Databricks ke Looker menggunakan OAuth, Anda harus melakukan langkah-langkah umum ini, yang dijelaskan di bagian berikut:

  1. Mengaktifkan aplikasi OAuth kustom di Databricks
  2. Mengonfigurasi koneksi di Looker

Mengaktifkan aplikasi OAuth kustom di Databricks

Untuk menggunakan OAuth untuk koneksi Looker ke Databricks, Anda harus mengaktifkan Looker sebagai aplikasi OAuth kustom untuk database Databricks Anda dengan mengikuti langkah-langkah berikut:

  1. Login ke konsol akun Databricks.
  2. Klik ikon Settings di panel samping.
  3. Klik tab App Connections di jendela Settings.
  4. Di tab App Connections, klik Add connection.

  5. Masukkan nilai berikut dalam dialog Add connection Databricks:

    • Nama Aplikasi: Berikan nama deskriptif, seperti "Looker Integration".

    • Redirect URLs: Masukkan URL Looker tempat Databricks akan mengalihkan pengguna setelah otorisasi berhasil, menggunakan format ini (ganti example.looker.com dengan URL instance Looker Anda):

      https://example.looker.com/external_oauth/redirect

    • Cakupan akses: Pilih SQL untuk mengizinkan Looker membuat kueri data melalui SQL.

    • Generate a client secret: Aktifkan opsi ini.

  6. Klik Add di dialog Add connection Databricks.

  7. Salin dan simpan Client ID dan Client Secret yang dibuat Databricks dengan aman.

Pendaftaran aplikasi OAuth mungkin memerlukan waktu hingga 30 menit untuk diproses di database Databricks. Untuk mengetahui informasi selengkapnya, lihat dokumentasi Databricks resmi.

Mengonfigurasi koneksi di Looker

Setelah Anda mengonfigurasi Looker sebagai aplikasi OAuth kustom di database Databricks Anda, Anda dapat mengonfigurasi koneksi Looker ke Databricks yang menggunakan OAuth.

  1. Di bagian Admin Looker, pilih Connections, lalu klik Add Connection.
  2. Isi detail koneksi, seperti yang dijelaskan di bagian Membuat koneksi Looker ke database Anda di halaman ini.
  3. Pilih opsi OAuth di kolom Authentication.
  4. Saat Anda memilih opsi OAuth, Looker akan menampilkan kolom OAuth Client ID dan OAuth Client Secret. Untuk nilai ini, masukkan Client ID dan Client Secret yang dibuat oleh Databricks saat Anda mengaktifkan Looker sebagai aplikasi OAuth kustom di Databricks.
  5. Pilih tombol Test di bagian bawah halaman Connections Settings untuk memastikan Looker dapat berhasil membuat alur OAuth dan terhubung ke instance Databricks Anda.

Parameter JDBC yang didukung

Untuk Databricks, Looker mendukung parameter JDBC berikut di kolom Additional JDBC parameters untuk koneksi. Lihat dokumentasi untuk database Anda guna mengetahui informasi tentang parameter ini.

  • Auth_Flow
  • AuthMech
  • catalogSchemaSwitch
  • ConnSchema
  • httpPath
  • LogLevel
  • OAuth2ClientId
  • OAuth2Secret
  • PWD
  • SocketTimeout
  • ssl
  • transportMode
  • UID
  • UserAgentEntry

Dukungan fitur

Agar Looker mendukung beberapa fitur, dialek database Anda juga harus mendukungnya.

Databricks mendukung fitur berikut mulai Looker 26.8:

Fitur Didukung?
Looker (Google Cloud core)
Agregat simetris
Tabel turunan
Tabel turunan SQL persisten
Tabel turunan berbasis persisten
Tampilan stabil
Penghentian kueri
Pivot berbasis SQL
Zona waktu
SSL
Subtotal
Parameter tambahan JDBC
Peka huruf besar/kecil
Jenis lokasi
Jenis daftar
Persentil
Persentil berbeda
SQL Runner Show Processes
SQL Runner Describe Table
SQL Runner Show Indexes
SQL Runner Select 10
SQL Runner Count
SQL Explain
Kredensial OAuth 2.0
Komentar konteks
Penggabungan koneksi
Sketsa HLL
Aggregate awareness
PDT inkremental
Milidetik
Mikrodetik
Tampilan terwujud
Ukuran dari periode ke periode
Jumlah perkiraan berbeda
Kalender kustom