Amazon Athena

Looker mendukung koneksi ke Amazon Athena, layanan kueri interaktif yang memungkinkan Anda menganalisis data di Amazon S3 menggunakan SQL standar. Amazon Athena bersifat serverless, sehingga tidak ada infrastruktur yang perlu dikelola. Anda hanya dikenakan biaya untuk kueri yang dijalankan.

Mengenkripsi traffic jaringan

Praktik terbaiknya adalah mengenkripsi traffic jaringan antara aplikasi Looker dan database Anda. Pertimbangkan salah satu opsi yang dijelaskan di halaman dokumentasi Mengaktifkan akses database yang aman.

Mengkonfigurasi koneksi Amazon Athena

Halaman ini menjelaskan cara menghubungkan Looker ke instance Amazon Athena.

  1. Pastikan Anda memiliki hal-hal berikut:

    • Sepasang kunci akses Amazon AWS.

    • Bucket S3 yang berisi data yang ingin Anda kueri di Looker dengan Amazon Athena. Kunci akses Amazon AWS harus memiliki akses baca-tulis ke bucket ini.

      Amazon Athena harus memiliki akses ke bucket S3 ini berdasarkan peran atau set izin, serta berdasarkan aturan firewall. Jangan menambahkan aturan keamanan ke bucket S3 untuk IP Looker, karena hal ini dapat secara tidak sengaja memblokir akses Amazon Athena ke bucket S3. (Untuk dialek selain Amazon Athena, pengguna mungkin ingin membatasi akses ke data dari lapisan jaringan dengan daftar IP yang diizinkan, seperti yang dijelaskan pada halaman dokumentasi Mengaktifkan akses basis data yang aman.)

    • Pengetahuan tentang lokasi data instance Amazon Athena Anda. Nama wilayah dapat ditemukan di bagian kanan atas Amazon Console.

  2. Di bagian Admin Looker, pilih Connections, lalu klik Add Connection.

  3. Isi detail koneksi:

    • Nama: Tentukan nama koneksi. Inilah cara Anda akan merujuk ke koneksi dalam project LookML.
    • Dialect: Pilih Amazon Athena.
    • Host dan Port: Tentukan nama host dan port seperti yang dijelaskan dalam dokumentasi Athena tentang format URL JDBC. Host harus berupa endpoint Amazon yang valid (seperti athena.eu-west-1.amazonaws.com), dan port harus tetap 443. Daftar terkini endpoint yang mendukung Athena dapat ditemukan di halaman Referensi Umum AWS ini.
    • Database: Tentukan basis data default yang ingin Anda modelkan. Basis data lain dapat diakses, tetapi Looker memperlakukan basis data ini sebagai basis data default.
    • Username: Tentukan ID kunci akses AWS.
    • Password: Tentukan kunci akses rahasia AWS.
    • Aktifkan PDT: Gunakan tombol ini untuk mengaktifkan tabel turunan persisten (PDT). Mengaktifkan PDT akan menampilkan kolom PDT tambahan dan bagian Penggantian PDT untuk koneksi tersebut.
    • Temp Database: Tentukan nama direktori output di bucket S3 tempat Anda ingin Looker menulis PDT. Jalur lengkap ke direktori output harus ditentukan di kolom Parameter JDBC tambahan; lihat bagian Menentukan bucket S3 untuk output hasil kueri dan PDT di halaman ini.
    • Jumlah maksimum koneksi pembuat PDT: Tentukan jumlah kemungkinan build PDT serentak pada koneksi ini. Menyetel nilai ini terlalu tinggi dapat berdampak negatif pada waktu kueri. Untuk mengetahui informasi selengkapnya, lihat halaman dokumentasi Menghubungkan Looker ke database Anda.
    • Parameter JDBC tambahan: Tentukan parameter tambahan untuk koneksi:
      • Parameter s3_staging_dir adalah bucket S3 yang harus digunakan Looker untuk output hasil kueri dan PDT; lihat bagian Menentukan bucket S3 Anda untuk output hasil kueri dan PDT pada halaman ini.
      • Tandai untuk hasil streaming. Jika Anda memiliki kebijakan athena:GetQueryResultsStream yang dilampirkan ke pengguna Athena, Anda dapat menambahkan ;UseResultsetStreaming=1 di akhir parameter JDBC tambahan untuk meningkatkan performa ekstraksi set hasil yang besar secara signifikan. Parameter ini disetel ke 0 secara default.
      • Parameter tambahan opsional untuk ditambahkan ke string koneksi JDBC. Lihat bagian Parameter JDBC yang didukung di halaman ini untuk mengetahui daftar parameter yang didukung Looker.
    • SSL: Abaikan; secara default, semua koneksi ke API AWS akan dienkripsi.
    • Koneksi maksimum per node: Secara default, ini diatur ke 5. Anda dapat meningkatkan nilai ini hingga 20 jika Looker adalah mesin kueri utama yang berjalan terhadap Athena. Lihat dokumentasi batas layanan Athena untuk mengetahui detail selengkapnya tentang batas layanan. Lihat halaman dokumentasi Menghubungkan Looker ke database untuk mengetahui informasi selengkapnya.
    • Waktu Tunggu Kumpulan Koneksi: Tentukan waktu tunggu kumpulan koneksi. Secara default, waktu tunggu ditetapkan ke 120 detik. Lihat halaman dokumentasi Menghubungkan Looker ke database untuk mengetahui informasi selengkapnya.
    • SQL Runner Precache: Batalkan pilihan ini jika Anda lebih suka SQL Runner memuat informasi tabel hanya saat tabel dipilih. Lihat halaman dokumentasi Menghubungkan Looker ke database untuk mengetahui informasi selengkapnya.
    • Zona Waktu Database: Tentukan zona waktu yang digunakan dalam database. Kosongkan kolom ini jika Anda tidak ingin konversi zona waktu. Lihat halaman dokumentasi Menggunakan pengaturan zona waktu untuk informasi selengkapnya.

Untuk memverifikasi bahwa koneksi berhasil, klik tombol Uji Koneksi di bagian Detail status di bagian bawah halaman Setelan Koneksi.

Jika Looker menampilkan Dapat Terhubung, tekan Hubungkan untuk membuat koneksi.

Koneksi database Anda kemudian ditambahkan ke daftar di halaman Connections Admin Looker.

Menentukan bucket S3 untuk output hasil kueri dan PDT

Gunakan kolom Parameter JDBC tambahan di halaman Koneksi untuk mengonfigurasi jalur ke bucket S3 yang akan digunakan Looker untuk menyimpan output hasil kueri, dan untuk menentukan nama direktori output di bucket S3 tempat Anda ingin Looker menulis PDT. Tentukan informasi ini menggunakan parameter s3_staging_dir.

Parameter JDBC s3_staging_dir adalah cara alternatif untuk mengonfigurasi properti S3OutputLocation Amazon Athena, yang diperlukan untuk koneksi JDBC Athena. Lihat dokumentasi Athena tentang Opsi Driver JDBC untuk informasi lebih lanjut dan daftar semua opsi driver JDBC yang tersedia.

Di kolom Parameter JDBC tambahan, tentukan parameter s3_staging_dir menggunakan format berikut:

`s3_staging_dir=s3://<s3-bucket>/<output-path>`

Dengan:

  • <s3-bucket> adalah nama bucket S3.
  • <output-path> adalah jalur tempat Looker akan menulis output hasil kueri.

Pasangan kunci akses AWS harus memiliki izin tulis ke direktori <s3-bucket>.

Untuk mengonfigurasi direktori tempat Looker akan menulis PDT, masukkan jalur direktori di bucket S3 di kolom Database Sementara. Misalnya, jika Anda ingin Looker menulis PDT ke s3://<s3-bucket>/looker_scratch, maka masukkan ini di kolom Basis Data Sementara:

`looker_scratch`

Masukkan hanya jalur direktori. Looker mendapatkan nama bucket S3 dari parameter s3_staging_dir yang Anda masukkan di kolom Additional JDBC Parameters.

Pertimbangan bucket S3

Disarankan agar Anda mengkonfigurasi Amazon S3 object lifecycles untuk secara berkala membersihkan file yang tidak dibutuhkan di bucket S3 yang Anda tentukan. Ada beberapa alasan untuk hal ini:

  • Athena menyimpan hasil kueri untuk setiap kueri dalam bucket S3. Lihat Athena Meng querying.
  • Jika Anda mengaktifkan PDT, saat PDT dibuat, metadata tentang tabel yang dibuat akan disimpan di bucket S3.

Resource

Parameter JDBC yang didukung

Untuk Amazon Athena, Looker mendukung parameter JDBC berikut di kolom Parameter JDBC tambahan untuk koneksi. Lihat dokumentasi untuk database Anda guna mengetahui informasi tentang parameter ini.

  • ApplicationName
  • AwsCredentialsProviderArguments
  • AwsCredentialsProviderClass
  • AwsRegion
  • Catalog
  • Database
  • EnableResultReuseByAge
  • EndPointOverride
  • LogLevel
  • MaxQueryExecutionPollingInterval
  • maxResultReuseAgeInMinutes
  • MetadataRetrievalMethod
  • MinQueryExecutionPollingInterval
  • OutputLocation
  • password
  • ProxyHost: Untuk instance Looker publik, nilai parameter ProxyHost harus berupa alamat IP publik instance.
  • ProxyPort
  • ProxyPWD
  • ProxyUID
  • QueryExecutionPollingIntervalMultiplier
  • Region
  • ResultFetcher
  • ResultReuseByAgeConfiguration
  • s3_staging_dir
  • S3OutputEncOption
  • S3OutputLocation
  • Schema
  • user
  • UseResultsetStreaming
  • WorkGroup

Dukungan fitur

Agar Looker mendukung beberapa fitur, dialek database Anda juga harus mendukungnya.

Amazon Athena mendukung fitur berikut mulai Looker 26.16:

Fitur Didukung?
Looker (Google Cloud core)
Agregat simetris
Tabel turunan
Tabel turunan SQL persisten
Tabel turunan native persisten
Tampilan stabil
Penghentian kueri
Pivot berbasis SQL
Zona waktu
SSL
Subtotal
Parameter tambahan JDBC
Peka huruf besar/kecil
Jenis lokasi
Jenis daftar
Persentil
Persentil berbeda
SQL Runner Show Processes
SQL Runner Describe Table
SQL Runner Show Indexes
SQL Runner Select 10
Jumlah SQL Runner
Penjelasan SQL
Kredensial OAuth 2.0
Komentar konteks
Penggabungan koneksi
Sketsa HLL
Aggregate awareness
PDT inkremental
Milidetik
Mikrodetik
Tampilan terwujud
Pengukuran dari periode ke periode
Jumlah perkiraan berbeda
Model analitik dalam database
Kalender kustom

Langkah berikutnya

Setelah Anda menyelesaikan koneksi basis data, konfigurasikan opsi otentikasi.