Apache Spark

本頁面說明如何將 Looker 連結至 Apache Spark 3。

Looker 透過 JDBC 連線至 Spark Thrift Server,連線至 Apache Spark 3 以上版本。

加密網路流量

最佳做法是加密 Looker 應用程式和資料庫之間的網路流量。請考慮採用「啟用安全的資料庫存取權」說明文件頁面所述的其中一個選項。

建立 Looker 與資料庫的連線

在 Looker 的「Admin」(管理) 部分,選取「Connections」(連線),然後點選「Add Connection」(新增連線)。

填寫連線詳細資料。在這些設定中,有絕大部分都是多數資料庫方言的常用設定。請參閱「將 Looker 連線至資料庫」說明文件頁面。以下說明部分設定:

  • 名稱:連線名稱。這是在 LookML 模型中參照連線的方式。
  • 「Dialect」(方言):選取「Apache Spark 3+」。
  • Host:Thrift 伺服器主機。
  • Port:Thrift 伺服器通訊埠 (預設為 10000)。
  • 資料庫:要建立模型的預設結構定義或資料庫。如果未指定資料表的資料庫,系統會假設為這個資料庫。
  • Username:Looker 驗證的使用者。
  • 密碼:Looker 使用者的密碼 (選填)。
  • 啟用 PDT:使用這個切換鈕啟用永久衍生資料表。啟用 PDT 後,「連線」視窗會顯示其他 PDT 設定和「PDT 覆寫」部分。
  • 暫存資料庫:用於儲存 PDT 的暫存結構定義或資料庫。您必須事先建立資料集,並使用 CREATE SCHEMA looker_scratch; 等陳述式。
  • 其他 JDBC 參數:新增任何其他 JDBC 參數。如需支援的參數清單,請參閱本頁的「支援的 JDBC 參數」一節。
  • SSL:請勿勾選這個選項。
  • 資料庫時區:Spark 中儲存資料的時區。通常可以留空或設為世界標準時間。
  • 查詢時區:在 Looker 顯示查詢資料時使用的時區。

如要確認連線成功,請按一下「連線設定」頁面底部「狀態詳細資料」部分中的「測試連線」按鈕。

如果 Looker 顯示「可連線」,請按下「連線」建立連線。

資料庫連線就會新增至 Looker「連線」管理頁面的清單中。

支援的 JDBC 參數

如果是 Apache Spark,Looker 支援在連線的「Additional JDBC parameters」(其他 JDBC 參數) 欄位中,使用下列 JDBC 參數。如要瞭解這些參數,請參閱資料庫的說明文件。

  • batchsize
  • cascadeTruncate
  • connectionProvider
  • createTableColumnTypes
  • createTableOptions
  • customSchema
  • dbtable
  • fetchsize
  • isolationLevel
  • keytab
  • lowerBound
  • numPartitions
  • oracle.jdbc.mapDateToTimestamp
  • partitionColumn
  • password
  • preferTimestampNTZ
  • prepareQuery
  • principal
  • pushDownAggregate
  • pushDownLimit
  • pushDownOffset
  • pushDownPredicate
  • pushDownTableSample
  • query
  • queryTimeout
  • sessionInitStatement
  • truncate
  • upperBound
  • url
  • user

功能支援

Looker 支援的功能,也必須由資料庫方言支援。

Apache Spark 3+

自 Looker 26.22 起,Apache Spark 3+ 支援下列功能:

功能 是否支援?
Looker (Google Cloud Core)
對稱式匯總函式
衍生資料表
永久 SQL 衍生資料表
永久原生衍生資料表
穩定檢視畫面
終止查詢
以 SQL 為基礎的透視表
時區
SSL
小計
JDBC 額外參數
區分大小寫
位置類型
清單類型
百分位數
不重複值的百分位數
SQL Runner 顯示程序
SQL Runner Describe Table
SQL Runner 顯示索引
SQL Runner 選取 10
SQL Runner 計數
SQL 說明
OAuth 2.0 憑證
背景資訊註解
連線集區
HLL Sketch
匯總感知
增量 PDT
毫秒
微秒
materialized view
期間比較指標
不重複值的近似計數
資料庫內分析模型
自訂日曆

後續步驟

建立連線後,請設定驗證選項。