Apache Spark

本頁面說明如何將 Looker 連線至 Apache Spark 3。

Looker 透過 JDBC 連線至 Spark Thrift Server,連線至 Apache Spark 3 以上版本。

加密網路流量

最佳做法是加密 Looker 應用程式與資料庫之間的網路流量。請考慮採用「啟用安全的資料庫存取權」說明文件頁面所述的其中一個選項。

建立 Looker 資料庫連線

在 Looker 的「Admin」(管理) 部分,依序選取「Connections」(連線) 和「Add Connection」(新增連線)。

填寫連線詳細資料。在這些設定中,有絕大部分都是多數資料庫方言的常用設定。詳情請參閱「將 Looker 連線至資料庫」說明文件頁面。以下說明部分設定:

  • 名稱:連線名稱。這是 LookML 模型中參照連線的方式。
  • 「Dialect」(方言):選取「Apache Spark 3+」。
  • 主機:Thrift 伺服器主機。
  • 通訊埠:Thrift 伺服器通訊埠 (預設為 10000)。
  • 資料庫:要建立模型的預設結構定義或資料庫。如未指定資料表的資料庫,系統會假設為這個資料庫。
  • 使用者名稱:Looker 將驗證的使用者。
  • 密碼:Looker 使用者的密碼 (選填)。
  • 啟用 PDT:使用這個切換鈕啟用永久衍生資料表。啟用 PDT 後,「連線」視窗會顯示額外的 PDT 設定和「PDT 覆寫」部分。
  • 暫存資料庫:用於儲存 PDT 的暫時性結構定義或資料庫。必須事先建立,並使用 CREATE SCHEMA looker_scratch; 等陳述式。
  • 其他 JDBC 參數:新增任何其他 JDBC 參數。如需支援的參數清單,請參閱本頁的「支援的 JDBC 參數」一節。
  • SSL:請勿勾選這個選項。
  • 資料庫時區:Spark 中儲存資料的時區。通常可以留空或設為世界標準時間。
  • 查詢時區:在 Looker 顯示查詢資料時使用的時區。

如要確認連線成功,請按一下「連線設定」頁面底部「狀態詳細資料」部分的「測試連線」按鈕。

如果 Looker 顯示「可以連線」,請按下「連線」建立連線。

資料庫連線就會新增至 Looker「連線」管理頁面的清單中。

支援的 JDBC 參數

對於 Apache Spark,Looker 支援連線的「其他 JDBC 參數」欄位中的下列 JDBC 參數。如要瞭解這些參數,請參閱資料庫的說明文件。

  • batchsize
  • cascadeTruncate
  • connectionProvider
  • createTableColumnTypes
  • createTableOptions
  • customSchema
  • dbtable
  • fetchsize
  • isolationLevel
  • keytab
  • lowerBound
  • numPartitions
  • oracle.jdbc.mapDateToTimestamp
  • partitionColumn
  • password
  • preferTimestampNTZ
  • prepareQuery
  • principal
  • pushDownAggregate
  • pushDownLimit
  • pushDownOffset
  • pushDownPredicate
  • pushDownTableSample
  • query
  • queryTimeout
  • sessionInitStatement
  • truncate
  • upperBound
  • url
  • user

功能支援

資料庫方言也必須支援某些功能,Looker 才能支援這些功能。

Apache Spark 3+

自 Looker 26.20 起,Apache Spark 3+ 支援下列功能:

功能 是否支援?
Looker (Google Cloud Core)
對稱式匯總函式
衍生資料表
永久 SQL 衍生資料表
永久原生衍生資料表
穩定檢視畫面
終止查詢
以 SQL 為基礎的樞紐
時區
SSL
小計
JDBC 其他參數
區分大小寫
位置類型
名單類型
百分位數
不重複值的百分位數
SQL Runner 顯示程序
SQL Runner 說明資料表
SQL Runner 顯示索引
SQL Runner Select 10
SQL Runner 計數
SQL 說明
OAuth 2.0 憑證
背景資訊註解
連線集區
HLL Sketch
匯總感知
增量 PDT
毫秒
微秒
materialized view
與前一段時期相比的指標
不重複值的近似計數
資料庫內分析模型
自訂日曆

後續步驟

建立連線後,請設定驗證選項。