本頁面說明如何將 Looker 連線至 Apache Spark 3。
Looker 透過 JDBC 連線至 Spark Thrift Server,連線至 Apache Spark 3 以上版本。
加密網路流量
最佳做法是加密 Looker 應用程式與資料庫之間的網路流量。請考慮採用「啟用安全的資料庫存取權」說明文件頁面所述的其中一個選項。
建立 Looker 資料庫連線
在 Looker 的「Admin」(管理) 部分,依序選取「Connections」(連線) 和「Add Connection」(新增連線)。
填寫連線詳細資料。在這些設定中,有絕大部分都是多數資料庫方言的常用設定。詳情請參閱「將 Looker 連線至資料庫」說明文件頁面。以下說明部分設定:
- 名稱:連線名稱。這是 LookML 模型中參照連線的方式。
- 「Dialect」(方言):選取「Apache Spark 3+」。
- 主機:Thrift 伺服器主機。
- 通訊埠:Thrift 伺服器通訊埠 (預設為 10000)。
- 資料庫:要建立模型的預設結構定義或資料庫。如未指定資料表的資料庫,系統會假設為這個資料庫。
- 使用者名稱:Looker 將驗證的使用者。
- 密碼:Looker 使用者的密碼 (選填)。
- 啟用 PDT:使用這個切換鈕啟用永久衍生資料表。啟用 PDT 後,「連線」視窗會顯示額外的 PDT 設定和「PDT 覆寫」部分。
- 暫存資料庫:用於儲存 PDT 的暫時性結構定義或資料庫。必須事先建立,並使用
CREATE SCHEMA looker_scratch;等陳述式。 - 其他 JDBC 參數:新增任何其他 JDBC 參數。如需支援的參數清單,請參閱本頁的「支援的 JDBC 參數」一節。
- SSL:請勿勾選這個選項。
- 資料庫時區:Spark 中儲存資料的時區。通常可以留空或設為世界標準時間。
- 查詢時區:在 Looker 顯示查詢資料時使用的時區。
如要確認連線成功,請按一下「連線設定」頁面底部「狀態詳細資料」部分的「測試連線」按鈕。
如果 Looker 顯示「可以連線」,請按下「連線」建立連線。
資料庫連線就會新增至 Looker「連線」管理頁面的清單中。
支援的 JDBC 參數
對於 Apache Spark,Looker 支援連線的「其他 JDBC 參數」欄位中的下列 JDBC 參數。如要瞭解這些參數,請參閱資料庫的說明文件。
batchsizecascadeTruncateconnectionProvidercreateTableColumnTypescreateTableOptionscustomSchemadbtablefetchsizeisolationLevelkeytablowerBoundnumPartitionsoracle.jdbc.mapDateToTimestamppartitionColumnpasswordpreferTimestampNTZprepareQueryprincipalpushDownAggregatepushDownLimitpushDownOffsetpushDownPredicatepushDownTableSamplequeryqueryTimeoutsessionInitStatementtruncateupperBoundurluser
功能支援
資料庫方言也必須支援某些功能,Looker 才能支援這些功能。
Apache Spark 3+
自 Looker 26.20 起,Apache Spark 3+ 支援下列功能:
| 功能 | 是否支援? |
|---|---|
| Looker (Google Cloud Core) | |
| 對稱式匯總函式 | |
| 衍生資料表 | |
| 永久 SQL 衍生資料表 | |
| 永久原生衍生資料表 | |
| 穩定檢視畫面 | |
| 終止查詢 | |
| 以 SQL 為基礎的樞紐 | |
| 時區 | |
| SSL | |
| 小計 | |
| JDBC 其他參數 | |
| 區分大小寫 | |
| 位置類型 | |
| 名單類型 | |
| 百分位數 | |
| 不重複值的百分位數 | |
| SQL Runner 顯示程序 | |
| SQL Runner 說明資料表 | |
| SQL Runner 顯示索引 | |
| SQL Runner Select 10 | |
| SQL Runner 計數 | |
| SQL 說明 | |
| OAuth 2.0 憑證 | |
| 背景資訊註解 | |
| 連線集區 | |
| HLL Sketch | |
| 匯總感知 | |
| 增量 PDT | |
| 毫秒 | |
| 微秒 | |
| materialized view | |
| 與前一段時期相比的指標 | |
| 不重複值的近似計數 | |
| 資料庫內分析模型 | |
| 自訂日曆 |
後續步驟
建立連線後,請設定驗證選項。