本頁面說明如何將 Looker 連結至 Apache Spark 3。
Looker 透過 JDBC 連線至 Spark Thrift Server,連線至 Apache Spark 3 以上版本。
加密網路流量
最佳做法是加密 Looker 應用程式和資料庫之間的網路流量。請考慮採用「啟用安全的資料庫存取權」說明文件頁面所述的其中一個選項。
建立 Looker 與資料庫的連線
在 Looker 的「Admin」(管理) 部分,選取「Connections」(連線),然後點選「Add Connection」(新增連線)。
填寫連線詳細資料。在這些設定中,有絕大部分都是多數資料庫方言的常用設定。請參閱「將 Looker 連線至資料庫」說明文件頁面。以下說明部分設定:
- 名稱:連線名稱。這是在 LookML 模型中參照連線的方式。
- 「Dialect」(方言):選取「Apache Spark 3+」。
- Host:Thrift 伺服器主機。
- Port:Thrift 伺服器通訊埠 (預設為 10000)。
- 資料庫:要建立模型的預設結構定義或資料庫。如果未指定資料表的資料庫,系統會假設為這個資料庫。
- Username:Looker 驗證的使用者。
- 密碼:Looker 使用者的密碼 (選填)。
- 啟用 PDT:使用這個切換鈕啟用永久衍生資料表。啟用 PDT 後,「連線」視窗會顯示其他 PDT 設定和「PDT 覆寫」部分。
- 暫存資料庫:用於儲存 PDT 的暫存結構定義或資料庫。您必須事先建立資料集,並使用
CREATE SCHEMA looker_scratch;等陳述式。 - 其他 JDBC 參數:新增任何其他 JDBC 參數。如需支援的參數清單,請參閱本頁的「支援的 JDBC 參數」一節。
- SSL:請勿勾選這個選項。
- 資料庫時區:Spark 中儲存資料的時區。通常可以留空或設為世界標準時間。
- 查詢時區:在 Looker 顯示查詢資料時使用的時區。
如要確認連線成功,請按一下「連線設定」頁面底部「狀態詳細資料」部分中的「測試連線」按鈕。
如果 Looker 顯示「可連線」,請按下「連線」建立連線。
資料庫連線就會新增至 Looker「連線」管理頁面的清單中。
支援的 JDBC 參數
如果是 Apache Spark,Looker 支援在連線的「Additional JDBC parameters」(其他 JDBC 參數) 欄位中,使用下列 JDBC 參數。如要瞭解這些參數,請參閱資料庫的說明文件。
batchsizecascadeTruncateconnectionProvidercreateTableColumnTypescreateTableOptionscustomSchemadbtablefetchsizeisolationLevelkeytablowerBoundnumPartitionsoracle.jdbc.mapDateToTimestamppartitionColumnpasswordpreferTimestampNTZprepareQueryprincipalpushDownAggregatepushDownLimitpushDownOffsetpushDownPredicatepushDownTableSamplequeryqueryTimeoutsessionInitStatementtruncateupperBoundurluser
功能支援
Looker 支援的功能,也必須由資料庫方言支援。
Apache Spark 3+
自 Looker 26.22 起,Apache Spark 3+ 支援下列功能:
| 功能 | 是否支援? |
|---|---|
| Looker (Google Cloud Core) | |
| 對稱式匯總函式 | |
| 衍生資料表 | |
| 永久 SQL 衍生資料表 | |
| 永久原生衍生資料表 | |
| 穩定檢視畫面 | |
| 終止查詢 | |
| 以 SQL 為基礎的透視表 | |
| 時區 | |
| SSL | |
| 小計 | |
| JDBC 額外參數 | |
| 區分大小寫 | |
| 位置類型 | |
| 清單類型 | |
| 百分位數 | |
| 不重複值的百分位數 | |
| SQL Runner 顯示程序 | |
| SQL Runner Describe Table | |
| SQL Runner 顯示索引 | |
| SQL Runner 選取 10 | |
| SQL Runner 計數 | |
| SQL 說明 | |
| OAuth 2.0 憑證 | |
| 背景資訊註解 | |
| 連線集區 | |
| HLL Sketch | |
| 匯總感知 | |
| 增量 PDT | |
| 毫秒 | |
| 微秒 | |
| materialized view | |
| 期間比較指標 | |
| 不重複值的近似計數 | |
| 資料庫內分析模型 | |
| 自訂日曆 |
後續步驟
建立連線後,請設定驗證選項。