客戶代管架構解決方案:元件操作說明

本頁面探討 Looker 架構中特定元件的常見做法,並說明如何在部署作業中設定這些元件。

Looker 有許多依附元件,可用於託管伺服器、處理臨時和排定的工作負載、追蹤疊代模型開發等。這類依附元件在本頁中稱為「元件」,以下各節將詳細說明每個元件:

主機設定

OS 和發行版

Looker 可以在最常見的 Linux 版本上順利執行:RedHat、SUSE 和 Debian/Ubuntu。如果這些發行版本的衍生版本是專為在特定環境中執行而設計和最佳化,通常不會有問題。舉例來說, Google Cloud 或 AWS Linux 發行版本與 Looker 相容。Debian/Ubuntu 是 Looker 社群中最常用的 Linux 版本,也是 Looker 支援團隊最熟悉的版本。最簡單的方法是使用 Debian/Ubuntu,或特定雲端服務供應商衍生自 Debian/Ubuntu 的作業系統。

Looker 會在 Java 虛擬機器 (JVM) 中執行。選擇發行版本時,請考量 OpenJDK 11 版本是否為最新版本。舊版 Linux 發行版或許能執行 Looker,但 Looker 特定功能所需的 Java 版本和程式庫必須為最新版本。如果 JVM 未包含所有建議的 Looker 程式庫和版本,Looker 就無法正常運作。Looker 必須使用 Java HotSpot 1.8 update 161 以上版本,或 Java OpenJDK 11.0.12 以上版本。

CPU 與記憶體

4x16 (4 個 CPU 和 16 GB RAM) 節點足以用於開發系統,或小型團隊使用的基本測試 Looker 執行個體。不過,這通常不足以用於正式環境。根據我們的經驗,16x64 節點 (16 個 CPU 和 64 GB RAM) 在價格和效能之間取得了理想平衡。RAM 超過 64 GB 可能會影響效能,因為垃圾收集事件是單一執行緒,會停止所有其他執行緒來執行。

磁碟儲存空間

100 GB 的磁碟空間通常足以應付正式環境系統。

叢集注意事項

Looker 在 Java JVM 上執行,而 Java 可能難以管理超過 64 GB 的記憶體。一般來說,如果需要更多容量,請在叢集中新增 16x64 節點,而非將節點大小增加至超過 16x64。我們也可能偏好使用叢集架構,提高可用性。

在叢集中,Looker 節點需要共用檔案系統的特定部分。共用的資料包括:

  • LookML 模型
  • 開發人員 LookML 模型
  • Git 伺服器連線能力

由於檔案系統是共用的,且託管多個 Git 存放區,因此處理並行存取和檔案鎖定至關重要。檔案系統必須符合 POSIX 標準。網路檔案系統 (NFS) 適用於 Linux,且可立即使用。您應該建立額外的 Linux 執行個體,並設定 NFS 來共用磁碟。預設 NFS 可能是單點故障,因此請考慮設定容錯移轉或高可用性。

Looker 中繼資料也需要集中管理,因此必須將內部資料庫遷移至 MySQL。這可以是 MySQL 服務或專屬 MySQL 部署作業。本頁的「內部 (後端) 資料庫」一節會詳細說明。

JVM 設定

Looker JVM 設定是在 Looker 開機指令碼中定義。更新後,必須重新啟動 Looker,變更才會生效。預設設定如下:

java \
  -XX:+UseG1GC -XX:MaxGCPauseMillis=2000 \
  -Xms$JAVAMEM -Xmx$JAVAMEM \
  -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps \
  -Xloggc:/tmp/gc.log ${JAVAARGS} \
  -jar looker.jar start ${LOOKERARGS}

資源

資源設定是在 Looker 開機指令碼中定義。

JAVAMEM="2300m"
METAMEM="800m"

為 JVM 配置記憶體時,必須考量 Looker 執行時的作業系統負擔。一般來說,JVM 最多可分配到 60% 的總記憶體,但視機器大小而定,可能會有其他限制。如果機器總記憶體只有 8 GB,建議分配 4 到 5 GB 給 Java,800 MB 給 Meta。如果是較大的機器,可以為作業系統分配較低比例的記憶體。舉例來說,如果機器的總記憶體為 60 GB,建議將 36 GB 分配給 Java,1 GB 分配給 Meta。請注意,Java 的記憶體配置通常應隨機器總記憶體調整,但 Meta 應足以應付 1 GB。

此外,由於 Looker 會與 Chromium 等其他程序共用系統資源來進行轉譯,因此應根據預期的轉譯負載和機器大小,選擇分配給 Java 的記憶體量。如果預期算繪負載較低,則可為 Java 分配較多的總記憶體。舉例來說,如果機器總記憶體為 60 GB,Java 可安全分配到 46 GB,高於一般建議的 60%。每個部署作業適合的確切資源分配量不盡相同,因此請以 60% 為基準,並根據用量調整。

垃圾收集

Looker 偏好使用 Java 版本可用的最新垃圾收集器。垃圾收集逾時預設為 2 秒,但您可以編輯啟動設定中的下列選項來變更:

-XX:MaxGCPauseMillis=2000

在具有多個核心的大型機器上,垃圾收集逾時時間可能會縮短。

記錄

根據預設,Looker 垃圾收集記錄會儲存在 /tmp/gc.log。如要變更這項設定,請在啟動設定中編輯下列選項:

-Xloggc:/tmp/gc.log

JMX

管理 Looker 時,可能需要監控資源使用情形,以便調整資源配置。建議使用 JMX 監控 JVM 記憶體用量。

Looker 啟動選項

啟動選項會儲存在名為 lookerstart.cfg 的檔案中。這個檔案會用於啟動 Looker 的殼層指令碼。

執行緒集區

Looker 是多執行緒應用程式,有多個執行緒集區。這些執行緒集區涵蓋核心網路伺服器,以及排程、算繪和外部資料庫連線等專門子服務。視業務工作流程而定,您可能需要修改這些集區的預設設定。特別是,在「客戶託管基礎架構架構模式和做法」頁面中提到的叢集拓撲,有一些特別注意事項。

高排程處理量選項

針對所有非排程器節點,將 --scheduler-threads=0 新增至 lookerstart.cfg 中的 LOOKERARGS 環境變數。如果沒有排程器執行緒,這些節點就不會執行任何排定的工作。

針對所有專屬排程器節點,將 --scheduler-threads=<n> 新增至 lookerstart.cfg 中的 LOOKERARGS 環境變數。Looker 預設會從 10 個排程器執行緒開始,但可以增加到 <n> 個。有了 <n> 個排程器執行緒,每個節點都能執行 <n> 個並行排程工作。一般建議將 <n> 設為 CPU 數量的 2 倍以下。建議的最大主機為 16 個 CPU 和 64 GB 記憶體,因此排程器執行緒的上限應小於 32。

高算繪處理量選項

針對所有非算繪節點,將 --concurrent-render-jobs=0 新增至 lookerstart.cfg 中的 LOOKERARGS 環境變數。如果沒有算繪器節點,這些節點就不會執行任何算繪工作。

針對所有專屬算繪節點,將 --concurrent-render-jobs=<n> 新增至 lookerstart.cfg 中的 LOOKERARGS 環境變數。Looker 預設會從兩個轉譯執行緒開始,但可以增加到 <n> 個。有了 <n> 個轉譯執行緒,每個節點都能執行 <n> 個並行轉譯工作。

每項算繪工作都可能耗用大量記憶體。每項算繪工作預算約 2 GB。舉例來說,如果核心 Looker 程序 (Java) 獲分配 60% 的總記憶體,且剩餘記憶體的 20% 預留給作業系統,則最後 20% 的記憶體會用於轉譯工作。在 64 GB 的機器上,這會留下 12 GB,足以執行 6 項並行算繪工作。如果節點專門用於轉譯,且未納入處理互動式工作的負載平衡器集區,則可減少核心 Looker 程序記憶體,以便執行更多轉譯工作。在 64 GB 的機器上,可以將約 30% (20 GB) 的記憶體分配給 Looker 核心程序。保留 20% 供一般 OS 使用,剩下 50% (32 GB) 用於算繪,足以同時執行 16 項算繪工作。

內部 (後端) 資料庫

Looker 伺服器會將自身設定、資料庫連線、使用者、群組和角色、資料夾、使用者定義的 Look 和資訊主頁,以及其他各種資料的相關資訊,保存在內部資料庫中。

如果是中等規模的獨立 Looker 執行個體,這類資料會儲存在 Looker 程序內嵌的記憶體內 HyperSQL 資料庫。這個資料庫的資料會儲存在 <looker install directory>/.db/looker.script 檔案中。雖然這個資料庫輕巧便利,但大量使用時會有效能問題。因此,建議您先使用遠端 MySQL 資料庫。如果無法這麼做,建議在 ~/looker/.db/looker.script 檔案達到 600 MB 時,遷移至遠端 MySQL 資料庫。叢集必須使用 MySQL 資料庫。

Looker 伺服器會對 MySQL 資料庫執行許多小型讀取和寫入作業。每當使用者執行 Look 或探索動作時,Looker 都會檢查資料庫,確認使用者是否仍處於登入狀態、是否有權存取資料、是否有權執行 Look 或探索動作等。Looker 也會將資料寫入 MySQL 資料庫,例如實際執行的 SQL,以及要求開始和結束的時間。使用者與 Looker 應用程式之間的單次互動,可能會導致 MySQL 資料庫進行 15 或 20 次小型讀取和寫入。

MySQL

MySQL 伺服器必須是 8.0.X 或 8.4.X 版。Looker 26.6 以上版本支援 8.4.X 版,建議使用。將伺服器設為使用 utf8mb4 字元集、utf8mb4_general_ci 定序和 InnoDB 儲存引擎。如需設定操作說明,以及將資料從現有 HyperSQL 資料庫遷移至 MySQL 的步驟,請參閱「將 Looker 後端資料庫遷移至 MySQL」。

將 Looker 設為使用 MySQL 時,必須建立包含連線資訊的 YAML 檔案。將 YAML 檔案命名為 looker-db.yml,並在 lookerstart.cfg 檔案的 LOOKERARGS 區段中新增 -d looker-db.yml 設定。

MariaDB

MySQL 採用雙重授權,同時提供開放原始碼和商業產品。Oracle 持續強化 MySQL,並將 MySQL 分支為 MariaDB。MySQL 的 MariaDB 對等版本可與 Looker 搭配使用,但並非由 Looker 工程團隊開發或測試,因此不支援或保證功能。

Cloud 版本

如果您在雲端基礎架構中託管 Looker,則在相同的雲端基礎架構中託管 MySQL 資料庫是合理的做法。三大雲端供應商:Amazon AWS、Microsoft Azure 和 Google Cloud。雲端服務供應商會管理 MySQL 資料庫的大部分維護和設定作業,並提供備份管理和快速復原等服務。這些產品與 Looker 搭配使用時,成效良好。

系統活動查詢

MySQL 資料庫用於儲存使用者如何使用 Looker 的資訊。任何有權查看系統活動模型的 Looker 使用者,都能存取多個預先建立的 Looker 資訊主頁,分析這項資料。使用者也可以存取 Looker 中繼資料的探索,建立其他分析。MySQL 資料庫主要用於小型、快速的「作業」查詢。系統活動模型產生的大型、緩慢「分析」查詢,可能會與這些作業查詢競爭,導致 Looker 速度變慢。此外,針對包含多年歷史記錄的大型中繼資料表,背景自動維護查詢 (密集清理) 可能會耗用大量資料庫 IOP,並影響整體效能。如需管理中繼資料資料表的最佳做法,請參閱「後端資料庫維護和中繼資料保留」一節。

在這些情況下,MySQL 資料庫可以複製到另一個資料庫。無論是自行管理或特定雲端代管系統,都提供將資料複製到其他資料庫的基本設定。設定複製作業不在本文件的討論範圍內。

如要使用副本執行系統活動查詢,請建立 looker-db.yml 檔案的副本 (例如命名為 looker-usage-db.yml),修改副本以指向副本,然後將 --internal-analytics-connection-file looker-usage-db.yml 設定新增至 lookerstart.cfg 檔案的 LOOKERARGS 區段。

系統活動查詢可對 MySQL 執行個體或 Google BigQuery 資料庫執行。並未針對其他資料庫進行測試。

後端資料庫維護和中繼資料保留

客戶託管的 Looker 執行個體若有自行管理的後端資料庫 (例如 MySQL),會執行自動背景維護工作,包括密集清理中繼資料表 (例如查詢記錄表)。經過多年使用,這些資料表可能會累積數百萬筆舊記錄。在這些龐大的資料表上執行自動清理程序,可能會耗盡每秒可用的 IO 作業 (IOP),並嚴重降低後端資料庫效能,進而影響正式環境系統。

如果系統因主動清理而導致 IOPs 使用率偏高,請讓自動密集清理程序完成。為避免日後效能降低,並將中繼資料資料表維持在合理大小,管理員應實施下列最佳做法:

  1. 縮短中繼資料保留時間:在 Looker 的「管理」面板中,將「擷取記錄保留天數」參數縮短為 90 天以下,限制這些資料表的大小。
  2. 執行實體維護:手動清理最大資料表 (例如查詢記錄資料表) 的記錄,然後執行 MySQL OPTIMIZE TABLE 指令,回收實體磁碟空間並重建資料表索引。
  3. 確認記憶體設定:確認資料庫記憶體設定 (例如 InnoDB 緩衝區集區) 足以處理密集查詢。如果叢集高度活躍,可能需要調整 innodb_buffer_pool_size (請參閱本頁後續的「MySQL 效能設定」一節)。

MySQL 效能設定

除了將 Looker 後端資料庫遷移至 MySQL 所需的設定外,高度活躍的叢集可能還需要額外調整和設定。您可以透過 /etc/my.cnf 檔案或 Google Cloud 控制台,為雲端代管執行個體進行這些設定。

my.cnf 設定檔分為幾個部分。本節討論的下列設定變更是在 [mysqld] 部分進行。

設定 InnoDB 緩衝區集區大小

InnoDB 緩衝區集區大小是指用於在記憶體中儲存 InnoDB 資料檔案狀態的 RAM 總量。如果伺服器專門執行 MySQL,innodb_buffer_pool_size 應設為系統記憶體總量的 50% 到 70%。

如果資料庫總大小較小,可以將 InnoDB 緩衝區集區設為資料庫大小,而非記憶體的 50% 以上。

在本範例中,伺服器有 64 GB 的記憶體,因此 InnoDB 緩衝集區應介於 32 GB 至 45 GB 之間。通常越大越好。

[mysqld]
...
innodb_buffer_pool_size=45G

設定 InnoDB 緩衝區集區執行個體

多個執行緒嘗試搜尋大型緩衝區集區時,可能會發生爭用情形。為避免這種情況,緩衝集區會分成較小的單位,可由不同執行緒存取,不會發生衝突。根據預設,緩衝集區會分成 8 個執行個體。這可能會造成 8 個執行緒的瓶頸。增加緩衝集區執行個體數量,可降低發生瓶頸的機率。設定 innodb_buffer_pool_instances,讓每個緩衝集區至少有 1 GB 的記憶體。

[mysqld]
...
innodb_buffer_pool_instances=32

最佳化 InnoDB 記錄檔

提交交易時,資料庫可以選擇更新實際檔案中的資料,也可以將交易詳細資料儲存至記錄。如果資料庫在資料檔案更新前當機,系統可以「重播」記錄檔來套用變更。寫入記錄檔是小型附加作業。在修訂時附加至記錄,然後批次處理資料檔案的多項變更,並在單一 IO 作業中寫入,這樣做很有效率。記錄檔填滿後,資料庫必須暫停處理新交易,並將所有變更的資料寫回磁碟。

一般來說,InnoDB 記錄檔應足以容納 1 小時的交易。

通常會有兩個 InnoDB 記錄檔。應約為 InnoDB 緩衝區集區的 25%。以緩衝集區為 32 GB 的資料庫為例,InnoDB 記錄檔總計應為 8 GB,或每個檔案 4 GB。

[mysqld]
...
innodb_log_file_size=8GB

設定 InnoDB IO 容量

MySQL 會限制將寫入作業記錄到磁碟的速度,以免伺服器不堪負荷。對大多數伺服器來說,預設值都偏保守。為達到最佳效能,請使用 sysbench 公用程式測量資料磁碟的隨機寫入速度,然後使用該值設定 IO 容量,讓 MySQL 能更快速地寫入資料。

在雲端託管系統上,雲端供應商應能回報資料儲存庫所用磁碟的效能。如果是自行託管的 MySQL 伺服器,請以每秒 IO 作業數 (IOPS) 為單位,測量資料磁碟的隨機寫入速度。Linux 公用程式 sysbench 是測量這項指標的方法之一。將該值用於 innodb_io_capacity_max,並將該值的二分之一到四分之三用於 innodb_io_capacity。因此,在以下範例中,如果我們測量 800 IOPS,就會看到這些值。

[mysqld]
...
innodb_io_capacity=500
innodb_io_capacity_max=800

設定 InnoDB 執行緒

MySQL 會為每個服務中的用戶端開啟至少一個執行緒。如果同時有多個用戶端連線,可能會導致處理大量執行緒。這可能會導致系統花費更多時間進行交換,而非處理。

請進行基準測試,判斷理想的執行緒數量。如要測試,請將執行緒數量設為介於系統 CPU (或 CPU 核心) 數量和 CPU 數量 4 倍之間的值。如果是 16 核心系統,這個值可能介於 16 到 64 之間。

[mysqld]
...
innodb_thread_concurrency=32

交易耐用性

如果交易值為 1,MySQL 會強制將每筆交易寫入磁碟。如果伺服器當機,交易不會遺失,但資料庫效能會受到影響。將這個值設為 0 或 2 可提升效能,但可能導致幾秒鐘的資料交易遺失。

[mysqld]
...
innodb_flush_log_at_trx_commit=1

設定清除方法

作業系統通常會緩衝寫入磁碟的資料。由於 MySQL 和 OS 都會緩衝,因此效能會受到影響。減少 flush 方法的一層緩衝區,可以提升效能。

[mysqld]
...
innodb_flush_method=O_DIRECT

啟用每個資料表一個檔案

根據預設,MySQL 會使用單一資料檔案儲存所有資料。innodb_file_per_table 設定會為每個資料表建立獨立檔案,提升效能和資料管理效率。

[mysqld]
...
innodb_file_per_table=ON

停用中繼資料統計資料

這項設定會停用內部中繼資料表的統計資料收集功能,進而提升讀取效能。

[mysqld]
...
innodb_stats_on_metadata=OFF

停用查詢快取

查詢快取已淘汰,因此將 query_cache_size 和 query_cache_type 設為 0 即可停用。

[mysqld]
...
query_cache_size=0
query_cache_type=0

放大彙整緩衝區

join_buffer 用於在記憶體中執行 join。提高上限可改善特定作業。

[mysqld]
...
join_buffer_size=512KB

調高臨時資料表和堆積大小上限

tmp_table_size 和 max_heap_table_size 會為臨時記憶體內資料表設定合理的預設值,然後才強制寫入磁碟。

[mysqld
...
tmp_table_size=32MB
max_heap_table_size=32MB

調整資料表開啟快取

table_open_cache 設定會決定快取大小,用於存放已開啟資料表的檔案描述元。table_open_cache_instances 設定會將快取拆分為多個較小的部分。table_open_cache 中可能會有執行緒爭用,因此將其分成較小的部分有助於提高並行性。

[mysqld]
...
table_open_cache=2048
table_open_cache_instances=16

Git 服務

Looker 可與 Git 服務搭配使用,提供 LookML 檔案的版本管理功能。支援 GitHub、GitLab 和 Bitbucket 等主要 Git 代管服務。Git 服務供應商提供額外的加值服務,例如用於查看程式碼變更的 GUI,以及支援提取要求和變更核准等工作流程。如有需要,Git 可以在一般 Linux 伺服器上執行。

如果 Git 託管服務因安全性規則而不適合您的部署作業,許多服務供應商會提供可在您自己的環境中執行的版本。GitLab 尤其常由使用者自行託管,可做為開放原始碼產品使用,無須支付授權費,也可做為受支援的授權產品使用。GitHub Enterprise 是可自行託管的服務,也是受支援的商業產品。

以下各節列出最常見服務供應商的細微差異。

GitHub/GitHub Enterprise

設定及測試 Git 連線說明文件頁面以 GitHub 為例。

GitLab/gitlab.com

如需 GitLab 的詳細設定步驟,請參閱 Looker 社群貼文「在 Looker 中使用 GitLab 進行版本管控」。如果存放區位於子群組中,您可以使用 HTTPS 或 SSH 格式,將這些子群組新增至存放區網址:

https://gitlab.com/accountname/subgroup/reponame

git@gitlab.com:accountname/subgroup/reponame.git

此外,您也可以透過三種方式,將 Looker 生成的安全殼層金鑰儲存在 GitLab 中:使用者安全殼層金鑰、存放區部署金鑰,或全域共用部署金鑰。如需更深入的說明,請參閱 GitLab 說明文件。

Google Cloud 來源

如要瞭解如何使用 Cloud Source Repositories 設定 Git,請參閱社群貼文「在 Looker 中使用 Cloud Source Repositories 進行版本管控」。

Bitbucket Cloud

如要瞭解如何使用 Bitbucket Cloud 設定 Git,請參閱社群貼文「在 Looker 中使用 Bitbucket 進行版本管控」。自 2021 年 8 月起,Bitbucket Cloud 不支援部署 Webhook 的 Secret。

Bitbucket Server

如要搭配 Bitbucket Server 使用提取要求,您可能需要完成下列步驟:

  1. 開啟提取要求時,Looker 會自動在網址中使用預設通訊埠編號 (7999)。如果您使用的是自訂通訊埠編號,則必須手動更換網址中的通訊埠編號。
  2. 您必須觸發專案的部署 Webhook,才能將 Looker 中的正式環境分支版本與存放區的主要分支版本同步。

Phabricator diffusion

如要瞭解如何使用 Phabricator 設定 Git,請參閱社群貼文「設定 Phabricator 和 Looker 進行版本管控」。

網路

傳入連線

Looker 網頁應用程式

根據預設,Looker 會在通訊埠 9999 監聽 HTTPS 要求。Looker 使用 CN 為 self-signed.looker.com 的自行簽署憑證。Looker 伺服器也可以設定為執行下列操作:

  1. 使用 --ssl-provided-externally-by=<s> 啟動旗標,接受來自 SSL 終止負載平衡器/Proxy 的 HTTP 連線。這個值應設為 Proxy 的 IP 位址,或可於本機解析為 Proxy IP 位址的主機名稱。Looker 只會接受來自這個 IP 位址的 HTTP 連線。
  2. 使用客戶提供的 SSL 憑證,並搭配 --ssl-keystore=<s> 啟動旗標。

Looker API

Looker API 會監聽通訊埠 19999。如果安裝作業需要存取 API,負載平衡器應具備必要的轉送規則。SSL 考量事項與主要網頁應用程式相同。建議使用與網頁應用程式不同的通訊埠。

負載平衡器

負載平衡器通常用於在通訊埠 443 接受使用客戶憑證的 HTTPS 要求,然後使用自行簽署的憑證或 HTTP,將要求轉送至通訊埠 9999 的 Looker 伺服器節點。如果負載平衡器使用 Looker 自行簽署的憑證,則必須設定為接受該憑證。

閒置連線和逾時

使用者在 Looker 啟動大型要求時,可能會產生在資料庫執行成本過高的查詢。如果使用者以任何方式放棄該要求 (例如關上筆電、中斷網路連線或關閉瀏覽器分頁),Looker 會希望得知並終止該資料庫查詢。

為處理這種情況,當用戶端網頁應用程式要求執行資料庫查詢時,瀏覽器會使用長期 HTTP 要求,開啟與 Looker 伺服器的通訊端連線。這個連線會保持開啟和閒置狀態。如果用戶端網頁應用程式終止或中斷連線,這個通訊端就會中斷連線。伺服器會偵測到連線中斷,並取消所有相關的資料庫查詢。

負載平衡器通常會注意到這些開啟的閒置連線,並將其終止。為有效執行 Looker,負載平衡器必須設為允許這項連線保持開啟,時間長度應與使用者可能執行的最長查詢時間相同。建議將逾時時間設為至少 60 分鐘。

傳出連線

Looker 伺服器可以不受限制地傳出存取所有資源,包括公開網際網路。這可簡化許多工作,例如安裝 Chromium,因為這需要存取 Linux 發行版的 Package Repository。

以下是 Looker 可能需要建立的傳出連線。

內部資料庫連線

根據預設,MySQL 會監聽通訊埠 3306 上的連線。Looker 節點必須能透過這個通訊埠,啟動與 MySQL 的連線。視存放區的託管方式而定,您可能需要穿越防火牆。

外部服務

Looker 遙測和授權伺服器可透過公開網際網路上的 HTTPS 存取。從 Looker 節點傳送至 ping.looker.com:443 和 license.looker.com:443 的流量可能需要加入許可清單。

資料倉儲連結

雲端託管資料庫可能需要使用公開網際網路連線。舉例來說,如果您使用 BigQuery,可能需要將 accounts.google.com:443 和 www.googleapis.com:443 加入許可清單。如果資料庫位於您自己的基礎架構之外,請向資料庫主機諮詢網路詳細資料。

SMTP 服務

根據預設,Looker 會使用 SendGrid 傳送外寄郵件。這可能需要將 smtp.sendgrid.net:587 加入許可清單。您也可以在設定中變更 SMTP 設定,改用其他郵件處理常式。

Action Hub、動作伺服器和 Webhook

許多排程器目的地 (尤其是 Webhook 和在 Looker 管理面板中啟用的目的地) 都涉及使用 HTTPS 要求傳送資料。

  • 如果是 Webhook,這些目的地是由使用者在執行階段指定,可能與防火牆傳出連線的目標相反。
  • 如果是 Action Hub,這些要求會傳送至 actions.looker.com。詳情請參閱 Looker Action Hub 設定說明文件。
  • 如果是其他動作伺服器,這些要求會傳送至管理員在 Looker 管理面板 中,為動作伺服器設定指定的網域。

Proxy 伺服器

如果無法直接連上公開網際網路,可以將類似下列的程式碼行新增至 lookerstart.cfg,將 Looker 設為使用 Proxy 伺服器處理 HTTP(S) 要求:

JAVAARGS="-Dhttp.proxyHost=myproxy.example.com
  -Dhttp.proxyPort=8080
  -Dhttp.nonProxyHosts=127.0.0.1|localhost
  -Dhttps.proxyHost=myproxy.example.com
  -Dhttps.proxyPort=8080"

請注意,節點間通訊是透過 HTTPS 進行,因此如果您使用 Proxy 伺服器,且執行個體已叢集化,通常會想將叢集中所有節點的 IP/主機名稱新增至 Dhttp.nonProxyHosts 引數。

節點間通訊

內部主機 ID

在叢集內,每個節點都必須能與其他節點通訊。為此,每個節點的主機名稱或 IP 位址都會在啟動設定中指定。節點啟動時,這個值會寫入 MySQL 存放區。叢集的其他成員可以參照這些值,與這個節點通訊。如要在啟動設定中指定主機名稱或 IP 位址,請將 -H node1.looker.example.com 新增至 lookerstart.cfg 中的 LOOKERARGS 環境變數。

由於每個節點的主機名稱不得重複,因此每個執行個體的 lookerstart.cfg 檔案也必須不重複。除了對主機名稱或 IP 位址進行硬式編碼,您也可以使用 hostname -I 或 hostname --fqdn 指令,在執行階段找出這些資訊。如要實作,請在 lookerstart.cfg 的 LOOKERARGS 環境變數中新增 -H $(hostname -I) 或 -H $(hostname --fqdn)。

內部通訊埠

除了分別用於網頁和 API 伺服器的通訊埠 9999 和 19999 之外,叢集節點也會透過訊息代理程式服務互相通訊,該服務使用通訊埠 1551 和 61616。通訊埠 9999 和 19999 必須開放使用者流量,但 1551 和 61616 必須在叢集節點之間開放。