客户托管型架构解决方案:组件演示

本页面探讨了 Looker 架构中特定组件的常见做法,并介绍了如何在部署中配置这些组件。

Looker 有许多依赖项,用于托管服务器、处理临时和计划内的工作负载、跟踪迭代模型开发等。此类依赖项在本页面中称为组件,以下各部分将详细介绍每个组件:

主机配置

操作系统和发行版

Looker 在最常见的 Linux 版本(RedHat、SUSE 和 Debian/Ubuntu)上运行良好。这些发行版的衍生版本(旨在在特定环境中运行并针对特定环境进行了优化)通常可以正常运行。例如, Google Cloud 或 AWS Linux 发行版与 Looker 兼容。Debian/Ubuntu 是 Looker 社区中使用最广泛的 Linux 变体,也是 Looker 支持团队最熟悉的版本。最简单的方法是使用 Debian/Ubuntu 或特定云服务提供商提供的基于 Debian/Ubuntu 的操作系统。

Looker 在 Java 虚拟机 (JVM) 中运行。选择发行版时,请考虑 OpenJDK 11 的版本是否为最新版本。较旧的 Linux 发行版可能能够运行 Looker,但 Looker 针对特定功能所需的 Java 版本和库必须是最新的。如果 JVM 未包含所有推荐的 Looker 库和版本,Looker 将无法正常运行。Looker 需要 Java HotSpot 1.8 更新 161+ 或 Java OpenJDK 11.0.12+。

CPU 和内存

4x16(4 个 CPU 和 16 GB RAM)节点足以满足小型团队使用的开发系统或基本测试 Looker 实例的需求。不过,对于生产环境,这通常是不够的。根据我们的经验,16x64 节点(16 个 CPU 和 64 GB RAM)在价格和性能之间取得了良好的平衡。超过 64 GB 的 RAM 可能会影响性能,因为垃圾回收事件是单线程的,会停止所有其他线程来执行。

磁盘存储

100 GB 的磁盘可用空间通常足以满足生产系统的需求。

集群注意事项

Looker 在 Java JVM 上运行,而 Java 可能难以管理超过 64 GB 的内存。一般来说,如果需要更多容量,您应该向集群添加额外的 16x64 节点,而不是将节点大小增加到 16x64 以上。我们可能还希望使用集群架构来提高可用性。

在集群中,Looker 节点需要共享文件系统的某些部分。共享的数据包括:

  • LookML 模型
  • 开发者 LookML 模型
  • Git 服务器连接

由于文件系统是共享的,并且托管了多个 Git 仓库,因此并发访问和文件锁定的处理至关重要。文件系统必须符合 POSIX 标准。网络文件系统 (NFS) 已经过验证,可正常运行,并且在 Linux 中随时可用。您应该再创建一个 Linux 实例,并配置 NFS 来共享磁盘。默认 NFS 可能是单点故障,因此请考虑故障切换设置或高可用性设置。

Looker 元数据也需要集中管理,因此其内部数据库必须迁移到 MySQL。这可以是 MySQL 服务,也可以是专用 MySQL 部署。本页上的内部(后端)数据库部分对此进行了更详细的介绍。

JVM 配置

Looker JVM 设置在 Looker 启动脚本中定义。进行任何更新后,都必须重启 Looker 才能使更改生效。默认配置如下:

java \
  -XX:+UseG1GC -XX:MaxGCPauseMillis=2000 \
  -Xms$JAVAMEM -Xmx$JAVAMEM \
  -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps \
  -Xloggc:/tmp/gc.log ${JAVAARGS} \
  -jar looker.jar start ${LOOKERARGS}

资源

资源设置在 Looker 启动脚本中定义。

JAVAMEM="2300m"
METAMEM="800m"

JVM 的内存分配需要考虑 Looker 运行所在的操作系统开销。一般经验法则是,JVM 最多可以分配总内存的 60%,但根据机器大小,有一些注意事项。对于总内存仅为 8 GB 的机器,我们建议为 Java 分配 4-5 GB,为 Meta 分配 800 MB。对于较大的机器,可以为操作系统分配较低比例的内存。例如,对于总内存为 60 GB 的机器,我们建议为 Java 分配 36 GB,为 Meta 分配 1 GB。请务必注意,Java 的内存分配通常应根据机器的总内存进行扩缩,但 Meta 应该有 1 GB 的内存就足够了。

此外,由于 Looker 会与 Chromium 等其他进程共享系统资源以进行渲染,因此应根据预期的渲染负载和机器大小来选择分配给 Java 的内存量。如果预计渲染负载较低,则可以为 Java 分配更大比例的总内存。例如,在总内存为 60 GB 的机器上,可以安全地为 Java 分配 46 GB 内存,这高于通常建议的 60%。适合每个部署的确切资源分配各不相同,因此请以 60% 为基准,并根据使用情况进行调整。

垃圾回收

Looker 倾向于使用其 Java 版本可用的最新垃圾回收器。默认情况下,垃圾回收超时时间为 2 秒,但可以通过在启动配置中修改以下选项来更改此设置:

-XX:MaxGCPauseMillis=2000

在具有多个核心的大型机器上,垃圾回收超时时间可能会缩短。

日志

默认情况下,Looker 垃圾回收日志存储在 /tmp/gc.log 中。您可以通过在启动配置中修改以下选项来更改此设置:

-Xloggc:/tmp/gc.log

JMX

管理 Looker 可能需要进行监控,以帮助优化资源配置。我们建议使用 JMX 监控 JVM 内存用量。

Looker 启动选项

启动选项存储在名为 lookerstart.cfg 的文件中。此文件来源于启动 Looker 的 shell 脚本。

线程池

作为多线程应用,Looker 具有多个线程池。这些线程池涵盖从核心 Web 服务器到专用子服务(例如调度、渲染和外部数据库连接)的各个方面。根据您的业务工作流,这些池可能需要从默认配置进行修改。特别是,客户托管的基础设施架构模式和实践页面中提到的集群拓扑有特殊注意事项。

高调度吞吐量选项

对于所有非调度器节点,请将 --scheduler-threads=0 添加到 lookerstart.cfg 中的 LOOKERARGS 环境变量。如果没有调度器线程,这些节点上将不会运行任何计划作业。

对于所有专用调度器节点,请将 --scheduler-threads=<n> 添加到 lookerstart.cfg 中的 LOOKERARGS 环境变量。Looker 默认从 10 个调度器线程开始,但可以增加到 <n> 个。如果有 <n> 个调度器线程,每个节点将能够执行 <n> 个并发调度作业。通常建议将 <n> 保持在 CPU 数量的 2 倍以下。建议的最大主机是具有 16 个 CPU 和 64 GB 内存的主机,因此调度器线程的上限应小于 32。

高渲染吞吐量选项

对于所有非渲染节点,请将 --concurrent-render-jobs=0 添加到 lookerstart.cfg 中的 LOOKERARGS 环境变量。如果没有渲染器节点,这些节点上将不会运行任何渲染作业。

对于所有专用渲染节点,请将 --concurrent-render-jobs=<n> 添加到 lookerstart.cfg 中的 LOOKERARGS 环境变量。Looker 默认启动两个渲染线程,但可以增加到 <n> 个。如果有 <n> 个渲染线程,每个节点将能够执行 <n> 个并发渲染作业。

每个渲染作业都可能会占用大量内存。每个渲染作业的预算约为 2 GB。例如,如果为核心 Looker 进程 (Java) 分配了总内存的 60%,并为操作系统预留了剩余内存的 20%,那么最后 20% 的内存将用于渲染作业。在 64 GB 的机器上,还剩 12 GB,足以支持 6 个并发渲染作业。如果某个节点专用于渲染,并且未包含在处理交互式作业的负载均衡器池中,则可以减少核心 Looker 进程内存,以便允许更多渲染作业。在 64 GB 的机器上,可以为 Looker 核心进程分配大约 30% (20 GB) 的内存。预留 20% 供操作系统使用,剩余 50% (32 GB) 用于渲染,这足以支持 16 个并发渲染作业。

内部(后端)数据库

Looker 服务器在内部数据库中维护有关其自身配置、数据库连接、用户、群组和角色、文件夹、用户定义的 Look 和信息中心以及各种其他数据的信息。

对于中等规模的独立 Looker 实例,这些数据存储在 Looker 进程本身嵌入的内存中 HyperSQL 数据库中。此数据库的数据存储在 <looker install directory>/.db/looker.script 文件中。虽然该数据库方便且轻量,但在高负载下会出现性能问题。因此,我们建议您从远程 MySQL 数据库开始。如果这不可行,我们建议您在 ~/looker/.db/looker.script 文件达到 600 MB 后迁移到远程 MySQL 数据库。集群必须使用 MySQL 数据库。

Looker 服务器会对 MySQL 数据库进行许多小型读写操作。每次用户运行 Look 或探索时,Looker 都会检查数据库,以验证用户是否仍处于登录状态、用户是否有权访问数据、用户是否有权运行 Look 或探索等。Looker 还会将数据写入 MySQL 数据库,例如实际运行的 SQL 以及请求开始和结束的时间。用户与 Looker 应用之间的单次互动可能会导致对 MySQL 数据库进行 15 或 20 次小型读写操作。

MySQL

MySQL 服务器必须是 8.0.X 或 8.4.X 版本。从 Looker 26.6 开始支持 8.4.X 版,并且推荐使用该版本。将服务器配置为使用 utf8mb4 字符集、utf8mb4_general_ci 排序规则和 InnoDB 存储引擎。如需了解设置说明以及将数据从现有 HyperSQL 数据库迁移到 MySQL 的步骤,请参阅将 Looker 后端数据库迁移到 MySQL。

将 Looker 配置为使用 MySQL 时,必须创建一个包含连接信息的 YAML 文件。将 YAML 文件命名为 looker-db.yml,并在 lookerstart.cfg 文件的 LOOKERARGS 部分中添加设置 -d looker-db.yml。

MariaDB

MySQL 采用双重许可,既有开源版本,也有商业产品。Oracle 持续增强 MySQL,而 MySQL 的分支是 MariaDB。已知与 MySQL 等效的 MariaDB 版本可与 Looker 搭配使用,但它们并非由 Looker 工程团队开发或测试;因此,功能不受支持或无法保证。

云版本

如果您在云基础设施中托管 Looker,那么在同一云基础设施中托管 MySQL 数据库是合乎逻辑的。三大云供应商:Amazon AWS、Microsoft Azure 和 Google Cloud。云服务提供商负责管理 MySQL 数据库的大部分维护和配置工作,并提供帮助管理备份和提供快速恢复等服务。这些产品可与 Looker 完美搭配。

系统活动查询

MySQL 数据库用于存储有关用户如何使用 Looker 的信息。任何有权查看系统活动模型的 Looker 用户都可以访问多个预构建的 Looker 信息中心来分析这些数据。用户还可以访问 Looker 元数据的“探索”,以构建更多分析。MySQL 数据库主要用于小型、快速的“操作型”查询。系统活动模型生成的大型、缓慢的“分析”查询可能会与这些操作查询竞争,从而降低 Looker 的运行速度。此外,针对包含多年历史记录的大型元数据表的后台自动维护查询(密集清理)可能会消耗大量数据库 IOP,并影响整体性能。如需了解管理元数据表的最佳实践,请参阅后端数据库维护和元数据保留部分。

在这些情况下,MySQL 数据库可以复制到另一个数据库。自行管理的系统和某些云端管理的系统都提供向其他数据库复制的基本配置。配置复制不在本文档的讨论范围内。

如需将副本用于系统活动查询,您需要创建 looker-db.yml 文件的副本(例如,命名为 looker-usage-db.yml),将其修改为指向副本,然后将设置 --internal-analytics-connection-file looker-usage-db.yml 添加到 lookerstart.cfg 文件的 LOOKERARGS 部分。

系统活动查询可以针对 MySQL 实例或 Google BigQuery 数据库运行。它们不会针对其他数据库进行测试。

后端数据库维护和元数据保留

具有自行管理的后端数据库(例如 MySQL)的客户托管 Looker 实例会执行自动后台维护任务,包括对元数据表(例如查询历史记录表)进行密集清理。经过几年的使用,这些表可能会累积数百万条旧记录。在这些庞大的表上运行自动化清理流程可能会耗尽可用的每秒 IO 操作数 (IOP),并严重降低后端数据库性能,从而损害生产系统。

如果您的系统因正在进行清理而出现 IOPS 使用率较高的情况,您应让自动密集清理流程完成。为防止未来性能下降并将元数据表保持在合理大小,管理员应实施以下最佳实践:

  1. 减少元数据保留:通过将 Looker **管理** 面板中的提取历史记录保留天数参数减少到 90 天或更短,来限制这些表的大小。
  2. 执行物理维护:手动清理最大表(例如查询历史记录表)的记录,然后执行 MySQL OPTIMIZE TABLE 命令,以回收物理磁盘可用空间并重新构建表索引。
  3. 验证内存配置:验证数据库内存配置(例如 InnoDB 缓冲池)是否足以处理密集型查询。高度活跃的集群可能需要调整 innodb_buffer_pool_size(请参阅本页面后面的 MySQL 性能配置部分)。

MySQL 性能配置

除了将 Looker 后端数据库迁移到 MySQL 所需的设置之外,高度活跃的集群可能还需要进行额外的调整和配置。这些设置可以在 /etc/my.cnf 文件中进行,也可以通过 Google Cloud 控制台针对云管理实例进行。

my.cnf 配置文件分为多个部分。本部分中讨论的以下设置更改是在 [mysqld] 部分中进行的。

设置 InnoDB 缓冲池大小

InnoDB 缓冲池大小是用于在内存中存储 InnoDB 数据文件状态的总 RAM。如果服务器专用于运行 MySQL,则 innodb_buffer_pool_size 应设置为系统总内存的 50%-70%。

如果数据库的总大小较小,则可以将 InnoDB 缓冲池设置为数据库的大小,而不是内存的 50% 或更多。

在此示例中,服务器有 64 GB 内存;因此,InnoDB 缓冲池应介于 32 GB 到 45 GB 之间。通常,尺寸越大越好。

[mysqld]
...
innodb_buffer_pool_size=45G

设置 InnoDB 缓冲池实例

当多个线程尝试搜索大型缓冲池时,它们可能会发生争用。为防止出现这种情况,缓冲池被划分为较小的单元,这些单元可由不同的线程访问,而不会发生冲突。默认情况下,缓冲池分为 8 个实例。这可能会造成 8 线程瓶颈。增加缓冲池实例的数量可降低出现瓶颈的可能性。应设置 innodb_buffer_pool_instances,以便每个缓冲池至少获得 1 GB 的内存。

[mysqld]
...
innodb_buffer_pool_instances=32

优化 InnoDB 日志文件

提交事务后,数据库可以选择更新实际文件中的数据,也可以在日志中保存有关事务的详细信息。如果数据库在数据文件更新之前崩溃,则可以“重放”日志文件以应用更改。写入日志文件是一项小型附加操作。在提交时附加到日志,然后批量处理对数据文件的多项更改,并在单个 IO 操作中写入这些更改,这样效率很高。当日志文件填满时,数据库必须暂停处理新事务,并将所有更改的数据写回磁盘。

一般来说,InnoDB 日志文件应足够大,能够容纳 1 小时的事务。

通常有两个 InnoDB 日志文件。它们应约为 InnoDB 缓冲区池的 25%。对于具有 32 GB 缓冲池的示例数据库,InnoDB 日志文件总大小应为 8 GB,即每个文件 4 GB。

[mysqld]
...
innodb_log_file_size=8GB

配置 InnoDB IO 容量

MySQL 会限制将写入操作记录到磁盘的速度,以免服务器过载。对于大多数服务器,默认值都较为保守。为获得最佳性能,请使用 sysbench 实用程序测量数据磁盘的随机写入速度,然后使用该值配置 IO 容量,以便 MySQL 更快地写入数据。

在云托管系统上,云供应商应该能够报告用于数据存储的磁盘的性能。对于自托管式 MySQL 服务器,请以每秒 IO 操作数 (IOPS) 为单位,测量对数据磁盘进行随机写入的速度。Linux 实用程序 sysbench 是衡量此指标的一种方法。将该值用于 innodb_io_capacity_max,并将该值的一半到四分之三用于 innodb_io_capacity。因此,在以下示例中,如果我们测得 800 IOPS,就会看到这些值。

[mysqld]
...
innodb_io_capacity=500
innodb_io_capacity_max=800

配置 InnoDB 线程

MySQL 会为每个正在提供服务的客户端打开至少一个线程。如果许多客户端同时连接,则可能会导致处理大量线程。这可能会导致系统在交换上花费的时间多于处理时间。

应通过基准测试来确定理想的线程数。如需进行测试,请将线程数设置为介于系统上的 CPU(或 CPU 核心)数量和 CPU 数量的 4 倍之间。对于 16 核系统,此值可能介于 16 到 64 之间。

[mysqld]
...
innodb_thread_concurrency=32

事务持久性

事务值为 1 会强制 MySQL 为每个事务写入磁盘。如果服务器崩溃,事务不会丢失,但数据库性能会受到影响。将此值设置为 0 或 2 可以提高性能,但代价是可能会丢失几秒钟的数据事务。

[mysqld]
...
innodb_flush_log_at_trx_commit=1

设置刷新方法

操作系统通常会对写入磁盘的数据进行缓冲。由于 MySQL 和操作系统都在进行缓冲,因此会影响性能。减少刷新方法的一层缓冲可以提高性能。

[mysqld]
...
innodb_flush_method=O_DIRECT

启用每个表一个文件

默认情况下,MySQL 会将单个数据文件用于所有数据。innodb_file_per_table 设置会为每个表创建一个单独的文件,从而提高性能并改进数据管理。

[mysqld]
...
innodb_file_per_table=ON

停用元数据统计信息

此设置会停用对内部元数据表的统计信息收集,从而提高读取性能。

[mysqld]
...
innodb_stats_on_metadata=OFF

停用查询缓存

查询缓存已弃用,因此将 query_cache_size 和 query_cache_type 设置为 0 会停用它。

[mysqld]
...
query_cache_size=0
query_cache_type=0

扩大联接缓冲区

join_buffer 用于在内存中执行联接。提高此值可以改进某些操作。

[mysqld]
...
join_buffer_size=512KB

增大临时表和最大堆大小

tmp_table_size 和 max_heap_table_size 为临时内存表设置了合理的默认值,然后才强制将其写入磁盘。

[mysqld
...
tmp_table_size=32MB
max_heap_table_size=32MB

调整表打开缓存

table_open_cache 设置决定了用于保存打开表的文件描述符的缓存大小。table_open_cache_instances 设置会将缓存拆分为多个较小的部分。table_open_cache 中可能存在线程争用,因此将其划分为较小的部分有助于提高并发性。

[mysqld]
...
table_open_cache=2048
table_open_cache_instances=16

Git 服务

Looker 旨在与 Git 服务搭配使用,以提供 LookML 文件的版本管理。支持主流 Git 托管服务,包括 GitHub、GitLab 和 Bitbucket。Git 服务提供商还提供其他增值服务,例如用于查看代码更改的 GUI,以及对拉取请求和更改审批等工作流的支持。如果需要,Git 可以在普通 Linux 服务器上运行。

如果 Git 托管服务因安全规则而不适合您的部署,许多此类服务提供商会提供可在您自己的环境中运行的版本。尤其是 GitLab,通常是自托管的,可以作为开源产品使用,无需支付许可费用,也可以作为受支持的许可产品使用。GitHub Enterprise 是一项自托管服务,也是一款受支持的商业产品。

以下部分列出了最常见服务提供商的细微差别。

GitHub/GitHub Enterprise

设置并测试 Git 连接文档页面以 GitHub 为例。

GitLab/gitlab.com

如需了解 GitLab 的详细设置步骤,请参阅 Looker 社区帖子:在 Looker 中使用 GitLab 进行版本控制。如果您的代码库包含在子群组中,则可以使用 HTTPS 或 SSH 格式将这些子群组添加到代码库网址中:

https://gitlab.com/accountname/subgroup/reponame

git@gitlab.com:accountname/subgroup/reponame.git

此外,您可以通过三种不同的方式在 GitLab 中存储 Looker 生成的 SSH 密钥:作为用户 SSH 密钥、作为代码库部署密钥或作为全局共享部署密钥。如需更深入的说明,请参阅 GitLab 文档。

Google Cloud 来源

如需了解如何使用 Cloud Source Repositories 设置 Git,请参阅在 Looker 中使用 Cloud Source Repositories 进行版本控制社区帖子。

Bitbucket Cloud

如需了解如何使用 Bitbucket Cloud 设置 Git,请参阅在 Looker 中使用 Bitbucket 进行版本控制社区帖子。自 2021 年 8 月起,Bitbucket Cloud 不支持部署 Webhook 上的 Secret。

Bitbucket Server

如需将拉取请求与 Bitbucket Server 搭配使用,您可能需要完成以下步骤:

  1. 当您打开拉取请求时,Looker 会自动在网址中使用默认端口号 (7999)。如果您使用的是自定义端口号,则需要手动替换网址中的端口号。
  2. 您需要点击项目的部署 webhook,将 Looker 中的生产分支与代码库的主分支同步。

Phabricator diffusion

如需了解如何使用 Phabricator 设置 Git,请参阅设置 Phabricator 和 Looker 以进行版本控制社区帖子。

网络

入站连接

Looker Web 应用

默认情况下,Looker 会在端口 9999 上监听 HTTPS 请求。Looker 使用 CN 为 self-signed.looker.com 的自签名证书。或者,也可以将 Looker 服务器配置为执行以下操作:

  1. 使用 --ssl-provided-externally-by=<s> 启动标志接受来自 SSL 终止负载均衡器/代理的 HTTP 连接。该值应设置为代理的 IP 地址,或设置为可在本地解析为代理 IP 地址的主机名。Looker 将仅接受来自此 IP 地址的 HTTP 连接。
  2. 使用客户提供的 SSL 证书,并带有 --ssl-keystore=<s> 启动标志。

Looker API

Looker API 监听端口 19999。如果安装需要访问 API,则负载均衡器应具有必要的转发规则。SSL 注意事项与主 Web 应用相同。我们建议使用与 Web 应用不同的端口。

负载均衡器

负载均衡器通常用于在端口 443 上使用客户的证书接受 HTTPS 请求,然后使用自签名证书或 HTTP 将请求转发到端口 9999 上的 Looker 服务器节点。如果负载均衡器使用的是 Looker 自签名证书,则必须将其配置为接受该证书。

空闲连接和超时

当用户在 Looker 中发起大型请求时,可能会导致在数据库上运行成本高昂的查询。如果用户以任何方式放弃该请求(例如合上笔记本电脑、断开网络连接或关闭浏览器中的该标签页),Looker 会希望知道并终止该数据库查询。

为了应对这种情况,当客户端 Web 应用发出运行数据库查询的请求时,浏览器会使用对 Looker 服务器的长效 HTTP 请求打开套接字连接。此连接将保持打开和空闲状态。如果客户端 Web 应用被终止或以任何方式断开连接,此套接字也将断开连接。服务器会检测到断开连接,并取消所有相关的数据库查询。

负载均衡器通常会注意到这些打开的空闲连接并将其终止。为了有效运行 Looker,必须将负载均衡器配置为允许此连接保持打开状态,直到用户可能运行的最长查询完成。建议将超时时间设置为至少 60 分钟。

出站连接

Looker 服务器可以对所有资源(包括公共互联网)进行不受限制的出站访问。这简化了许多任务,例如安装 Chromium,该任务需要访问 Linux 发行版的 Package Repository。

以下是 Looker 可能需要建立的出站连接。

内部数据库连接

默认情况下,MySQL 会监听端口 3306 上的连接。Looker 节点必须能够通过此端口发起与 MySQL 的连接。您可能需要穿过防火墙,具体取决于代码库的托管方式。

外部服务

Looker 遥测和许可服务器可通过公共互联网上的 HTTPS 访问。可能需要将从 Looker 节点到 ping.looker.com:443 和 license.looker.com:443 的流量添加到许可清单中。

数据仓库连接

云托管数据库可能需要使用公共互联网进行连接。例如,如果您使用的是 BigQuery,则可能需要将 accounts.google.com:443 和 www.googleapis.com:443 添加到许可清单中。如果数据库位于您自己的基础架构之外,请咨询您的数据库主机,了解网络详细信息。

SMTP 服务

默认情况下,Looker 使用 SendGrid 发送外发邮件。这可能需要将 smtp.sendgrid.net:587 添加到许可清单中。您也可以在配置中更改 SMTP 设置,以使用其他邮件处理程序。

Action Hub、操作服务器和 webhook

许多计划任务目标位置(尤其是网络钩子和在 Looker 管理控制台中启用的目标位置)都涉及使用 HTTPS 请求发送数据。

  • 对于网络钩子,这些目的地由用户在运行时指定,可能与防火墙出站连接的目标相反。
  • 对于 Action Hub,这些请求会发送到 actions.looker.com。如需了解详情,请参阅我们的 Looker Action Hub 配置文档。
  • 对于其他操作服务器,这些请求会发送到管理员在 Looker 管理控制台中为操作服务器配置指定的网域。

代理服务器

如果无法直接访问公共互联网,可以将 Looker 配置为使用代理服务器处理 HTTP(S) 请求,方法是在 lookerstart.cfg 中添加如下一行代码:

JAVAARGS="-Dhttp.proxyHost=myproxy.example.com
  -Dhttp.proxyPort=8080
  -Dhttp.nonProxyHosts=127.0.0.1|localhost
  -Dhttps.proxyHost=myproxy.example.com
  -Dhttps.proxyPort=8080"

请注意,节点间通信通过 HTTPS 进行,因此,如果您使用代理服务器并且实例已集群化,通常需要将集群中所有节点的 IP/主机名添加到 Dhttp.nonProxyHosts 实参。

节点间通信

内部主机标识符

在集群中,每个节点都必须能够与其他节点通信。为此,每个节点的主机名或 IP 地址都会在启动配置中指定。节点启动时,此值将写入 MySQL 代码库。然后,集群的其他成员可以引用这些值来与此节点通信。如需在启动配置中指定主机名或 IP 地址,请将 -H node1.looker.example.com 添加到 lookerstart.cfg 中的 LOOKERARGS 环境变量。

由于每个节点的主机名必须是唯一的,因此每个实例上的 lookerstart.cfg 文件也必须是唯一的。除了对主机名或 IP 地址进行硬编码之外,还可以使用 hostname -I 或 hostname --fqdn 命令在运行时查找这些信息。如需实现此目的,请将 -H $(hostname -I) 或 -H $(hostname --fqdn) 添加到 lookerstart.cfg 中的 LOOKERARGS 环境变量。

内部端口

除了分别用于 Web 服务器和 API 服务器的端口 9999 和 19999 之外,集群节点还将通过消息代理服务相互通信,该服务使用端口 1551 和 61616。端口 9999 和 19999 必须对最终用户流量开放,但 1551 和 61616 必须在集群节点之间开放。