在 Looker (Google Cloud Core) 中运行交互式查询时,该查询可能会在“探索”界面或信息中心内无限期运行。不过,后端数据库日志表明,查询在 20 到 30 秒后被明确取消。
本页面介绍了发生此行为的原因,以及如何通过调整中间网络基础设施的超时设置来解决此问题。本指南适用于在 Looker (Google Cloud Core) 中管理网络路由和排查查询问题的管理员。
表现
在探索或信息中心内运行交互式查询时,您可能会遇到以下情况:
- Looker 界面:Looker 探索界面或信息中心图块无限期保持正在运行(旋转)状态,并且永远不会返回结果或显示错误。
- 后端数据库执行时间:在后端数据库(例如 BigQuery、Snowflake 或 PostgreSQL)中,查询会在短时间(通常为 20 到 30 秒)后取消。
- 后端数据库查询日志:后端数据库中的查询历史记录或审核日志表明,作业已被用户明确取消,即使您并未取消查询或关闭浏览器标签页。
原因
此问题是由于 Looker 的会话心跳机制与中间网络设备上配置的超时设置不匹配导致的,这些设备负责在浏览器和 Looker (Google Cloud Core)实例之间路由流量。
会话心跳和查询放弃机制
为了高效管理数据库资源用量,Looker (Google Cloud Core)会在查询执行期间通过以下机制监控客户端连接:
- 持续心跳:当您在 Looker 界面中运行交互式查询时,您的网络浏览器会保持活跃连接,并向 Looker (Google Cloud Core) 实例发送持续心跳信号,以保持查询会话处于活跃状态。
- 中间连接超时:如果中间网络设备(例如应用负载均衡器、企业反向代理、Web 应用防火墙 [WAF] 或 VPN 网关)的空闲或响应超时配置较短(例如,Google Cloud 应用负载均衡器的默认后端服务超时为 30 秒),则当查询运行时长超过该阈值时,设备会过早关闭或丢弃连接。
- 查询放弃检测:中间连接关闭后,Looker (Google Cloud Core)会停止接收来自浏览器的心跳信号。在大约 30 秒内没有收到心跳信号后,Looker (Google Cloud Core)会检测到客户端会话不再可访问,并将查询标识为已放弃。
- 数据库清理:为避免在没有用户等待的查询上消耗不必要的数据库计算资源,Looker (Google Cloud Core) 会自动向后端数据库发送取消请求。由于 Looker 代表运行查询的用户发出取消请求,因此数据库日志会记录该作业已被用户取消。
- 界面中无限期运行状态:由于中间代理或网关关闭了浏览器与 Looker (Google Cloud Core)之间的连接,因此浏览器永远不会收到取消状态或错误响应。因此,Looker 探索界面或信息中心图块会一直卡在正在运行状态。
找出问题
如需确定查询取消是否由中间网络超时引起,请按以下步骤操作:
- 检查数据库查询日志:在后端数据库中查看已取消查询的执行历史记录:
- 在 BigQuery 中,前往Google Cloud 控制台中的查询历史记录页面,或在 Google Cloud 控制台中查看项目的作业历史记录,然后找到失败的作业。查看作业详情,确认查询在大约 20 到 30 秒后被取消,并显示取消状态。
- 在 Snowflake 中,检查
QUERY_HISTORY视图或 Snowsight 中的历史记录标签页。检查查询状态是显示FAILED_WITH_ERROR,还是指示查询在大约 30 秒后被用户取消。 - 在 PostgreSQL 中,查看服务器日志,查找与查询时间戳匹配的消息(例如
canceling statement due to user request)。
- 验证查询时长:在数据库日志中,记下查询在取消之前的确切时长。如果查询始终在 30 秒左右(或在代理或负载均衡器上配置的超时限制左右)取消,则可能是中间网络超时触发了取消。
- 检查中间网络基础设施:确定用户浏览器与 Looker (Google Cloud Core)实例之间的网络路径中是否存在任何反向代理、负载均衡器或 VPN。
解决方法
如需解决此问题,请在所有在用户浏览器和 Looker (Google Cloud Core)实例之间路由流量的网络设备上增加空闲和响应超时设置。将超时限制设置为高于运行时间最长的交互式查询的预期时长。
增加应用负载均衡器后端服务超时
如果您的 Looker (Google Cloud Core) 实例前面有外部或内部应用负载均衡器,请按以下步骤操作:
在 Google Cloud 控制台中,前往负载均衡页面:
点击后端,然后点击与 Looker (Google Cloud Core) 实例关联的后端服务的名称。
点击修改。
在超时字段中,增加超时值。例如,根据预期的查询执行时间,将默认值从 30 秒更改为 300 秒(5 分钟)或更长。
点击保存。
增加代理、WAF 或 VPN 超时时间
如果您的用户通过企业正向代理、反向代理(例如 NGINX 或 Apache)、WAF 或 VPN 网关访问 Looker (Google Cloud Core),请按照以下步骤操作:
- 在代理或网关设置中找到连接、响应或空闲超时配置,例如:
- 在 NGINX 中,增加
proxy_read_timeout和proxy_send_timeout指令。 - 在 Apache 中,增加
TimeOut或ProxyTimeout指令。 - 在企业 VPN 或防火墙网关中,增加流向 Looker (Google Cloud Core) 网域的 HTTPS 流量的 TCP 会话空闲超时。
- 在 NGINX 中,增加
- 允许通过代理建立长效 HTTP 和 WebSocket 连接,以便浏览器心跳信号不间断地到达 Looker (Google Cloud Core)。
- 应用配置更改,然后重启或重新加载代理服务。
验证解决方案
在负载均衡器或中间代理上增加超时设置后,请按照以下步骤验证查询是否成功完成:
- 在 Looker (Google Cloud Core) 中,前往之前取消过查询的“探索”或信息中心。
- 运行之前失败的查询。
- 验证查询是否在超过之前的超时阈值(例如 30 秒)后继续执行,而未被取消,并在界面中显示结果。
- (可选)检查后端数据库查询日志,确认作业已成功完成,且没有用户取消状态。
相关资源
- 排查 Looker (Google Cloud Core) 网络问题:504 超时错误
- 查看 Looker (Google Cloud Core) 的实例日志
- 获取 Looker (Google Cloud Core) 支持