Looker(Google Cloud コア)で予期しないクエリのキャンセルをトラブルシューティングする

Looker(Google Cloud コア)でインタラクティブ クエリを実行すると、Explore UI またはダッシュボードでクエリが無限に実行されているように見えることがあります。ただし、バックエンド データベースのログは、クエリが 20 ~ 30 秒後に明示的にキャンセルされたことを示しています。

このページでは、この動作が発生する理由と、中間ネットワーク インフラストラクチャのタイムアウト設定を調整してこの問題を解決する方法について説明します。このガイドは、Looker(Google Cloud コア)でネットワーク ルーティングを管理し、クエリのトラブルシューティングを行う管理者を対象としています。

現象

Explore またはダッシュボードでインタラクティブ クエリを実行すると、次の症状が発生することがあります。

  • Looker ユーザー インターフェース: Looker Explore UI またはダッシュボード タイルが実行中(回転)状態のままになり、結果が返されないか、エラーが表示されます。
  • バックエンド データベースの実行時間: バックエンド データベース(BigQuery、Snowflake、PostgreSQL など)では、クエリは短時間(通常は 20 ~ 30 秒)でキャンセルされます。
  • バックエンド データベースのクエリログ: バックエンド データベースのクエリ履歴または監査ログに、クエリをキャンセルしたり、ブラウザタブを閉じたりしていないにもかかわらず、ジョブがユーザーによって明示的にキャンセルされたことが示されます。

原因

この問題は、Looker のセッション ハートビート メカニズムと、ブラウザと Looker(Google Cloud コア)インスタンス間のトラフィックをルーティングする中間ネットワーク デバイスで構成されたタイムアウト設定が一致しないために発生します。

セッション ハートビートとクエリ放棄メカニズム

データベース リソースの使用量を効率的に管理するため、Looker(Google Cloud コア)は、次のメカニズムを使用してクエリの実行中にクライアント接続をモニタリングします。

  • 継続的なハートビート: Looker UI でインタラクティブ クエリを実行すると、ウェブブラウザはアクティブな接続を維持し、Looker(Google Cloud コア)インスタンスに継続的なハートビート信号を送信して、クエリ セッションをアクティブに保ちます。
  • 中間接続タイムアウト: アプリケーション ロードバランサ、企業のリバース プロキシ、ウェブ アプリケーション ファイアウォール(WAF)、VPN ゲートウェイなどの中間ネットワーク デバイスに、短いアイドル タイムアウトまたはレスポンス タイムアウトが構成されている場合(たとえば、Google Cloud アプリケーション ロードバランサのデフォルトの 30 秒のバックエンド サービス タイムアウト)、クエリの実行時間がそのしきい値を超えると、デバイスは接続を早期に閉じるか、切断します。
  • クエリの放棄の検出: 中間接続が閉じられると、Looker(Google Cloud コア)はブラウザからのハートビート信号の受信を停止します。ハートビート信号がない状態で約 30 秒が経過すると、Looker(Google Cloud コア)はクライアント セッションに到達できなくなったことを検出し、クエリを放棄されたものとして識別します。
  • データベースのクリーンアップ: ユーザーが待機していないクエリで不要なデータベース コンピューティング リソースを消費しないように、Looker(Google Cloud コア)はバックエンド データベースにキャンセル リクエストを自動的に送信します。Looker はクエリを実行したユーザーに代わってキャンセルを発行するため、データベース ログには、ジョブがユーザーによってキャンセルされたことが記録されます。
  • UI での無期限の実行状態: 中間プロキシまたはゲートウェイがブラウザと Looker(Google Cloud コア)間の接続を閉じたため、ブラウザはキャンセル ステータスまたはエラー レスポンスを受信しません。その結果、Looker Explore UI またはダッシュボード タイルが [実行中] 状態のままになります。

事象を特定する

クエリのキャンセルが中間ネットワーク タイムアウトによって発生しているかどうかを判断するには、次の手順に沿って操作します。

  1. データベース クエリログを確認する: キャンセルされたクエリのバックエンド データベースの実行履歴を確認します。
    • BigQuery で、Google Cloud コンソールの [クエリ履歴] ページに移動するか、 Google Cloud コンソールでプロジェクトのジョブ履歴を確認して、失敗したジョブを見つけます。ジョブの詳細を確認して、約 20 ~ 30 秒後にクエリがキャンセルされ、キャンセル ステータスになっていることを確認します。
    • Snowflake で、QUERY_HISTORY ビューまたは Snowsight の [履歴] タブを調べます。クエリのステータスが FAILED_WITH_ERROR と表示されているか、約 30 秒後にユーザーによってクエリがキャンセルされたことを示しているかを確認します。
    • PostgreSQL で、クエリのタイムスタンプと一致する canceling statement due to user request などのメッセージがサーバーログにないか確認します。
  2. クエリの実行時間を確認する: データベース ログで、キャンセルされる前のクエリの正確な実行時間をメモします。クエリが 30 秒前後(またはプロキシまたはロードバランサで構成されているタイムアウト制限前後)で一貫してキャンセルされる場合は、中間ネットワーク タイムアウトがキャンセルをトリガーした可能性があります。
  3. 中間ネットワーク インフラストラクチャを確認する: ユーザーのブラウザと Looker(Google Cloud コア)インスタンス間のネットワーク パスにあるリバース プロキシ、ロードバランサ、VPN を特定します。

解決策

この問題を解決するには、ユーザーのブラウザと Looker(Google Cloud コア)インスタンス間でトラフィックをルーティングするすべてのネットワーク デバイスで、アイドル タイムアウトとレスポンス タイムアウトの設定を増やします。タイムアウトの上限を、最も長時間実行されるインタラクティブ クエリの予想される実行時間よりも長く設定します。

アプリケーション ロードバランサのバックエンド サービスのタイムアウトを増やす

Looker(Google Cloud コア)インスタンスの前に外部または内部のアプリケーション ロードバランサがある場合は、次の手順を行います。

  1. Google Cloud コンソールで、[ロード バランシング] ページに移動します。

    [ロード バランシング] に移動

  2. [バックエンド] をクリックし、Looker(Google Cloud コア)インスタンスに関連付けられているバックエンド サービスの名前をクリックします。

  3. [編集] をクリックします。

  4. [タイムアウト] フィールドで、タイムアウト値を増やします。たとえば、予想されるクエリ実行時間に応じて、デフォルト値を 30 秒から 300 秒(5 分)以上に変更します。

  5. [保存] をクリックします。

プロキシ、WAF、VPN のタイムアウトを増やす

ユーザーが企業のフォワード プロキシ、リバース プロキシ(NGINX や Apache など)、WAF、VPN ゲートウェイを介して Looker(Google Cloud コア)にアクセスする場合は、次の操作を行います。

  1. プロキシまたはゲートウェイの設定で、接続、レスポンス、アイドル タイムアウトの構成を見つけます。次に例を示します。
    • NGINX で、proxy_read_timeout ディレクティブと proxy_send_timeout ディレクティブを増やします。
    • Apache で、TimeOut ディレクティブまたは ProxyTimeout ディレクティブを増やします。
    • 企業の VPN またはファイアウォール ゲートウェイで、Looker(Google Cloud コア)ドメインへの HTTPS トラフィックの TCP セッション アイドル タイムアウトを増やします。
  2. ブラウザのハートビート信号が中断されることなく Looker(Google Cloud コア)に到達するように、プロキシを介した有効期間の長い HTTP 接続と WebSocket 接続を許可します。
  3. 構成の変更を適用し、プロキシ サービスを再起動または再読み込みします。

解決方法を検証する

ロードバランサまたは中間プロキシのタイムアウト設定を増やしたら、次の手順でクエリが正常に完了することを確認します。

  1. Looker(Google Cloud コア)で、以前にクエリがキャンセルされた Explore またはダッシュボードに移動します。
  2. 以前に失敗したクエリを実行します。
  3. クエリが以前のタイムアウトしきい値(30 秒など)を超えて実行され、キャンセルされずに UI に結果が表示されることを確認します。
  4. 必要に応じて、バックエンド データベースのクエリログを確認し、ユーザーのキャンセル ステータスなしでジョブが正常に完了したことを確認します。