「Managed Service for Apache Spark」は、以前は「Compute Engine 上の Dataproc」（クラスタデプロイ）と「Apache Spark 用 Google Cloud Serverless」（サーバーレスデプロイ）と呼ばれていたプロダクトの新しい名前です。

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

クラスタウェブインターフェース

セキュリティ脆弱性を回避してください。

公開ネットワーク上に開いているポートがあり、ファイアウォールルールの構成が適切でない場合は、不正なユーザーが任意のコードを実行できる可能性があります。^*

サブネットファイアウォールルールのソース IP 範囲の指定をご覧ください。

SSH トンネルを作成して、クラスタのマスターインスタンスへの安全な接続を確立してください。

Apache Hadoop YARN は、YARN ウェブインターフェース（デフォルトポート 8088）と同じポートを共有する REST API を提供します。デフォルトでは、YARN ウェブインターフェースにアクセスできるユーザーは、アプリケーションの作成やジョブの送信、場合によっては Cloud Storage オペレーションも実行できます。使用可能な YARN Resource Manager REST API メソッドの設定に関する情報については、使用可能な YARN Resource Manager REST API をご覧ください。

Managed Service for Apache Spark クラスタに付属しているコアオープンソースコンポーネントの中には、Apache Hadoop や Apache Sparkのように、ウェブインターフェースを備えているものがあります。こうしたインターフェースを使用すると、YARN リソースマネージャー、Hadoop Distributed File System（HDFS）、MapReduce、Spark などのクラスタリソースと機能を管理およびモニタリングできます。クラスタにインストールするその他のコンポーネントまたはアプリケーションの中にも、ウェブインターフェースを提供するものがあります（たとえば、 Managed Service for Apache Spark クラスタで Jupyter ノートブックをインストールして実行するをご覧ください）。

コンポーネントゲートウェイを使用して、コアおよびオプションのコンポーネントウェブインターフェースに接続します。Managed Service for Apache Spark イメージバージョン 1.3.29 以降で作成されたクラスタは、コンポーネントウェブインターフェース（YARN、HDFS、Jupyter、Zeppelin UI など）をインストールして使用できます。その際、SSH トンネルを使用する必要はありません。インバウンドトラフィックを許可するようにファイアウォールルールを変更する必要もありません。詳細については、 Managed Service for Apache Spark コンポーネントゲートウェイをご覧ください。

Dataproc クラスタのマスターノードで SSH セッションを開くには、**Dataproc クラスタに SSH で接続する** をご覧ください。

使用可能なインターフェース

Managed Service for Apache Spark クラスタマスターノードでは、次のインターフェースを使用できます（master-host-name は使用しているマスターノードの名前に置き換えます）。

クラスタの master-host-name は、 Managed Service for Apache Spark クラスタ名の後に -m 接尾辞を付けたものです。たとえば、クラスタ名が「my-cluster」の場合、master-host-name は「my-cluster-m」です。

ウェブ UI	ポート	URL
YARN ResourceManager	8088¹	`http://master-host-name:8088`
HDFS NameNode	9870^2、3	`http://master-host-name:9870`

¹Kerberos 対応クラスタ上では、YARN ResourceManager ウェブ UI ポートは 8090 で、HTTPS 上で実行されます。

²Kerberos 対応クラスタ上では、HDFS Namenode のウェブ UI ポートは 9871 で、HTTPS 上で実行されます。

³Managed Service for Apache Spark の以前のリリース（1.2 より前）では、HDFS Namenode のウェブ UI ポートは 50070 でした。

YARN ResourceManager の [UI のトラッキング] 列には、現在実行中か完了したすべての MapReduce と Spark アプリケーションのウェブインターフェースのリンクがあります。

使用可能な YARN リソースマネージャー REST API

クラスタを作成すると、Managed Service for Apache Spark により yarn-site.xml の yarn.resourcemanager.webapp.methods-allowed プロパティが「GET, HEAD」に設定されます。これにより、 YARN Resource Manager ウェブ UI と REST API で呼び出せる HTTP メソッドが、GET メソッドと HEAD メソッドに制限されます。このデフォルト設定では、YARN REST API によるジョブの送信と変更も無効になります。

このプロパティに 1 つ以上の HTTP メソッド名をコンマ区切りで設定することにより、デフォルト値をオーバーライドして、ポート 8088 で特定の HTTP メソッドを有効にすることができます。ALL 値を設定すると、すべての HTTP メソッドがこのポートで許可されます。

例:

gcloud dataproc clusters create cluster-name \
    --properties=^#^yarn:yarn.resourcemanager.webapp.methods-allowed=GET,POST,DELETE \
    --region=region \

推奨事項: このプロパティをデフォルト以外の HTTP メソッドを許可するように設定する場合は、必ず、ポート 8088 へのアクセスを制限するようにファイアウォールルールとその他のセキュリティ設定を構成してください。

ウェブインターフェースへの接続

Managed Service for Apache Spark クラスタで実行されているウェブインターフェースに接続するには、Managed Service for Apache Spark コンポーネントゲートウェイや、プロジェクトの Cloud Shell、Google Cloud CLI の gcloud コマンドラインツールを使用します。

コンポーネントゲートウェイ: コンソールから Hadoop、Spark、その他のコンポーネントウェブ UI インターフェースにワンクリックで接続できます。 Google Cloud コンポーネントゲートウェイは、クラスタの作成時に有効にします。
Cloud Shell: Google Cloud コンソールの Cloud Shell には、gcloud CLI コマンドとユーティリティがプリインストールされており、SSH トンネルを介してクラスタのウェブインターフェースポートにすばやく接続できるウェブプレビュー機能を提供します。ただし、Cloud Shell からクラスタへの接続に使用されるローカルポート転送では、クラスタウェブインターフェース上の 1 つのポートに対して接続が開かれるため、複数のポートに接続するには複数のコマンドを実行する必要があります。また、Cloud Shell セッションは、一定時間（30 分）使用しないと、自動的に終了します。
Google Cloud CLI: 動的ポート転送を指定した gcloud compute ssh コマンドを使用すると、SSH トンネルを確立して、トンネル上で SOCKS プロキシサーバーを実行できます。このコマンドを発行した後、SOCKS プロキシを使用するようにローカルブラウザを構成する必要があります。この接続方法を使用すると、クラスタウェブインターフェース上の複数のポートに接続できます。詳しくは、SOCKS プロキシの代わりにローカルポート転送を使用できますか？をご覧ください。

よく使用されるコマンド変数を設定する

ローカルマシンや Cloud Shell でコマンドラインの例を簡単にコピーして実行するには、gcloud dataproc コマンド変数を設定します。このページに示されているコマンド例の一部では、他の変数を追加で設定する必要があります。

Linux / mac / Shell

export PROJECT=project;export HOSTNAME=hostname;export ZONE=zone

Windows

set PROJECT=project && set HOSTNAME=hostname && set ZONE=zone

PROJECT には Google Cloud プロジェクト ID を設定します。
HOSTNAME には Managed Service for Apache Spark クラスタ内のマスターノードの名前を設定します（マスター名には接尾辞 -m が付いています）。
ZONE には Managed Service for Apache Spark クラスタ内の VM のゾーン（us-central1-b など）を設定します。

SSH トンネルを作成する

gcloud コマンド

ローカルマシンで次の gcloud コマンドを実行して、ローカルマシン上の開いているポートからクラスタのマスターインスタンスまで SSH トンネルを設定し、そのポートをリッスンするローカル SOCKS プロキシサーバーを実行します。

ローカルマシンでコマンドを実行する前に:

よく使用されるコマンド変数を設定する
PORT 変数をローカルマシンで開いているポートに設定します。ポート 1080 の選択は任意ですが、開いている可能性が高いため、一般的にはこれを選択します。
```
PORT=number
```

Linux / macOS

gcloud compute ssh ${HOSTNAME} \
    --project=${PROJECT} --zone=${ZONE}  -- \
    -D ${PORT} -N

Windows

gcloud compute ssh %HOSTNAME% ^
    --project=%PROJECT% --zone=%ZONE%  -- ^
    -D %PORT% -N

-- の区切り文字を使用すると、次のように gcloud compute ssh コマンドに SSH 引数を追加できます。

-D は、動的なアプリケーションレベルのポート転送です。
-N は、リモートシェルを開かないように gcloud に指示します。

この gcloud コマンドは、他の SSH シェルセッションから独立して動作する SSH トンネルを作成し、トンネル関連のエラーをシェル出力から切り離して、誤ってトンネルが閉じることがないようにします。

ssh コマンドが bind: Cannot assign requested address というエラーメッセージを出力して失敗した場合、リクエストされたポートは使用中の可能性があります。別の PORT 変数値でコマンドを実行してみてください。

上記のコマンドは、フォアグラウンドで実行され、トンネルをアクティブにしておくにはそのまま実行を継続する必要があります。クラスタを削除すると、コマンドは自動的に終了します。

コマンドがバックグラウンドで実行されるようにできます。 「-n」フラグ（-- -D ${PORT} -N -n）を追加すると、/dev/null から stdin がリダイレクトされて、バックグラウンドプロセスとしてコマンドを実行できます。なお、-n フラグは一部のオペレーティングシステムでサポートされていないことに注意してください。

Cloud Shell

Google Cloud Cloud Shell を開きます。

Cloud Shell セッションタイムアウト: Cloud Shell セッションは、一定時間（30 分）使用しないと、自動的に終了します。
Cloud Shell で次の gcloud コマンドを実行して、Cloud Shell プレビューポートからクラスタ上のマスターノードのウェブインターフェースポートへの SSH トンネルを設定します。コマンドを実行する前に、Cloud Shell で次の操作を行います。
1. よく使用されるコマンド変数を設定します。
2. PORT1 変数をポート範囲 8080 ～ 8084 の中から Cloud Shell ポートに設定し、PORT2 変数を Managed Service for Apache Spark クラスタ上のマスターノードのウェブインターフェースポートに設定します。
```
PORT1=number
PORT2=number
```
```
gcloud compute ssh ${HOSTNAME} \
    --project=${PROJECT} --zone=${ZONE}  -- \
    -4 -N -L ${PORT1}:${HOSTNAME}:${PORT2}
```
-- の区切り文字を使用すると、次のように SSH 引数を gcloud compute ssh コマンドに追加できます。
- -4 は、IPv4 のみを使用するように ssh に指示します。
- -N は、リモートシェルを開かないように gcloud に指示します。
- -L ${PORT1}:${HOSTNAME}:${PORT2}は、指定した Cloud Shell PORT1 からクラスタ HOSTNAME:PORT2 へのローカルポート転送を指定します。
この gcloud コマンドは、他の SSH シェルセッションから独立して動作する SSH トンネルを作成し、トンネル関連のエラーをシェル出力から切り離して、誤ってトンネルが閉じることがないようにします。

ブラウザを構成する

gcloud コマンド

SSH トンネルでは、SOCKS プロトコルを使用してトラフィックをプロキシできます。プロキシを使用するようにブラウザを構成するには、プロキシサーバーパラメータを使用して新しいブラウザセッションを開始します。次に、Google Chrome ブラウザの使用例を示します。HOSTNAME は、クラスタのマスターノードの名前です（よく使用されるコマンド変数を設定するをご覧ください）。

Linux

/usr/bin/google-chrome \
    --proxy-server="socks5://localhost:${PORT}" \
    --user-data-dir=/tmp/${HOSTNAME}

macOS

"/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" \
    --proxy-server="socks5://localhost:${PORT}" \
    --user-data-dir=/tmp/${HOSTNAME}

Windows

"%ProgramFiles(x86)%\Google\Chrome\Application\chrome.exe" ^
    --proxy-server="socks5://localhost:%PORT%" ^
    --user-data-dir="%Temp%\%HOSTNAME%"

Windows 32 ビットの場合: 上記コマンドの %ProgramFiles(x86)% を %ProgramFiles% に変更してください。

このコマンドでは、次の Chrome ブラウザフラグを使用しています。

-proxy-server="socks5://localhost:1080" は、SOCKS プロトコルのバージョン 5 を使用して、SOCKS プロキシサーバー localhost:${PORT} 経由ですべての http:// と https:// の URL リクエストを送信するよう Chrome に指示します。${PORT} は、SSH トンネルを作成するで設定したポート変数です。URL のホスト名は、Chrome によってローカルで解決されるのではなく、プロキシサーバーで解決されます。
--user-data-dir=/tmp/${HOSTNAME} は、Chrome で既存の Chrome セッションに関連付けられていない新しいウィンドウを開きます。このフラグを指定しないと、既存の Chrome セッションに接続された新しいウィンドウが開き、--proxy-server 設定が無視される場合があります。--user-data-dir に設定する値は、存在しない任意のパスにできます。

Cloud Shell

Cloud Shell を使用する場合に、ローカルブラウザを構成する必要はありません。 SSH トンネルを作成したら、Cloud Shell ウェブプレビューを使用してクラスタインターフェースに接続します。

クラスタインターフェースに接続する

gcloud コマンド

プロキシを使用するようにローカルブラウザを構成したら、Managed Service for Apache Spark クラスタのウェブインターフェース URL に移動できます（使用可能なインターフェースをご覧ください）。ブラウザの URL の形式は http://cluster-name-m:port（クラスタインターフェースポート）です。

Cloud Shell

Cloud Shell の [ウェブでプレビュー] ボタンをクリックし、次のいずれかを選択します。

[プレビューのポート: 8080]、または
[ポートの変更] を選択してダイアログにポート番号を入力する

ここで入力するポート番号は、SSH トンネルの作成で gcloud compute ssh コマンドに渡した Cloud Shell の PORT1 番号（ポート 8080 ～ 8084）です。

ブラウザウィンドウが開いて、クラスタマスターノードのウェブインターフェースポートに接続されます。

Chrome ブラウザのメッセージ: Chrome ブラウザを使用している場合、次のようなメッセージがターミナルウィンドウや、SSH トンネルの作成に使用した Cloud Shell に表示されることがあります。 SSH トンネルを作成しました。

channel 15: open failed: administratively prohibited: open failed
channel 16: open failed: administratively prohibited: open failed
channel 17: open failed: administratively prohibited: open failed

これらは致命的なエラーメッセージではありません。Chrome ブラウザでは、ページを読み込むことができないときに、こうしたメッセージが表示されますが、クラスタのアプリケーションインターフェースに接続できた場合でも、同様のメッセージが表示されることがあります。

よくある質問とデバッグのヒント

ブラウザに UI が表示されない場合はどうすればよいですか？

ブラウザに UI が表示されない場合、最も可能性が高い理由は次の 2 つです。

ネットワーク接続に問題があります。おそらくファイアウォールが原因です。ローカル変数を設定した後、次のコマンドを実行して、マスターインスタンスに SSH で接続できるかどうかを確認します。できない場合は、接続に問題があります。
Linux / macOS
```
gcloud compute ssh ${HOSTNAME}-m \
    --project=${PROJECT}
```
Windows
```
gcloud compute ssh %HOSTNAME%-m ^
    --project=%PROJECT%
```
別のプロキシが SOCKS プロキシに干渉しています。プロキシを確認するには、次の curl コマンドを実行します（Linux と macOS で使用可能）。
Linux / macOS
```
curl -Is --socks5-hostname localhost:1080 http://cluster-name-m:8088
```
Windows
```
curl.exe -Is --socks5-hostname localhost:1080 http://cluster-name-m:8088
```
HTTP レスポンスが表示されている場合は、プロキシが動作しているため、SOCKS プロキシが別のプロキシまたはブラウザ拡張機能によって中断されている可能性があります。

SOCKS プロキシの代わりにローカルポート転送を使用できますか？

SOCKS プロキシの代わりに、SSH ローカルポート転送を使用してマスターインスタンス上で実行されているウェブアプリケーション UI にアクセスできます。これにより、マスターのポートがローカルポートに転送されます。たとえば、次のコマンドを使用すると SOCKS なしで localhost:1080 にアクセスして cluster-name-m:8088 に到達できますできます（よく使用されるコマンド変数を設定するをご覧ください）。

Linux / macOS

gcloud compute ssh ${HOSTNAME}-m \
    --project=${PROJECT} -- \
    -L 1080:${HOSTNAME}-m:8088 -N -n

Windows

gcloud compute ssh %HOSTNAME%-m ^
    --project=%PROJECT% -- ^
    -L 1080:%HOSTNAME%-m:8088 -N -n

SOKS プロキシでを使用すると、http://cluster-name-m:port を使用してマスターインスタンス上で実行されているリモート UI インターフェースにアクセスできます。一方、ローカルポート転送を使用すると、http://localhost:port でマスターインスタンスのウェブアプリケーション UI にアクセスできます。

ローカルポート転送よりも SOCKS プロキシの使用をおすすめします。このプロキシには次のような利点があります。

UI ポートごとにポート転送トンネルを設定しなくても、すべてのウェブアプリケーションポートにアクセスできる
Spark と Hadoop のウェブ UI が DNS ホストを正しく解決できるようになる

クラスタ ウェブ インターフェース コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

使用可能なインターフェース

使用可能な YARN リソース マネージャー REST API

ウェブ インターフェースへの接続

よく使用されるコマンド変数を設定する

Linux / mac / Shell

Windows

SSH トンネルを作成する

gcloud コマンド

Linux / macOS

Windows

Cloud Shell

ブラウザを構成する

gcloud コマンド

Linux

macOS

Windows

Cloud Shell

クラスタ インターフェースに接続する

gcloud コマンド

Cloud Shell

よくある質問とデバッグのヒント

ブラウザに UI が表示されない場合はどうすればよいですか？

Linux / macOS

Windows

Linux / macOS

Windows

SOCKS プロキシの代わりにローカルポート転送を使用できますか？

Linux / macOS

Windows

クラスタウェブインターフェース

使用可能な YARN リソースマネージャー REST API

ウェブインターフェースへの接続

クラスタインターフェースに接続する