Apache Hive と Dataproc Metastore を併用する

このページでは、Dataproc Metastore サービスで Apache Hive を使用する例を示します。この例では、Managed Service for Apache Spark クラスタで Hive セッションを起動し、サンプル コマンドを実行してデータベースとテーブルを作成します。

始める前に

• Dataproc Metastore サービスを作成します。
• Dataproc Metastore サービスを Managed Service for Apache Spark クラスタに接続します。
  • Hive メタストアのパスワードを設定します。

Apache Hive に接続する

Hive の使用を開始するには、Dataproc Metastore サービスに関連付けられている Managed Service for Apache Spark クラスタに SSH を使用して接続します。 接続したら、ブラウザの SSH ターミナル ウィンドウから Hive コマンドを実行してメタデータを管理できます。

Hive に接続する

1. コンソールで、[VM Instances] ページに移動します。 Google Cloud
2. 仮想マシン インスタンスのリストで、接続する Managed Service for Apache Spark VM インスタンスの行にある [SSH] をクリックします。

ノード上のホーム ディレクトリでブラウザ ウィンドウが開き、次のような出力が表示されます。

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Hive を起動してデータベースとテーブルを作成するには、SSH セッションで次のコマンドを実行します。

1. Hive を起動します。

   hive
   

2. myDatabase という名前のデータベースを作成します。

   create database myDatabase;
   

3. 作成したデータベースを表示します。

   show databases;
   

4. 作成したデータベースを使用します。

   use myDatabase;
   

5. テーブルを myTable という名前で作成します。

   create table myTable(id int,name string);
   

6. myDatabase 内のテーブルを一覧表示します。

   show tables;
   

7. 作成したテーブルのテーブル行を表示します。

   desc MyTable;
   

次のコマンドを実行すると、次のような出力が生成されます。

$hive

hive> show databases;
OK
default
hive> create database myDatabase;
OK
hive> use myDatabase;
OK
hive> create table myTable(id int,name string);
OK
hive> show tables;
OK
myTable
hive> desc myTable;
OK
id                      int                                         
name                    string 

次のステップ

• メタデータのインポート
• ExportMetadata
• Spark SQL の使用