שימוש ב-Apache Hive עם Dataproc Metastore

בדף הזה מוצגת דוגמה לשימוש ב-Apache Hive עם שירות Dataproc Metastore. בדוגמה הזו, מפעילים סשן של Hive באשכול Dataproc, ואז מריצים פקודות לדוגמה כדי ליצור מסד נתונים וטבלה.

לפני שמתחילים

חיבור אל Apache Hive

כדי להתחיל להשתמש ב-Hive, צריך להשתמש ב-SSH כדי להתחבר לאשכול Dataproc שמשויך לשירות Dataproc Metastore. אחרי שמתחברים, אפשר להריץ פקודות Hive מחלון הטרמינל של SSH בדפדפן כדי לנהל את המטא-נתונים.

כדי להתחבר ל-Hive

  1. נכנסים לדף VM Instances במסוף Google Cloud .
  2. ברשימת המכונות הווירטואליות, לוחצים על SSH בשורה של מכונת Dataproc שרוצים להתחבר אליה.

חלון דפדפן נפתח בספריית הבית של הצומת עם פלט שדומה לזה:

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

כדי להפעיל את Hive וליצור מסד נתונים וטבלה, מריצים את הפקודות הבאות בסשן SSH:

  1. מפעילים את Hive.

    hive

  2. יוצרים מסד נתונים בשם myDatabase.

    create database myDatabase;

  3. מציגים את מסד הנתונים שיצרתם.

    show databases;

  4. משתמשים במסד הנתונים שיצרתם.

    use myDatabase;

  5. יוצרים טבלה בשם myTable.

    create table myTable(id int,name string);

  6. מפרטים את הטבלאות בקטע myDatabase.

    show tables;

  7. הצגת השורות בטבלה שיצרתם.

    desc MyTable;

הרצת הפקודות הבאות יוצרת פלט דומה לזה:

$hive

hive> show databases;
OK
default
hive> create database myDatabase;
OK
hive> use myDatabase;
OK
hive> create table myTable(id int,name string);
OK
hive> show tables;
OK
myTable
hive> desc myTable;
OK
id                      int                                         
name                    string

המאמרים הבאים