- משאב: HiveTable
- StorageDescriptor
- FieldSchema
- SerdeInfo
- SerdeType
- Order
- SkewedInfo
- SkewedColumnValue
- SkewedKeyValuesLocation
- Methods
משאב: HiveTable
שומר את פרטי טבלת ה-Hive. הוא כולל את שם הטבלה, הסכימה (שמות וסוגים של עמודות), מיקום הנתונים, פורמט האחסון, פרטי ה-SerDe וכו'. ההודעה הזו דומה מאוד לאובייקט Table ב-IMetastoreClient
| ייצוג ב-JSON |
|---|
{ "name": string, "description": string, "storageDescriptor": { object ( |
| שדות | |
|---|---|
name |
מזהה. שם המשאב פורמט: projects/{project_id_or_number}/catalogs/{catalogId}/databases/{databaseId}/tables/{tableId} |
description |
זה שינוי אופציונלי. תיאור הטבלה. האורך המקסימלי הוא 4,000 תווים. |
storageDescriptor |
חובה. מתאר האחסון של הטבלה. |
createTime |
פלט בלבד. זמן היצירה של הטבלה. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: |
partitionKeys[] |
זה שינוי אופציונלי. מפתחות המחיצה של הטבלה. |
parameters |
זה שינוי אופציונלי. מאחסן את המאפיינים שמשויכים לטבלה. הגודל המקסימלי הוא 4MiB. אובייקט שמכיל רשימה של |
viewOriginalText |
זה שינוי אופציונלי. הטקסט של התצוגה המקורית. אם לא רוצים להציג את התצוגה, משאירים את השדה ריק. הגודל המקסימלי הוא 16MiB. |
viewExpandedText |
זה שינוי אופציונלי. הטקסט בתצוגה המורחבת. אם לא רוצים להציג את התצוגה, משאירים את השדה ריק. הגודל המקסימלי הוא 16MiB. |
tableType |
פלט בלבד. סוג הטבלה. הערך הוא EXTERNAL לטבלאות hive ב-BigLake. |
updateTime |
פלט בלבד. השעה שבה הטבלה עודכנה. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: |
StorageDescriptor
מכילה מידע על האחסון הפיזי של נתוני הטבלה.
| ייצוג ב-JSON |
|---|
{ "columns": [ { object ( |
| שדות | |
|---|---|
columns[] |
חובה. מציין את העמודות של הטבלה. |
locationUri |
זה שינוי אופציונלי. כתובת ה-URI של האחסון בענן שבו נמצאת הטבלה. ברירת המחדל היא |
inputFormat |
זה שינוי אופציונלי. השם המלא של מחלקת Java של פורמט הקלט. האורך המקסימלי הוא 4,000 תווים. |
outputFormat |
זה שינוי אופציונלי. השם המלא של מחלקת Java של פורמט הפלט. האורך המקסימלי הוא 4,000 תווים. |
serdeInfo |
זה שינוי אופציונלי. מידע על סריאליזציה וביטול סריאליזציה. |
bucketCols[] |
זה שינוי אופציונלי. עמודות קיבוץ של רכיב ה-Reducer, עמודות אשכולות ועמודות של דליים |
sortCols[] |
זה שינוי אופציונלי. סדר המיון של הנתונים בכל קטגוריה |
parameters |
זה שינוי אופציונלי. צמדי מפתח/ערך לתיאור האחסון. הגודל המקסימלי הוא 10Kib. אובייקט שמכיל רשימה של |
skewedInfo |
זה שינוי אופציונלי. מידע על חלוקת נתונים לא מאוזנת בטבלה. |
compressed |
זה שינוי אופציונלי. אם הטבלה דחוסה. |
numBuckets |
זה שינוי אופציונלי. מספר הדליים בטבלה. |
storedAsSubDirs |
זה שינוי אופציונלי. האם הטבלה מאוחסנת כספריות משנה. |
FieldSchema
פרטי סכימת השדה.
| ייצוג ב-JSON |
|---|
{ "name": string, "type": string, "comment": string } |
| שדות | |
|---|---|
name |
חובה. שם השדה. האורך המקסימלי הוא 767 תווים. |
type |
חובה. סוג השדה. האורך המקסימלי הוא 128 תווים. |
comment |
זה שינוי אופציונלי. הערה לגבי השדה. האורך המקסימלי הוא 256 תווים. |
SerdeInfo
מידע על סריאליזציה וביטול סריאליזציה.
| ייצוג ב-JSON |
|---|
{
"name": string,
"serializationLib": string,
"description": string,
"parameters": {
string: string,
...
},
"serializerClass": string,
"deserializerClass": string,
"serdeType": enum ( |
| שדות | |
|---|---|
name |
חובה. השם של SerDe. שם הטבלה כברירת מחדל. האורך המקסימלי הוא 128 תווים. |
serializationLib |
חובה. שם המחלקה המוגדר במלואו של Java בספריית הסריאליזציה. האורך המקסימלי הוא 4,000 תווים. |
description |
זה שינוי אופציונלי. תיאור של ה-serde. האורך המקסימלי הוא 4,000 תווים. |
parameters |
זה שינוי אופציונלי. פרמטרים של ה-serde. הגודל המקסימלי הוא 10Kib. אובייקט שמכיל רשימה של |
serializerClass |
זה שינוי אופציונלי. שם המחלקה המלא של Java של ה-serializer. האורך המקסימלי הוא 4,000 תווים. |
deserializerClass |
זה שינוי אופציונלי. השם המלא של מחלקת ה-Java של ה-deserializer. האורך המקסימלי הוא 4,000 תווים. |
serdeType |
זה שינוי אופציונלי. סוג ה-serde. |
SerdeType
סוגי ה-serde.
| טיפוסים בני מנייה (enum) | |
|---|---|
SERDE_TYPE_UNSPECIFIED |
לא צוין סוג ה-serde. |
HIVE |
Hive. |
SCHEMA_REGISTRY |
מאגר סכימות. |
הזמנה
סדר המיון של הנתונים המאוחסנים בכל עמודה.
| ייצוג ב-JSON |
|---|
{ "col": string, "order": integer } |
| שדות | |
|---|---|
col |
חובה. שם העמודה. האורך המקסימלי הוא 767 תווים. |
order |
חובה. הגדרה של סדר המיון של העמודה. סדר עולה אם הערך הוא 1, סדר יורד אם הערך הוא 0. |
SkewedInfo
מאחסן את כל המידע על טבלה מוטה.
| ייצוג ב-JSON |
|---|
{ "skewedColNames": [ string ], "skewedColValues": [ { object ( |
| שדות | |
|---|---|
skewedColNames[] |
חובה. שמות העמודות שמוטות. האורך המקסימלי של שם עמודה הוא 256 תווים. |
skewedColValues[] |
חובה. הערכים בעמודה עם ההטיה. |
skewedKeyValuesLocations[] |
חובה. המיקומים של ערכי המפתח המוטים. |
SkewedColumnValue
הערכים בעמודה עם ההטיה.
| ייצוג ב-JSON |
|---|
{ "values": [ string ] } |
| שדות | |
|---|---|
values[] |
חובה. הערכים בעמודה עם ההטיה. האורך המקסימלי הוא 256 תווים לכל ערך. |
SkewedKeyValuesLocation
ערכי המפתח המוטים והמיקום התואם שלהם.
| ייצוג ב-JSON |
|---|
{ "values": [ string ], "location": string } |
| שדות | |
|---|---|
values[] |
חובה. הערכים בעמודה עם ההטיה. האורך המקסימלי הוא 256 תווים לכל ערך. |
location |
חובה. המיקום של ערכי העמודות המוטים. האורך המקסימלי הוא 4,000 תווים. |
Methods |
|
|---|---|
|
יוצר טבלת Hive חדשה. |
|
מוחק טבלה קיימת שצוינה לפי שם הטבלה. |
|
הפונקציה מחזירה את הטבלה שצוינה לפי שם המשאב. |
|
הצגת רשימה של כל טבלאות Hive בפרויקט שצוין בקטלוג ובמסד הנתונים של Hive. |
|
מעדכן טבלה קיימת שצוינה לפי שם הטבלה. |