סקירה כללית
כשיוצרים אשכול של Managed Service for Apache Spark, האפליקציה Apache Hive והרכיבים שלה, כולל Hive metastore, מותקנים באשכול, וסיסמת ברירת מחדל מוגדרת בקובץ hive-site.xml שנמצא בצומת הראשי של האשכול.
מומלץ לציין סיסמה משלכם למאגר המטא-נתונים של Hive כדי להשיג את המטרות הבאות:
כאמצעי אבטחה מומלץ כדי לוודא שיש לכם שליטה בגישה למאגר המטא-נתונים המקומי של Hive, אתם צריכים לספק סיסמה משלכם
כדי לציין סיסמה מוכרת ששולטת בגישה למאגרי מטא-נתונים חיצוניים של Hive שמשמשים עם מסדי נתונים חיצוניים שמשותפים בין אשכולות שונים
הגדרת הסיסמה של Hive metastore
מריצים את הפקודה Google Cloud CLI Managed Service for Apache Spark clusters create כדי ליצור אשכול Managed Service for Apache Spark ולציין סיסמה למאגר המידע של Hive.
gcloud dataproc clusters create cluster-name --properties="hive:javax.jdo.option.ConnectionPassword=HIVE_METASTORE_PASSWORD"
הערות:
- כדי ליצור מפתח ב-Cloud Key Management Service, אפשר לעיין במאמר בנושא יצירת מפתח.
- הסיסמה של Hive metastore מאוחסנת רק בצמתים הראשיים של האשכול, ולא בצמתי העובדים.
מידע נוסף על אבטחת אשכולות של Managed Service for Apache Spark זמין במאמר שיטות מומלצות לאבטחה של Managed Service for Apache Spark.
תרחישים שלא נתמכים
Managed Service for Apache Spark לא תומך בתרחישים הבאים של Hive metastore, בלי קשר לסיסמה שמשמשת אתכם ל-Hive metastore, בין אם זו סיסמת ברירת המחדל או סיסמה שסיפקתם:
אתם משתמשים בלקוח מוטמע של מאגר מטא-נתונים במנהל ההתקנים של Spark שפועל במצב אשכול, כך שצמתי העובדים דורשים סיסמאות של Hive. התרחיש הזה עלול לגרום לבעיות בקישוריות למסד הנתונים של חנות המטא-נתונים, כי החיבור לא מתבצע דרך תהליך
HiveMetaStoreשפועל בצומת הראשי של Managed Service for Apache Spark.משביתים את Hive metastore ואת
hive-server2כדי להשתמש במסד נתונים משלכם מסוג MySQL. בתרחיש הזה, המאפייןspark.hadoop.javax.jdo.option.ConnectionURL=jdbc:mysql://CLUSTER_NAME-m/metastoreלא משפיע.