Menggunakan Ranger dengan Kerberos

Anda dapat mengelola kontrol akses terpusat di seluruh workload Hadoop, YARN, dan Hive dengan mengintegrasikan Apache Ranger dengan Kerberos di Managed Service untuk Apache Spark. Dalam tutorial ini, Anda akan membuat cluster dengan komponen Ranger dan Apache Solr, mengonfigurasi kebijakan otorisasi, dan memverifikasi izin pengguna.

Saat mengevaluasi kebijakan akses, Managed Service untuk Apache Spark memetakan akun utama Kerberos ke pengguna sistem dengan menghapus realm dan instance, seperti memetakan user1/cluster-m@MY.REALM ke user1. Anda dapat mengelola kebijakan ini di UI Web Ranger melalui Component Gateway.

  1. Siapkan sandi admin Ranger.

  2. Siapkan sandi root principal Kerberos.

  3. Buat cluster.

    1. Perintah gcloud berikut dapat dijalankan di jendela terminal lokal atau dari Cloud Shell project. 
      gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR,RANGER \
    --enable-component-gateway \
    --properties="dataproc:ranger.kms.key.uri=projects/project-id/locations/global/keyRings/keyring/cryptoKeys/key,dataproc:ranger.admin.password.uri=gs://bucket/admin-password.encrypted" \
    --kerberos-root-principal-password-uri=gs://bucket/kerberos-root-principal-password.encrypted \
    --kerberos-kms-key=projects/project-id/locations/global/keyRings/keyring/cryptoKeys/key

  4. Setelah cluster berjalan, buka halaman Clusters Managed Service for Apache Spark di konsol Google Cloud , lalu pilih nama cluster untuk membuka halaman Cluster details. Klik tab Web Interfaces untuk menampilkan daftar link Component Gateway ke antarmuka web komponen default dan opsional yang diinstal di cluster. Klik link Ranger.

  5. Login ke Ranger dengan memasukkan nama pengguna admin dan sandi admin Ranger.

  6. UI Ranger admin akan terbuka di browser lokal.

Kebijakan akses YARN

Contoh ini membuat kebijakan Ranger untuk mengizinkan dan menolak akses pengguna ke antrean root.default YARN.

  1. Pilih yarn-dataproc dari UI Ranger Admin.

  2. Di halaman yarn-dataproc Policies, klik Add New Policy. Di halaman Create Policy, kolom berikut dimasukkan atau dipilih:

    • Policy Name: "yarn-policy-1"
    • Queue: "root.default"
    • Audit Logging: "Ya"
    • Allow Conditions:
      • Select User: "userone"
      • Permissions: "Pilih Semua" untuk memberikan semua izin

    • Deny Conditions:

      • Select User: "usertwo"
      • Permissions: "Pilih Semua" untuk menolak semua izin

      Klik Tambahkan untuk menyimpan kebijakan. Kebijakan ini tercantum di halaman yarn-dataproc Policies:

  3. Jalankan tugas mapreduce Hadoop di jendela sesi SSH master sebagai userone: 

    userone@example-cluster-m:~$ hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduced-examples.
jar pi 5 10

    1. UI Ranger menunjukkan bahwa userone diizinkan untuk mengirimkan tugas.

  4. Jalankan tugas mapreduce Hadoop dari jendela sesi SSH master VM sebagai usertwo: 

    usertwo@example-cluster-m:~$ hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduced-examples.
jar pi 5 10

    1. UI Ranger menunjukkan bahwa usertwo ditolak aksesnya untuk mengirimkan tugas.

Kebijakan akses HDFS

Contoh ini membuat kebijakan Ranger untuk mengizinkan dan menolak akses pengguna ke direktori /tmp HDFS.

  1. Pilih hadoop-dataproc dari UI Ranger Admin.

  2. Di halaman hadoop-dataproc Policies, klik Add New Policy. Di halaman Create Policy, kolom berikut dimasukkan atau dipilih:

    • Policy Name: "hadoop-policy-1"
    • Resource Path: "/tmp"
    • Audit Logging: "Ya"
    • Allow Conditions:
      • Select User: "userone"
      • Permissions: "Pilih Semua" untuk memberikan semua izin

    • Deny Conditions:

      • Select User: "usertwo"
      • Permissions: "Pilih Semua" untuk menolak semua izin

      Klik Tambahkan untuk menyimpan kebijakan. Kebijakan ini tercantum di halaman hadoop-dataproc Policies:

  3. Akses direktori /tmp HDFS sebagai userone: 

    userone@example-cluster-m:~$ hadoop fs -ls /tmp

    1. UI Ranger menunjukkan bahwa userone diizinkan mengakses direktori /tmp HDFS.

  4. Akses direktori /tmp HDFS sebagai usertwo: 

    usertwo@example-cluster-m:~$ hadoop fs -ls /tmp

    1. UI Ranger menunjukkan bahwa usertwo ditolak aksesnya ke direktori HDFS /tmp.

Kebijakan akses Hive

Contoh ini membuat kebijakan Ranger untuk mengizinkan dan menolak akses pengguna ke tabel Hive.

  1. Buat tabel employee kecil menggunakan hive CLI di instance master. 

    hive> CREATE TABLE IF NOT EXISTS employee (eid int, name String); INSERT INTO employee VALUES (1 , 'bob') , (2 , 'alice'), (3 , 'john');

  2. Pilih hive-dataproc dari UI Ranger Admin.

  3. Di halaman hive-dataproc Policies, klik Add New Policy. Di halaman Create Policy, kolom berikut dimasukkan atau dipilih:

    • Policy Name: "hive-policy-1"
    • database: "default"
    • table: "employee"
    • Hive Column: "*"
    • Audit Logging: "Ya"
    • Allow Conditions:
      • Select User: "userone"
      • Permissions: "Pilih Semua" untuk memberikan semua izin

    • Deny Conditions:

      • Select User: "usertwo"
      • Permissions: "Pilih Semua" untuk menolak semua izin

      Klik Tambahkan untuk menyimpan kebijakan. Kebijakan ini tercantum di halaman hive-dataproc Policies:

  4. Jalankan kueri dari sesi SSH master VM terhadap tabel employee Hive sebagai userone: 

    userone@example-cluster-m:~$ beeline -u "jdbc:hive2://$(hostname -f):10000/default;principal=hive/$(hostname -f)@REALM" -e "select * from employee;"

    1. Kueri userone berhasil: 
      Connected to: Apache Hive (version 2.3.6)
Driver: Hive JDBC (version 2.3.6)
Transaction isolation: TRANSACTION_REPEATABLE_READ
+---------------+----------------+
| employee.eid  | employee.name  |
+---------------+----------------+
| 1             | bob            |
| 2             | alice          |
| 3             | john           |
+---------------+----------------+
3 rows selected (2.033 seconds)

  5. Jalankan kueri dari sesi SSH master VM terhadap tabel karyawan Hive sebagai usertwo: 

    usertwo@example-cluster-m:~$ beeline -u "jdbc:hive2://$(hostname -f):10000/default;principal=hive/$(hostname -f)@REALM" -e "select * from employee;"

    1. usertwo ditolak aksesnya ke tabel: 
      Error: Could not open client transport with JDBC Uri:
...
Permission denied: user=usertwo, access=EXECUTE, inode="/tmp/hive"

Akses Hive yang Sangat Terperinci

Ranger mendukung Masking dan Row Level Filters di Hive. Contoh ini dibuat berdasarkan hive-policy-1 sebelumnya dengan menambahkan kebijakan masking dan filter.

  1. Pilih hive-dataproc dari UI admin Ranger, lalu pilih tab Masking dan klik Add New Policy.

    1. Di halaman Create Policy, kolom berikut dimasukkan atau dipilih untuk membuat kebijakan guna menyamarkan (meniadakan) kolom nama karyawan.:

      • Policy Name: "hive-masking policy"
      • database: "default"
      • table: "employee"
      • Hive Column: "name"
      • Audit Logging: "Ya"
      • Mask Conditions:
        • Select User: "userone"
        • Access Types: izin menambahkan/mengedit "pilih"
        • Select Masking Option: "nullify"

          Klik Tambahkan untuk menyimpan kebijakan.

  2. Pilih hive-dataproc dari UI admin Ranger, lalu pilih tab Row Level Filter dan klik Add New Policy.

    1. Di halaman Create Policy, kolom berikut dimasukkan atau dipilih untuk membuat kebijakan guna memfilter (menampilkan) baris yang eid-nya tidak sama dengan 1:

      • Policy Name: "hive-filter policy"
      • Hive Database: "default"
      • Hive Table: "employee"
      • Audit Logging: "Ya"
      • Mask Conditions:
        • Select User: "userone"
        • Access Types: izin menambahkan/mengedit "pilih"
        • Row Level Filter: ekspresi filter "eid != 1"

          Klik Tambahkan untuk menyimpan kebijakan.

    2. Ulangi kueri sebelumnya dari sesi SSH master VM terhadap tabel karyawan Hive sebagai userone: 

      userone@example-cluster-m:~$ beeline -u "jdbc:hive2://$(hostname -f):10000/default;principal=hive/$(hostname -f)@REALM" -e "select * from employee;"

      1. Kueri akan menampilkan kolom nama yang disamarkan dan bob (eid=1) yang difilter dari hasil.: 
        Transaction isolation: TRANSACTION_REPEATABLE_READ
+---------------+----------------+
| employee.eid  | employee.name  |
+---------------+----------------+
| 2             | NULL           |
| 3             | NULL           |
+---------------+----------------+
2 rows selected (0.47 seconds)