Crea y consulta una tabla de Iceberg en Lakehouse con la consola de Google Cloud

En esta guía de inicio rápido, usarás la consola de Google Cloud para aprender cómo Lakehouse sin límites te permite administrar y compartir tablas de Apache Iceberg en Google Cloud y motores de código abierto almacenando metadatos de tablas, incluidos esquemas, instantáneas y ubicaciones de almacenamiento, en el catálogo de tiempo de ejecución de Lakehouse.

Para completar esta guía de inicio rápido, realiza los siguientes pasos en la consola deGoogle Cloud :

  1. Crea un bucket de Cloud Storage: Crea un bucket en Cloud Storage para almacenar los archivos de datos y metadatos de tu tabla de Iceberg.
  2. Crea un catálogo: Crea un catálogo de varios buckets en el catálogo de tiempo de ejecución de Lakehouse respaldado por tu bucket con la venta de credenciales habilitada.
  3. Crea un espacio de nombres y una tabla de Iceberg: Usa la página Lakehouse en la consola de Google Cloud para crear un espacio de nombres y una tabla de Iceberg con el lenguaje de manipulación de datos (DML) de BigQuery habilitado.
  4. Modifica datos y consulta la tabla en BigQuery: Usa sentencias DML de BigQuery (INSERT, UPDATE y DELETE) para modificar filas en la tabla de Iceberg y consultar los resultados con la sintaxis de 4 partes P.C.N.T (Project.Catalog.Namespace.Table), sin necesidad de ETL ni registro manual de tablas.

Antes de comenzar

  1. Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigLake, Cloud Storage, and BigQuery APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  5. Make sure that you have the following role or roles on the project: BigLake Admin (roles/biglake.admin), Storage Admin (roles/storage.admin), and BigQuery Job User (roles/bigquery.jobUser)

    Check for the roles

    1. In the Google Cloud console, go to the IAM page.

      Go to IAM
    2. Select the project.
    3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

    4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

    Grant the roles

    1. In the Google Cloud console, go to the IAM page.

      Go to IAM
    2. Select the project.
    3. Click Grant access.
    4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

    5. Click Select a role, then search for the role.
    6. To grant additional roles, click Add another role and add each additional role.
    7. Click Save.
  6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  7. Verify that billing is enabled for your Google Cloud project.

  8. Enable the BigLake, Cloud Storage, and BigQuery APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  9. Make sure that you have the following role or roles on the project: BigLake Admin (roles/biglake.admin), Storage Admin (roles/storage.admin), and BigQuery Job User (roles/bigquery.jobUser)

    Check for the roles

    1. In the Google Cloud console, go to the IAM page.

      Go to IAM
    2. Select the project.
    3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

    4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

    Grant the roles

    1. In the Google Cloud console, go to the IAM page.

      Go to IAM
    2. Select the project.
    3. Click Grant access.
    4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

    5. Click Select a role, then search for the role.
    6. To grant additional roles, click Add another role and add each additional role.
    7. Click Save.

Cree un bucket de Cloud Storage

Crea un bucket de Cloud Storage en la consola de Google Cloud para almacenar los archivos de datos y metadatos de la tabla de Iceberg:

  1. En la consola de Google Cloud , ve a la página Buckets de Cloud Storage.

    Ir a Buckets

  2. Haz clic en Crear.

  3. En la sección Comenzar, ingresa un nombre de bucket único a nivel global (por ejemplo, lakehouse-quickstart-UNIQUE_ID o PROJECT_ID-lakehouse) y, luego, haz clic en Continuar.

  4. En la sección Elige dónde almacenar tus datos, deja el Tipo de ubicación establecido en Multirregional (us (varias regiones en Estados Unidos)) y, luego, haz clic en Crear.

  5. Si aparece el diálogo Se impedirá el acceso público, haz clic en Confirmar.

Crea un catálogo en el catálogo de tiempo de ejecución de Lakehouse

Crea un catálogo de varios bucket en el catálogo de tiempo de ejecución de Lakehouse para tus tablas de Apache Iceberg. Un catálogo de varios buckets te permite nombrar tu catálogo de forma independiente de cualquier nombre de bucket y asociar varios buckets de Cloud Storage con un solo catálogo. Para proteger el acceso a estos buckets, habilita el modo de venta de credenciales para que el catálogo pueda emitir automáticamente credenciales de almacenamiento temporal directamente a tus motores de cliente.

  1. En la consola de Google Cloud , ve a la página Lakehouse.

    Ir a Lakehouse

  2. Haz clic en Crear catálogo y, luego, selecciona Catálogo de tiempo de ejecución de Lakehouse.

  3. En la sección Tipo y fuente del catálogo, establece los siguientes parámetros de configuración:

    • Tipo de catálogo: Selecciona Catálogo de REST de Iceberg.
    • Opciones de bucket para el catálogo de Lakehouse: Selecciona Catálogo de varios buckets.
    • Ruta de acceso predeterminada de Cloud Storage del catálogo: Haz clic en Explorar, selecciona el bucket que creaste y haz clic en Seleccionar.
    • ID del catálogo: Ingresa quickstart_catalog.
    • Ubicación principal: Selecciona Multirregión y, luego, EE.UU. (varias regiones en Estados Unidos). El campo Jurisdicción se completa automáticamente según el bucket.
  4. Haz clic en Continuar y, luego, en la sección Rutas de datos, haz clic en Continuar.

  5. En la sección Método de autenticación, selecciona Modo de venta de credenciales.

    Con la venta de credenciales, el catálogo emite de forma segura tokens de almacenamiento temporales con alcance de tabla a los motores de cliente y a BigQuery, por lo que los motores externos no necesitan permisos de IAM directos en tu bucket.

  6. Haz clic en Crear.

    Se creará tu catálogo y se abrirá la página Detalles del catálogo.

  7. En Método de autenticación, haz clic en Establecer permisos del bucket (o Establecer permisos para los buckets si tu catálogo abarca varios buckets) y, luego, en el cuadro de diálogo, haz clic en Confirmar.

    En este paso, se otorgan a la cuenta de servicio del catálogo los permisos necesarios en tu bucket de Cloud Storage para vender credenciales temporales.

Crea un espacio de nombres y una tabla de Iceberg

Ahora que tienes un catálogo, usa la página Lakehouse en la consola deGoogle Cloud para crear un espacio de nombres y una tabla de Iceberg.

Crea un espacio de nombres

  1. En la página Detalles del catálogo de quickstart_catalog, haz clic en Crear espacio de nombres.

  2. En el campo Nombre del espacio de nombres, ingresa quickstart_namespace.

  3. Deja Ubicación configurada en la ruta de acceso predeterminada de Cloud Storage que se propaga automáticamente en el campo.

  4. Haz clic en Crear.

Crea una tabla de Iceberg

  1. En la página Detalles del catálogo, haz clic en quickstart_namespace.

    Se abrirá la página Detalles del espacio de nombres.

  2. Haz clic en Crear tabla.

  3. En el panel Crear tabla, establece los siguientes parámetros:

    • Formato de tabla: Verifica que esté seleccionado Iceberg.
    • Nombre de la tabla: Ingresa quickstart_table.
    • Ubicación: Deja la ruta de acceso predeterminada de Cloud Storage.
  4. En Esquema, haz clic en Agregar campo dos veces para agregar dos columnas a la tabla:

    • Para el primer campo, en el campo Nombre del campo, ingresa id y, en el menú Tipo, selecciona INTEGER.
    • Para el segundo campo, en el campo Nombre del campo, ingresa name y, en el menú Tipo, selecciona STRING.
  5. En Propiedades, busca la propiedad predefinida gcp.biglake.bigquery-dml.enabled y cambia su Valor de false a true. Deja gcp.biglake.table-management.enabled configurado como false.

    Establecer gcp.biglake.bigquery-dml.enabled en true te permite modificar datos en la tabla de Iceberg con sentencias DML de BigQuery, como INSERT, UPDATE, DELETE y MERGE. Para obtener más información, consulta Configura las opciones de la tabla.

  6. Haz clic en Crear.

    Tu nueva tabla de Iceberg (quickstart_table) aparece en la página Detalles del espacio de nombres, y el catálogo de tiempo de ejecución de Lakehouse escribe el archivo de metadatos de Iceberg inicial en tu bucket de Cloud Storage.

Modifica los datos y consulta la tabla en BigQuery

Con quickstart_table creado y el DML de BigQuery habilitado, puedes insertar, actualizar, borrar y consultar filas directamente en BigQuery con la sintaxis de 4 partes P.C.N.T (Project.Catalog.Namespace.Table). En cada sentencia, reemplaza PROJECT_ID por el ID del proyecto deGoogle Cloud :

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el editor de consultas, haz clic en Consulta en SQL.

  3. Para insertar datos de muestra, ingresa la siguiente sentencia en el editor de consultas y, luego, haz clic en Ejecutar:

    INSERT INTO `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table` (id, name)
    VALUES (1, 'one'), (2, 'two'), (3, 'three');

    Cuando se completa la sentencia INSERT, BigQuery escribe los archivos de datos de Parquet en tu bucket de Cloud Storage y confirma una nueva instantánea de Iceberg en el catálogo de tiempo de ejecución de Lakehouse.

  4. Para modificar una fila de la tabla, ingresa la siguiente sentencia en el editor de consultas y, luego, haz clic en Ejecutar:

    UPDATE `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table`
    SET name = 'updated'
    WHERE id = 1;
  5. Para borrar una fila de la tabla, ingresa la siguiente sentencia en el editor de consultas y, luego, haz clic en Ejecutar:

    DELETE FROM `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table`
    WHERE id = 3;
  6. Para consultar la tabla y verificar los cambios, ingresa la siguiente sentencia en el editor de consultas y, luego, haz clic en Ejecutar:

    SELECT * FROM `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table`
    ORDER BY id;

    En el panel Resultados de la consulta, se muestran las dos filas restantes, incluido el valor actualizado de id = 1:

    +----+---------+
    | id | name    |
    +----+---------+
    |  1 | updated |
    |  2 | two     |
    +----+---------+
    

Como el catálogo de tiempo de ejecución de Lakehouse administra los metadatos de Iceberg y la venta de credenciales está habilitada, también puedes leer o escribir en quickstart_table con cualquier motor de código abierto compatible con Iceberg, como Apache Spark, Trino o Apache Flink, sin otorgarles acceso directo de IAM a tu bucket.

Realiza una limpieza

Para evitar que se apliquen cargos innecesarios a tu cuenta de Google Cloud , borra los recursos que creaste en esta guía de inicio rápido. Si borras la tabla, el espacio de nombres y el catálogo, se quitará el registro de metadatos del catálogo de tiempo de ejecución de Lakehouse, mientras que, si borras el bucket, se quitarán los datos de Parquet y los archivos de metadatos de Iceberg subyacentes almacenados en Cloud Storage:

  1. En la consola de Google Cloud , ve a la página Lakehouse.

    Ir a Lakehouse

  2. Borra la tabla de tu catálogo:

    1. Haz clic en quickstart_catalog y, luego, en quickstart_namespace.
    2. En la fila de quickstart_table, haz clic en Acciones > Borrar.
    3. En el diálogo de confirmación, ingresa delete para confirmar y, luego, haz clic en Borrar.
  3. Borra el espacio de nombres de tu catálogo:

    1. Regresa a la página Detalles del catálogo de quickstart_catalog.
    2. En la fila de quickstart_namespace, haz clic en Más acciones de espacio de nombres > Borrar.
    3. En el diálogo de confirmación, ingresa delete para confirmar y, luego, haz clic en Borrar.
  4. Borra tu catálogo:

    1. Regresa a la página Lakehouse.
    2. En la fila de quickstart_catalog, haz clic en Más acciones del catálogo > Borrar.
    3. En el diálogo de confirmación, ingresa delete para confirmar y, luego, haz clic en Borrar.
  5. Borra el bucket de Cloud Storage y todo su contenido:

    1. Ve a la página Buckets de Cloud Storage:

      Ir a Buckets

    2. Selecciona la casilla de verificación junto al bucket que creaste para esta guía de inicio rápido y, luego, haz clic en Borrar.

    3. En el diálogo de confirmación, ingresa DELETE para confirmar y, luego, haz clic en Borrar.

¿Qué sigue?