El catálogo de entorno de ejecución de Lakehouse te permite integrar Apache Spark y Apache Hive con BigQuery en formatos de almacenamiento como Parquet, ORC, Avro, CSV, JSON y Delta Lake. Revisar estas compatibilidades de Hive SerDe y fuentes de datos de Spark, además de las reglas de conversión de tipos de datos, te ayuda a verificar que los esquemas de tus tablas se alineen con el catálogo de entorno de ejecución de Lakehouse antes de ejecutar cargas de trabajo entre motores.
Formatos de almacenamiento compatibles entre Hive y Spark
En las siguientes secciones, se describe el formato de almacenamiento y la compatibilidad de fuentes de datos entre Hive, Spark y BigQuery.
Asignación detallada del formato de almacenamiento
BigQuery determina el formato de almacenamiento de una tabla en función de las bibliotecas input_format, output_format y SerDe en los metadatos. En la siguiente tabla, se asignan estas propiedades al formato de almacenamiento de BigQuery.
| Formato de entrada, formato de salida y biblioteca SerDe | Formato de almacenamiento de BigQuery |
|---|---|
org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe |
Parquet |
org.apache.hadoop.hive.ql.io.orc.OrcInputFormat org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat org.apache.hadoop.hive.ql.io.orc.OrcSerde |
ORC |
org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat org.apache.hadoop.hive.serde2.avro.AvroSerDe |
Avro |
org.apache.hadoop.mapred.TextInputFormat org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat org.apache.hadoop.hive.serde2.OpenCSVSerde |
CSV |
org.apache.hadoop.mapred.TextInputFormat org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat org.openx.data.jsonserde.JsonSerDe |
JSON |
org.apache.hadoop.mapred.TextInputFormat org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat org.apache.hive.hcatalog.data.JsonSerDe |
JSON |
Compatibilidad con Hive SerDe
En la siguiente tabla, se muestra la compatibilidad de los formatos de tabla de Hive SerDe con BigQuery.
| Formato | Sintaxis de DDL de Spark SQL | Se puede consultar desde BigQuery |
|---|---|---|
| Parquet | CREATE TABLE ... STORED AS PARQUET |
Sí |
| ORC | CREATE TABLE ... STORED AS ORC |
Sí |
| Avro | CREATE TABLE ... STORED AS AVRO |
Sí |
| CSV | CREATE TABLE ... ROW FORMAT 'org.apache.hadoop.hive.serde2.OpenCSVSerde' |
Sí |
| JSON | CREATE TABLE ... ROW FORMAT 'org.openx.data.jsonserde.JsonSerDe' |
Sí |
Compatibilidad con fuentes de datos de Spark
En la siguiente tabla, se muestra la compatibilidad de los formatos de tabla de fuentes de datos de Spark con BigQuery.
Las tablas SerDe de CSV y JSON se pueden consultar desde BigQuery. Sin embargo, las tablas de fuentes de datos de Spark de CSV y JSON no lo son.
| Formato | Sintaxis de DDL de Spark SQL | Se puede consultar desde BigQuery |
|---|---|---|
| Parquet | CREATE TABLE ... USING PARQUET |
Sí |
| ORC | CREATE TABLE ... USING ORC |
Sí |
| Avro | CREATE TABLE ... USING AVRO |
Sí |
| Delta Lake | CREATE TABLE ... USING DELTA |
Sí |
| CSV | CREATE TABLE ... USING CSV |
No |
| JSON | CREATE TABLE ... USING JSON |
No |
Tipos de datos compatibles de Spark a BigQuery
En la siguiente tabla, se asignan los tipos de datos de Spark a los tipos de datos de BigQuery.
| Tipo de datos de Spark | Tipo de datos de BigQuery |
|---|---|
BYTE o TINYINT |
INT64 |
SMALLINT o SHORT |
INT64 |
INT o INTEGER |
INT64 |
BIGINT o LONG |
INT64 |
DECIMAL o NUMERIC |
BIGNUMERIC |
FLOAT |
FLOAT64 |
DOUBLE |
FLOAT64 |
REAL |
FLOAT64 |
BOOLEAN |
BOOL |
STRING |
STRING |
VARCHAR |
STRING |
CHAR o CHARACTER |
STRING |
BINARY |
BYTES |
DATE |
DATE |
TIMESTAMP o TIMESTAMP_LTZ |
TIMESTAMP |
ARRAY |
ARRAY |
STRUCT<col_name: type1, ...> |
STRUCT<col_name: type1, ...> |
MAP<key_type, value_type> |
ARRAY<STRUCT<key: key_type, value: value_type>>Para habilitar esta función, envía un correo electrónico a biglake-help@google.com. Esto solo es necesario si tus cargas de trabajo usan MAP. |
¿Qué sigue?
- Usa Spark y Hive con el catálogo de entorno de ejecución de Lakehouse.
- Configura Spark con tablas delta.