Consulta un conjunto de datos públicos con las bibliotecas cliente de BigQuery
Obtén más información sobre cómo consultar un conjunto de datos públicos con las bibliotecas cliente de BigQuery.
Para seguir la guía paso a paso sobre esta tarea directamente en la consola deGoogle Cloud , selecciona el lenguaje de programación que prefieras:
C#
Go
Java
Node.js
PHP
Python
Ruby
Antes de comenzar
-
Crea o selecciona un Google Cloud proyecto.
Roles necesarios para seleccionar o crear un proyecto
- Selecciona un proyecto: Para seleccionar un proyecto, no se requiere un rol de IAM específico. Puedes seleccionar cualquier proyecto en el que se te haya otorgado un rol.
-
Crear un proyecto: Para crear un proyecto, necesitas el rol de Creador de proyectos (
roles/resourcemanager.projectCreator), que contiene el permisoresourcemanager.projects.create. Obtén más información para otorgar roles.
-
Crea un proyecto de Google Cloud :
gcloud projects create PROJECT_ID
Reemplaza
PROJECT_IDpor un nombre para el proyecto Google Cloud que estás creando. -
Selecciona el proyecto Google Cloud que creaste:
gcloud config set project PROJECT_ID
Reemplaza
PROJECT_IDpor el nombre de tu Google Cloud proyecto.
-
Elige si deseas usar la zona de pruebas de BigQuery sin cargo o habilitar la facturación para tu proyecto de Google Cloud .
Si no habilitas la facturación para un proyecto, trabajarás de forma automática en la zona de pruebas de BigQuery. La zona de pruebas de BigQuery te permite comprender la plataforma con un conjunto limitado de funciones de BigQuery sin cargo. Si no planeas usar tu proyecto más allá de este documento, te recomendamos que uses la zona de pruebas de BigQuery.
-
Otorga roles a tu cuenta de usuario. Ejecuta el siguiente comando una vez para cada uno de los siguientes roles de IAM:
roles/serviceusage.serviceUsageAdmin, roles/bigquery.jobUsergcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
Reemplaza lo siguiente:
PROJECT_ID: ID del proyectoUSER_IDENTIFIER: Es el identificador de tu cuenta de usuario de . Por ejemplo,myemail@example.com.ROLE: Es el rol de IAM que otorgas a tu cuenta de usuario.
-
Habilita la API de BigQuery:
Roles necesarios para habilitar las APIs
Para habilitar las APIs, necesitas el rol de IAM de administrador de Service Usage (
roles/serviceusage.serviceUsageAdmin), que contiene el permisoserviceusage.services.enable. Obtén más información para otorgar roles.gcloud services enable bigquery
Para los proyectos nuevos, la API de BigQuery se habilita de forma automática.
-
En la consola de Google Cloud , activa Cloud Shell.
Activa tu proyecto de Google Cloud en Cloud Shell:
gcloud config set project PROJECT_IDReemplaza PROJECT_ID por el proyecto que seleccionaste para esta explicación.
El resultado es similar a este:
Updated property [core/project].
Consulta un conjunto de datos públicos
Selecciona uno de los siguientes idiomas:
C#
En Cloud Shell, crea un proyecto y un archivo de C# nuevos:
dotnet new console -n BigQueryCsharpDemo
El resultado es similar al siguiente. Se omiten varias líneas para simplificar el resultado.
Welcome to .NET 6.0! --------------------- SDK Version: 6.0.407 ... The template "Console App" was created successfully. ...
Este comando crea un proyecto de C# denominado
BigQueryCsharpDemoy un archivo llamadoProgram.cs.Abre el Editor de Cloud Shell:
cloudshell workspace BigQueryCsharpDemo
Para abrir una terminal en el editor de Cloud Shell, haz clic en Abrir terminal.
Abre el directorio de tu proyecto:
cd BigQueryCsharpDemo
Instala la biblioteca cliente de BigQuery para C#:
dotnet add package Google.Cloud.BigQuery.V2
El resultado es similar al siguiente. Se omiten varias líneas para simplificar el resultado.
Determining projects to restore... Writing /tmp/tmpF7EKSd.tmp ... info : Writing assets file to disk. ...
Establece la variable
GOOGLE_PROJECT_IDen el valorGOOGLE_CLOUD_PROJECTy exporta la variable:export GOOGLE_PROJECT_ID=$GOOGLE_CLOUD_PROJECT
Haz clic en Abrir editor.
En el panel Explorador, ubica el proyecto
BIGQUERYCSHARPDEMO.Haz clic en el archivo
Program.cspara abrirlo.Para crear una consulta en el conjunto de datos
bigquery-public-data.stackoverflowque devuelva las 10 páginas más vistas de Stack Overflow y los recuentos de vistas, reemplaza el contenido del archivo por el siguiente código:Haz clic en Abrir terminal.
En la terminal, ejecuta la secuencia de comandos
Program.cs. Si se te solicita que autorices a Cloud Shell y aceptes los términos, haz clic en Autorizar.dotnet runEl resultado es similar al siguiente:
Query Results: ------------ https://stackoverflow.com/questions/35159967: 170023 views https://stackoverflow.com/questions/22879669: 142581 views https://stackoverflow.com/questions/10604135: 132406 views https://stackoverflow.com/questions/44564887: 128781 views https://stackoverflow.com/questions/27060396: 127008 views https://stackoverflow.com/questions/12482637: 120766 views https://stackoverflow.com/questions/20673986: 115720 views https://stackoverflow.com/questions/39109817: 108368 views https://stackoverflow.com/questions/11057219: 105175 views https://stackoverflow.com/questions/43195143: 101878 views
Consultaste con éxito un conjunto de datos públicos con la biblioteca cliente de C# para BigQuery.
Go
En Cloud Shell, crea un proyecto y un archivo de Go nuevos:
mkdir bigquery-go-quickstart \ && touch \ bigquery-go-quickstart/app.go
Este comando crea un proyecto de Go denominado
bigquery-go-quickstarty un archivo llamadoapp.go.Abre el Editor de Cloud Shell:
cloudshell workspace bigquery-go-quickstart
Para abrir una terminal en el editor de Cloud Shell, haz clic en Abrir terminal.
Abre el directorio de tu proyecto:
cd bigquery-go-quickstart
Crea un archivo
go.mod:go mod init quickstart
El resultado es similar a este:
go: creating new go.mod: module quickstart go: to add module requirements and sums: go mod tidyInstala la biblioteca cliente de BigQuery para Go:
go get cloud.google.com/go/bigquery
El resultado es similar al siguiente. Se omiten varias líneas para simplificar el resultado.
go: downloading cloud.google.com/go/bigquery v1.49.0 go: downloading cloud.google.com/go v0.110.0 ... go: added cloud.google.com/go/bigquery v1.49.0 go: added cloud.google.com/go v0.110.0
Haz clic en Abrir editor.
En el panel Explorador, ubica el proyecto
BIGQUERY-GO-QUICKSTART.Haz clic en el archivo
app.gopara abrirlo.Para crear una consulta en el conjunto de datos
bigquery-public-data.stackoverflowque devuelva las 10 páginas más vistas de Stack Overflow y sus recuentos de vistas, copia el siguiente código en el archivoapp.go:Haz clic en Abrir terminal.
En la terminal, ejecuta la secuencia de comandos
app.go. Si se te solicita que autorices a Cloud Shell y aceptes los términos, haz clic en Autorizar.go run app.go
El resultado es similar al siguiente:
https://stackoverflow.com/questions/35159967 : 170023 views https://stackoverflow.com/questions/22879669 : 142581 views https://stackoverflow.com/questions/10604135 : 132406 views https://stackoverflow.com/questions/44564887 : 128781 views https://stackoverflow.com/questions/27060396 : 127008 views https://stackoverflow.com/questions/12482637 : 120766 views https://stackoverflow.com/questions/20673986 : 115720 views https://stackoverflow.com/questions/39109817 : 108368 views https://stackoverflow.com/questions/11057219 : 105175 views https://stackoverflow.com/questions/43195143 : 101878 views
Consultaste con éxito un conjunto de datos públicos con la biblioteca cliente de Go para BigQuery.
Java
En Cloud Shell, crea un proyecto nuevo de Java con Apache Maven:
mvn archetype:generate \ -DgroupId=com.google.app \ -DartifactId=bigquery-java-quickstart \ -DinteractiveMode=false
Este comando crea un proyecto de Maven denominado
bigquery-java-quickstart.El resultado es similar al siguiente. Se omiten varias líneas para simplificar el resultado.
[INFO] Scanning for projects... ... [INFO] Building Maven Stub Project (No POM) 1 ... [INFO] BUILD SUCCESS ...
Existen muchos sistemas de administración de dependencias que puedes usar que no sean Maven. Para obtener más información, consulta cómo configurar un entorno de desarrollo de Java para usar con bibliotecas cliente.
Cambia el nombre del archivo
App.javaque Maven crea de forma predeterminada:mv \ bigquery-java-quickstart/src/main/java/com/google/app/App.java \ bigquery-java-quickstart/src/main/java/com/google/app/SimpleApp.java
Abre el editor de Cloud Shell:
cloudshell workspace bigquery-java-quickstart
Cuando se te pregunte si deseas sincronizar la configuración o la ruta de clase de Java, haz clic en Always.
Si no se te solicita y encuentras un error relacionado con la ruta de clase durante esta explicación, haz lo siguiente:
- Haz clic en File > Preferences > abre Settings.
- Haz clic en Extensions > Java.
- Desplázate hasta Configuration: Update Build Configuration y selecciona Automático.
En el panel Explorador, ubica el proyecto
BIGQUERY-JAVA-QUICKSTART.Haz clic en el archivo
pom.xmlpara abrirlo.Dentro de la etiqueta
<dependencies>, agrega la siguiente dependencia después de las existentes. No reemplaces ninguna dependencia existente.<dependency> <groupId>com.google.cloud</groupId> <artifactId>google-cloud-bigquery</artifactId> </dependency>En la línea que sigue a la etiqueta de cierre (
</dependencies>), agrega lo siguiente:<dependencyManagement> <dependencies> <dependency> <groupId>com.google.cloud</groupId> <artifactId>libraries-bom</artifactId> <version>26.1.5</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement>En el panel Explorer, en tu proyecto
BIGQUERY-JAVA-QUICKSTART, haz clic en src > main/java/com/google/app > SimpleApp.java. Se abrirá el archivo.Para crear una consulta en el conjunto de datos
bigquery-public-data.stackoverflow, deja la primera línea del archivo (package com.google.app;) y reemplaza el contenido restante del archivo por el siguiente código:La consulta muestra las 10 páginas más vistas de Stack Overflow y los recuentos de vistas.
Haz clic con el botón derecho en SimpleApp.java y, luego, en Run Java. Si se te solicita que autorices a Cloud Shell y aceptes los términos, haz clic en Autorizar.
El resultado es similar al siguiente:
https://stackoverflow.com/questions/35159967 : 170023 views https://stackoverflow.com/questions/22879669 : 142581 views https://stackoverflow.com/questions/10604135 : 132406 views https://stackoverflow.com/questions/44564887 : 128781 views https://stackoverflow.com/questions/27060396 : 127008 views https://stackoverflow.com/questions/12482637 : 120766 views https://stackoverflow.com/questions/20673986 : 115720 views https://stackoverflow.com/questions/39109817 : 108368 views https://stackoverflow.com/questions/11057219 : 105175 views https://stackoverflow.com/questions/43195143 : 101878 views
Consultaste con éxito un conjunto de datos públicos con la biblioteca cliente de Java para BigQuery.
Node.js
En Cloud Shell, crea un proyecto y archivo nuevos de Node.js:
mkdir bigquery-node-quickstart \ && touch \ bigquery-node-quickstart/app.js
Este comando crea un proyecto de Node.js denominado
bigquery-node-quickstarty un archivo llamadoapp.js.Abre el Editor de Cloud Shell:
cloudshell workspace bigquery-node-quickstart
Para abrir una terminal en el editor de Cloud Shell, haz clic en Abrir terminal.
Abre el directorio de tu proyecto:
cd bigquery-node-quickstart
Instala la biblioteca cliente de BigQuery para Node.js:
npm install @google-cloud/bigquery
El resultado es similar a lo siguiente:
added 63 packages in 2s
Haz clic en Abrir editor.
En el panel Explorador, ubica el proyecto
BIGQUERY-NODE-QUICKSTART.Haz clic en el archivo
app.jspara abrirlo.Para crear una consulta en el conjunto de datos
bigquery-public-data.stackoverflowque devuelva las 10 páginas más vistas de Stack Overflow y sus recuentos de vistas, copia el siguiente código en el archivoapp.js:Haz clic en Abrir terminal.
En la terminal, ejecuta la secuencia de comandos
app.js. Si se te solicita que autorices a Cloud Shell y aceptes los términos, haz clic en Autorizar.node app.jsEl resultado es similar al siguiente:
Query Results: url: https://stackoverflow.com/questions/35159967, 170023 views url: https://stackoverflow.com/questions/22879669, 142581 views url: https://stackoverflow.com/questions/10604135, 132406 views url: https://stackoverflow.com/questions/44564887, 128781 views url: https://stackoverflow.com/questions/27060396, 127008 views url: https://stackoverflow.com/questions/12482637, 120766 views url: https://stackoverflow.com/questions/20673986, 115720 views url: https://stackoverflow.com/questions/39109817, 108368 views url: https://stackoverflow.com/questions/11057219, 105175 views url: https://stackoverflow.com/questions/43195143, 101878 views
Consultaste con éxito un conjunto de datos públicos con la biblioteca cliente de Node.js para BigQuery.
PHP
En Cloud Shell, crea un proyecto y un archivo de PHP nuevos:
mkdir bigquery-php-quickstart \ && touch \ bigquery-php-quickstart/app.php
Este comando crea un proyecto de PHP denominado
bigquery-php-quickstarty un archivo llamadoapp.php.Abre el Editor de Cloud Shell:
cloudshell workspace bigquery-php-quickstart
Para abrir una terminal en el editor de Cloud Shell, haz clic en Abrir terminal.
Abre el directorio de tu proyecto:
cd bigquery-php-quickstart
Instala la biblioteca cliente de BigQuery para PHP:
composer require google/cloud-bigquery
El resultado es similar al siguiente. Se omiten varias líneas para simplificar el resultado.
Running composer update google/cloud-bigquery Loading composer repositories with package information Updating dependencies ... No security vulnerability advisories found Using version ^1.24 for google/cloud-bigquery
Haz clic en Abrir editor.
En el panel Explorador, ubica el proyecto
BIGQUERY-PHP-QUICKSTART.Haz clic en el archivo
app.phppara abrirlo.Para crear una consulta en el conjunto de datos
bigquery-public-data.stackoverflowque devuelva las 10 páginas más vistas de Stack Overflow y sus recuentos de vistas, copia el siguiente código en el archivoapp.php:Haz clic en Abrir terminal.
En la terminal, ejecuta la secuencia de comandos
app.php. Si se te solicita que autorices a Cloud Shell y aceptes los términos, haz clic en Autorizar.php app.phpEl resultado es similar al siguiente:
--- Row 1 --- url: https://stackoverflow.com/questions/35159967, 170023 views --- Row 2 --- url: https://stackoverflow.com/questions/22879669, 142581 views --- Row 3 --- url: https://stackoverflow.com/questions/10604135, 132406 views --- Row 4 --- url: https://stackoverflow.com/questions/44564887, 128781 views --- Row 5 --- url: https://stackoverflow.com/questions/27060396, 127008 views --- Row 6 --- url: https://stackoverflow.com/questions/12482637, 120766 views --- Row 7 --- url: https://stackoverflow.com/questions/20673986, 115720 views --- Row 8 --- url: https://stackoverflow.com/questions/39109817, 108368 views --- Row 9 --- url: https://stackoverflow.com/questions/11057219, 105175 views --- Row 10 --- url: https://stackoverflow.com/questions/43195143, 101878 views Found 10 row(s)
Consultaste con éxito un conjunto de datos públicos con la biblioteca cliente de PHP para BigQuery.
Python
En Cloud Shell, crea un proyecto y un archivo de Python nuevos:
mkdir bigquery-python-quickstart \ && touch \ bigquery-python-quickstart/app.py
Este comando crea un proyecto de Python denominado
bigquery-python-quickstarty un archivo llamadoapp.py.Abre el Editor de Cloud Shell:
cloudshell workspace bigquery-python-quickstart
Para abrir una terminal en el editor de Cloud Shell, haz clic en Abrir terminal.
Abre el directorio de tu proyecto:
cd bigquery-python-quickstart
Instala la biblioteca cliente de BigQuery para Python:
pip install --upgrade google-cloud-bigquery
El resultado es similar al siguiente. Se omiten varias líneas para simplificar el resultado.
Installing collected packages: google-cloud-bigquery ... Successfully installed google-cloud-bigquery-3.9.0 ...
Haz clic en Abrir editor.
En el panel Explorador, ubica el proyecto
BIGQUERY-PYTHON-QUICKSTART.Haz clic en el archivo
app.pypara abrirlo.Para crear una consulta en el conjunto de datos
bigquery-public-data.stackoverflowque devuelva las 10 páginas más vistas de Stack Overflow y sus recuentos de vistas, copia el siguiente código en el archivoapp.py:Haz clic en Abrir terminal.
En la terminal, ejecuta la secuencia de comandos
app.py. Si se te solicita que autorices a Cloud Shell y aceptes los términos, haz clic en Autorizar.python app.pyEl resultado es similar al siguiente:
https://stackoverflow.com/questions/35159967 : 170023 views https://stackoverflow.com/questions/22879669 : 142581 views https://stackoverflow.com/questions/10604135 : 132406 views https://stackoverflow.com/questions/44564887 : 128781 views https://stackoverflow.com/questions/27060396 : 127008 views https://stackoverflow.com/questions/12482637 : 120766 views https://stackoverflow.com/questions/20673986 : 115720 views https://stackoverflow.com/questions/39109817 : 108368 views https://stackoverflow.com/questions/11057219 : 105175 views https://stackoverflow.com/questions/43195143 : 101878 views
Consultaste con éxito un conjunto de datos públicos con la biblioteca cliente de Python para BigQuery.
Ruby
En Cloud Shell, crea un proyecto y un archivo de Ruby nuevos:
mkdir bigquery-ruby-quickstart \ && touch \ bigquery-ruby-quickstart/app.rb
Este comando crea un proyecto de Ruby denominado
bigquery-ruby-quickstarty un archivo llamadoapp.rb.Abre el Editor de Cloud Shell:
cloudshell workspace bigquery-ruby-quickstart
Para abrir una terminal en el editor de Cloud Shell, haz clic en Abrir terminal.
Abre el directorio de tu proyecto:
cd bigquery-ruby-quickstart
Instala la biblioteca cliente de BigQuery para Ruby:
gem install google-cloud-bigquery
El resultado es similar al siguiente. Se omiten varias líneas para simplificar el resultado.
23 gems installed
Haz clic en Abrir editor.
En el panel Explorador, ubica el proyecto
BIGQUERY-RUBY-QUICKSTART.Haz clic en el archivo
app.rbpara abrirlo.Para crear una consulta en el conjunto de datos
bigquery-public-data.stackoverflowque devuelva las 10 páginas más vistas de Stack Overflow y sus recuentos de vistas, copia el siguiente código en el archivoapp.rb:Haz clic en Abrir terminal.
En la terminal, ejecuta la secuencia de comandos
app.rb. Si se te solicita que autorices a Cloud Shell y aceptes los términos, haz clic en Autorizar.ruby app.rbEl resultado es similar al siguiente:
https://stackoverflow.com/questions/35159967: 170023 views https://stackoverflow.com/questions/22879669: 142581 views https://stackoverflow.com/questions/10604135: 132406 views https://stackoverflow.com/questions/44564887: 128781 views https://stackoverflow.com/questions/27060396: 127008 views https://stackoverflow.com/questions/12482637: 120766 views https://stackoverflow.com/questions/20673986: 115720 views https://stackoverflow.com/questions/39109817: 108368 views https://stackoverflow.com/questions/11057219: 105175 views https://stackoverflow.com/questions/43195143: 101878 views
Consultaste con éxito un conjunto de datos públicos con la biblioteca cliente de Ruby para BigQuery.
Realiza una limpieza
Para evitar que se apliquen cargos a tu cuenta de Google Cloud , borra tu proyecto de Google Cloud o los recursos que creaste en esta explicación.
Borra el proyecto
La manera más fácil de eliminar la facturación es borrar el proyecto que creaste para el instructivo.
Para borrar el proyecto, sigue estos pasos:
- En la Google Cloud consola, ve a la página Administrar recursos.
- En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
- En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.
Borra recursos
Si usaste un proyecto existente, borra los recursos que creaste:
C#
En Cloud Shell, mueve un directorio hacia arriba:
cd ..
Borra la carpeta
BigQueryCsharpDemoque creaste:rm -R BigQueryCsharpDemo
La marca
-Rborra todos los recursos de una carpeta.
Go
En Cloud Shell, mueve un directorio hacia arriba:
cd ..
Borra la carpeta
bigquery-go-quickstartque creaste:rm -R bigquery-go-quickstart
La marca
-Rborra todos los recursos de una carpeta.
Java
En Cloud Shell, mueve un directorio hacia arriba:
cd ..
Borra la carpeta
bigquery-java-quickstartque creaste:rm -R bigquery-java-quickstart
La marca
-Rborra todos los recursos de una carpeta.
Node.js
En Cloud Shell, mueve un directorio hacia arriba:
cd ..
Borra la carpeta
bigquery-node-quickstartque creaste:rm -R bigquery-node-quickstart
La marca
-Rborra todos los recursos de una carpeta.
PHP
En Cloud Shell, mueve un directorio hacia arriba:
cd ..
Borra la carpeta
bigquery-php-quickstartque creaste:rm -R bigquery-php-quickstart
La marca
-Rborra todos los recursos de una carpeta.
Python
En Cloud Shell, mueve un directorio hacia arriba:
cd ..
Borra la carpeta
bigquery-python-quickstartque creaste:rm -R bigquery-python-quickstart
La marca
-Rborra todos los recursos de una carpeta.
Ruby
En Cloud Shell, mueve un directorio hacia arriba:
cd ..
Borra la carpeta
bigquery-ruby-quickstartque creaste:rm -R bigquery-ruby-quickstart
La marca
-Rborra todos los recursos de una carpeta.
¿Qué sigue?
- Obtén más información sobre cómo usar las bibliotecas cliente de BigQuery.
- Obtén más información sobre los conjuntos de datos públicos de BigQuery.
- Aprende a cargar datos en BigQuery.
- Obtén más información sobre cómo consultar datos en BigQuery.
- Recibe actualizaciones de BigQuery.
- Obtén más información sobre los precios de BigQuery.
- Obtén más información sobre las cuotas y los límites de BigQuery.