Exporta datos de Facturación de Cloud a BigQuery

La exportación de la Facturación de Cloud a BigQuery te permite exportar de forma automática datos detallados de la facturación de Google Cloud (como datos de uso, de estimación de costos o de precios) durante todo el día a un conjunto de datos de BigQuery. Luego, puedes acceder a tus datos de la Facturación de Cloud desde BigQuery para realizar un análisis detallado. También puedes usar este método de exportación para exportar datos a un archivo JSON.

La hora es importante. Si deseas acceder a un conjunto más completo deGoogle Cloud datos de facturación para tus necesidades de análisis, te recomendamos que habilites la exportación de datos de la Facturación de Cloud a BigQuery al mismo tiempo que creas una cuenta de Facturación de Cloud.

Consulta las limitaciones que podrían afectar la exportación de tus datos de facturación a BigQuery.

Próximos pasos

Administrar los costos y hacer informes sobre ellos de manera eficaz es una parte fundamental de la administración financiera, ya sea que gestiones una empresa multimillonaria o un pequeño presupuesto familiar. La toma de decisiones sobre los costos y el uso deGoogle Cloud en función de los datos comienza con la recopilación de los datos que necesitas para tomar esas decisiones.

Consulta las guías que figuran en sección para obtener información sobre las siguientes tareas:

• Configura la exportación de datos de la Facturación de Cloud a BigQuery
• Comprende las tablas de datos de la Facturación de Cloud
• Busca consultas de ejemplo para la exportación de datos de la Facturación de Cloud

Configura la exportación de datos de Facturación de Cloud a BigQuery

Para comenzar a recopilar tus datos de la Facturación de Cloud, debes habilitar la exportación de datos de la Facturación de Cloud a BigQuery para cada tipo de exportación de facturación que necesites.

Estos son los tipos de datos de Facturación de Cloud que puedes habilitar para la exportación:

Tipo de exportación	Descripción
Costo de uso de FOCUS (versión preliminar)	La exportación de costos de uso de FOCUS es un conjunto de datos inmutable de BigQuery que contiene tus datos de costos de uso detallados normalizados con los estándares de la FinOps Open Cost and Usage Specification (FOCUS). FOCUS es una especificación abierta que define requisitos claros para que los generadores de datos de facturación de tecnología produzcan conjuntos de datos coherentes de costos y uso. Por lo general, las columnas de la exportación de FOCUS se asignan a los campos de la exportación detallada de costos de uso. Obtén información para habilitar la exportación de la facturación de costos de uso de FOCUS.
Costo de uso estándar	La exportación de datos de costos de uso estándar contiene información de uso de los costos de la cuenta de Facturación de Cloud estándar, como el ID de la cuenta, la fecha de la factura, los servicios, los SKU, los proyectos, las etiquetas, las ubicaciones, el costo, el uso, los créditos, los ajustes y la moneda. Usa la exportación de costo de uso estándar para analizar las tendencias generales en tus datos de costos. Obtén información para habilitar la exportación de facturación de costos de uso estándar.
Costo de uso detallado	La exportación de datos de costos de uso detallados contiene información detallada del costo de uso de la cuenta de Facturación de Cloud. El esquema de exportación detallado incluye todo lo que se encuentra en los datos de costos de uso estándar, además de los datos de costos a nivel de recursos, como una máquina virtual o SSD que genera uso de servicios. Usa la exportación de costos de uso detallados para analizar los costos a nivel de recurso y, también, identificar los recursos específicos que podrían aumentar los costos. La exportación detallada incluye información detallada de costos sobre varios servicios. Para ver información sobre GKE, también debes habilitar la asignación de costos en las exportaciones detalladas. Revisa el esquema de los datos de costos de uso detallados para conocer más recomendaciones y limitaciones. Obtén información para habilitar la exportación de facturación de costos de uso detallados.
Datos de precios	La exportación de datos de precios contiene información de precios de la cuenta de Facturación de Cloud, como el ID de la cuenta de facturación, los servicios, los SKU, los productos, los metadatos geográficos, las unidades de precios, la moneda, la agregación y los niveles. Obtén información para habilitar la exportación de precios. También puedes obtener los datos de precios de tu cuenta de Facturación de Cloud de estas maneras: Usa la página Precios en la consola de Google Cloud Usa la Google Cloud API de Pricing
Exportación de descuentos por compromiso de uso (versión preliminar)	Para los clientes que compran CUD, la exportación de metadatos de descuentos por compromiso de uso (CUD) proporciona una exportación diaria de los metadatos de CUD a una tabla de BigQuery, que puedes unir con otras exportaciones de datos de facturación para mejorar la administración y la generación de informes de los CUD. Los metadatos de CUD incluyen información como el ID de la cuenta de facturación, el ID del producto, el ID del modelo de consumo, las unidades y los valores del importe del compromiso, y mucho más.
(Solo para distribuidores) Exportación de datos de facturación nueva	Solo para revendedores, la exportación de datos de refacturación contiene información detallada del costo de uso de la cuenta de Facturación de Cloud en todas tus cuentas de facturación de revendedor anotadas con atributos específicos del socio. Usa la exportación de datos de Refacturación para administrar las operaciones de facturación de tus clientes de Google Cloud . Obtén más información sobre las configuraciones de precios que te permiten generar costos para los clientes finales.

Se generan cargos de uso de BigQuery cuando usas BigQuery para almacenar y analizar tus datos de uso y costos de facturación. Para obtener más información, consulta los costos de uso de BigQuery.

Consulta las limitaciones que podrían afectar la exportación de tus datos de facturación a BigQuery.

Comprende las tablas de datos de la Facturación de Cloud

Después de habilitar la exportación de la Facturación de Cloud a BigQuery, se crean automáticamente las tablas de datos de la Facturación de Cloud en el Conjunto de datos de BigQuery.

Para comprender el esquema de datos del contenido exportado, consulta la información de referencia del contenido de los datos de la Facturación de Cloud que se exportan a cada tabla en el conjunto de datos de BigQuery.

• Tabla de costos de uso de FOCUS (vista previa)
• Tabla de costos de uso estándar
• Tabla de costos de uso detallados
• Tabla de precios
• Exportación de metadatos del CUD (vista previa)

Encuentra consultas de ejemplo para los datos de la Facturación de Cloud

Hay consultas de ejemplo disponibles para diferentes tipos de datos de facturación exportados.

Costo de uso de FOCUS

Para obtener datos de facturación de FOCUS, consulta las consultas de ejemplo de FOCUS disponibles en el sitio de FinOps Foundation.

• Consultas de FOCUS v1.2
• Consultas de FOCUS v1.1
• Consultas de FOCUS v1.0

Exportaciones de costos de uso estándar, costos de uso detallados y precios

Para obtener sugerencias y orientación sobre el uso de SQL para ejecutar consultas en tus datos de Facturación de Cloud para las exportaciones de costo de uso estándar, costo de uso detallado y precios, consulta los ejemplos de consultas.

En la página de consultas de ejemplo, encontrarás varios ejemplos de SQL, incluidos los siguientes:

• Muestra los costos totales en una factura
• Consulta los datos mediante etiquetas.
• Muestra datos sobre los descuentos por compromiso de uso.
• Consulta los costos y créditos por proyecto para un mes de facturación especificado
• Une datos de precios con datos detallados de costos de uso

Costos de uso de BigQuery

Se generan cargos de uso de BigQuery cuando usas BigQuery para almacenar y analizar tus datos de uso y costos de facturación. Los costos principales en BigQuery son el almacenamiento, para los datos que se almacenan en BigQuery, y el procesamiento, que se usa para procesar las consultas.

Tus costos de BigQuery dependen de la cantidad de datos que almacenes y consultes. Por lo general, los costos de almacenamiento son más bajos que los costos de las consultas.

Para obtener más información sobre los costos de BigQuery, consulta Cómo estimar y controlar los costos en BigQuery.

Costos de almacenamiento

Los costos de almacenamiento incluyen el costo de almacenar los datos que cargas en BigQuery y dependen de tu modelo de facturación de almacenamiento.

• La carga de datos en el conjunto de datos designado es gratuita; esta acción aprovecha el grupo de recursos compartidos de BigQuery a fin de cargar datos en lotes.
• Muchas operaciones en tablas de partición son gratuitas, como subir datos a particiones, copiarlas y exportar datos desde ellas. A pesar de esto, estas operaciones están sujetas a las cuotas y límites de BigQuery.
• La exportación de FOCUS se proporciona como una exportación inmutable, con un conjunto de datos vinculado por el que paga Google. No se aplican costos de almacenamiento para los datos de costos de uso de FOCUS de los últimos dos años, a menos que copies y almacenes los datos de FOCUS en una tabla de almacenamiento a largo plazo que sea de tu propiedad.

Si deseas obtener más información sobre las prácticas recomendadas para optimizar el costo del almacenamiento de BigQuery, consulta Controla los costos de almacenamiento. También puedes optimizar el almacenamiento para el rendimiento de las consultas.

Costos de consulta

Cuando analizas tus datos, se te factura por todos los datos que se leen cada vez que se ejecuta la consulta. La ejecución de consultas puede provocar un aumento repentino de los costos.

• Antes de ejecutar una consulta, puedes obtener una vista previa de ella para verificar los costos estimados.
• En el caso de los datos de facturación, consultar la exportación detallada de costos puede costar más que consultar la exportación estándar. Si deseas optimizar los costos, te recomendamos usar la exportación estándar para analizar las tendencias en los costos y usar la exportación detallada para realizar un seguimiento de los costos a nivel de recurso y, además, identificar los recursos específicos que podrían generar los costos.
• Obtén más información para controlar los costos de las consultas individuales y controlar los costos dentro de una carga de trabajo.

Si deseas obtener más información sobre las prácticas recomendadas para optimizar los costos cuando ejecutas consultas en BigQuery, consulta Optimiza el procesamiento de las consultas.

Para obtener precios detallados, consulta Precios de BigQuery.

Limitaciones

La exportación de datos de Facturación de Cloud a BigQuery está sujeta a las siguientes limitaciones.

Esquema de la tabla para las exportaciones de datos de la Facturación de Cloud

El esquema de la tabla de cualquiera de las exportaciones de datos de Facturación de Cloud puede cambiar.

Cuando cambia el esquema de la tabla, por ejemplo, cuando se agregan campos nuevos a un esquema de tabla de BigQuery para una exportación de datos de Facturación de Cloud, es posible que fallen las consultas que hacen referencia directa a las columnas exportadas. Para resolver este problema, te recomendamos que crees vistas de BigQuery que consulten las tablas exportadas y presenten la información en la estructura que prefieras.

Luego, puedes ajustar las consultas que realizan el feed de tus informes y paneles para extraer de las vistas, en lugar de las tablas exportadas. Con las vistas, puedes estandarizar la estructura de los datos que se usan en tus consultas y paneles.

Las vistas que crees deben normalizar los datos para que todas las tablas pertinentes presenten el mismo esquema a tus consultas. Esto te protege de futuros cambios en el esquema, lo que te permite modificar la consulta subyacente de la vista en aquellos casos en los que cambia el esquema de datos.

Exportación de FOCUS y retención de datos

Los datos de facturación exportados a la exportación de BigQuery en FOCUS proporcionada por Google están sujetos a una política de tiempo de actividad (TTL) de 2 años. Los datos con más de dos años se borran automáticamente de la tabla de exportación de FOCUS proporcionada en el conjunto de datos de BigQuery. Si necesitas conservar el historial de datos de facturación de FOCUS por más de dos años, copia los datos de FOCUS en una tabla de almacenamiento a largo plazo que sea de tu propiedad.

Ubicaciones de conjuntos de datos de BigQuery y disponibilidad de datos

Ubicaciones de conjuntos de datos de BigQuery compatibles con los datos de Facturación de Cloud:

Los conjuntos de datos de BigQuery están configurados para usar una ubicación, ya sea una ubicación multirregional (EU o US) o una ubicación regional. La ubicación del conjunto de datos se establece en el momento de la creación. Después de crear un conjunto de datos, no se puede cambiar su ubicación.

La exportación de datos de la Facturación de Cloud admite todas las ubicaciones multirregionales (EU o US), pero solo un subconjunto de ubicaciones regionales. Cuando estableces la configuración de exportación de la Facturación de Cloud, si creas o seleccionas un conjunto de datos configurado para usar una ubicación regional no compatible, cuando intentes guardar la configuración de exportación, verás un error de Región del conjunto de datos no válida.

En la siguiente tabla, se enumeran las ubicaciones multirregionales y las ubicaciones regionales compatibles con los conjuntos de datos de BigQuery que contienen datos de Facturación de Cloud.

América	Asia-Pacífico	Europa	Oriente Medio
Multirregión: US Regiones: northamerica-northeast1 (Montreal) southamerica-east1 (São Paulo) us-central1 (Iowa) us-east1 (Carolina del Sur) us-east4 (Virginia del Norte) us-west1 (Oregón) us-west2 (Los Ángeles) us-west3 (Salt Lake City) us-west4 (Las Vegas)	Regiones: asia-east1 (Taiwán) asia-east2 (Hong Kong) asia-northeast1 (Tokio) asia-northeast2 (Osaka) asia-northeast3 (Seúl) asia-south1 (Bombay) asia-southeast1 (Singapur) asia-southeast2 (Yakarta) australia-southeast1 (Sídney)	Multirregión: EU Regiones: europe-central2 (Varsovia) europe-north1 (Finlandia) europe-west1 (Bélgica) europe-west2 (Londres) europe-west3 (Fráncfort) europe-west4 (Países Bajos) europe-west6 (Zúrich)	Regiones: me-central1 (Doha) me-central2 (Dammam) me-west1 (Tel Aviv)

Ubicaciones y disponibilidad de los datos:

• Para los conjuntos de datos de BigQuery que contienen datos de costos de uso de FOCUS, datos de costos de uso estándar o datos de costos de uso detallados, el tipo de ubicación que configures en el conjunto de datos influye en el tiempo en que tus datos de facturación Google Cloud se exportan al conjunto de datos:

  • Si configuras el conjunto de datos para usar una ubicación multirregional, el conjunto de datos incluye Google Cloud los datos de facturación incurridos desde el inicio del mes anterior a partir del momento en que habilitaste la exportación por primera vez, a menos que vuelvas a habilitar la exportación. Es decir, los datos de facturación deGoogle Cloud se agregan de forma retroactiva solo para el mes actual y el anterior. En el caso del reabastecimiento inicial de datos exportados, es posible que los datos de la Facturación de Cloud tarden hasta cinco días en terminar de exportarse antes de que comiences a ver los datos de uso actuales.

  • Si tu conjunto de datos está configurado para usar una ubicación regional compatible, tus datos de costos de uso de FOCUS, tus datos de costos de uso estándar y tus datos de costos de uso detallados solo reflejan los Google Cloud datos de facturación generados desde la fecha en la que habilitaste la exportación de Facturación de Cloud en adelante. Es decir, Google Cloud los datos de facturación no se agregan de forma retroactiva para las ubicaciones de conjuntos de datos que no son multirregionales, por lo que no verás los datos de Facturación de Cloud en antes de habilitar la exportación.

    Nota: La exportación de datos de la Facturación de Cloud admite todas las ubicaciones multirregionales (UE o EE.UU.) y un subconjunto de ubicaciones regionales. Cuando estableces la configuración de exportación de la Facturación de Cloud, si creas o seleccionas un conjunto de datos configurado para usar una ubicación regional no compatible, cuando intentes guardar la configuración de exportación, verás un error de Región del conjunto de datos no válida.

  • Para obtener más detalles, consulta Disponibilidad de los datos.

• Tus conjuntos de datos de BigQuery que contienen datos de precios solo recopilan Google Cloud datos de facturación generados a partir de la fecha en que configuraste la exportación de la Facturación de Cloud. Es decir, los datos de precios deGoogle Cloud no se agregan de forma retroactiva, por lo que no verás datos de precios de Facturación de Cloud de fechas previas a la habilitación de la exportación. Para obtener más detalles, consulta Disponibilidad de los datos.

Cómo inhabilitar, volver a habilitar o editar la configuración de exportación

Si inhabilitas, vuelves a habilitar o editas la configuración de exportación para actualizar el proyecto o el conjunto de datos en el que se almacenan los datos de facturación exportados, los datos de facturación exportados anteriormente no se completarán en tu nuevo conjunto de datos. Para incluir los datos de facturación que se exportaron antes de cambiar a otro proyecto o conjunto de datos, debes unir manualmente el nuevo conjunto de datos con el anterior. Para obtener más información, consulta Operación de unión.

Advertencia: No insertes datos en las tablas de exportación de facturación, por ejemplo, combinando manualmente datos de un conjunto de datos anterior. Si insertas datos de forma manual, es posible que el proceso de exportación de la Facturación de Cloud los borre.

Encriptación del conjunto de datos

Los conjuntos de datos de BigQuery se configuran para usar la encriptación en reposo. Para ello, se establece una opción de clave de encriptación cuando se crea el conjunto de datos, ya sea una Google-owned and Google-managed encryption keyo una clave de encriptación administrada por el cliente (CMEK). Puedes editar el parámetro de configuración de encriptación después de crear un conjunto de datos.

Advertencia: Para usar la encriptación con CMEK en tus datos de la Facturación de Cloud, debes habilitar CMEK a nivel del conjunto de datos.

Si ya habilitaste la exportación de datos de la Facturación de Cloud a BigQuery y tu conjunto de datos está configurado para usar unGoogle-managed encryption key, puedes actualizar el conjunto de datos y sus tablas para usar una CMEK. Para actualizar el conjunto de datos y sus tablas, completa los siguientes pasos:

1. Configura una clave predeterminada para el conjunto de datos. Establecer una clave predeterminada garantiza que las tablas nuevas que se creen en el conjunto de datos se protejan automáticamente con la CMEK.
2. Usa la herramienta de línea de comandos de bq para habilitar la CMEK en cada tabla existente del conjunto de datos. Si cambias la clave predeterminada del conjunto de datos, no se volverán a encriptar automáticamente las tablas existentes.

Obtén más información para habilitar la CMEK en las tablas de BigQuery.

Políticas de la organización de CMEK

Puedes usar políticas de la organización de CMEK para aplicar el uso de CMEK en tus recursos de BigQuery, incluidas las exportaciones de facturación, o para exigir que la CMEK resida en un proyecto aprobado. Sin embargo, aplicar las políticas de la organización de CMEK puede tener los siguientes efectos inesperados:

• Es posible que falle el proceso de exportación a conjuntos de datos existentes: Cuando habilitas una nueva restricción de política de la organización, esta no se aplica a los conjuntos de datos existentes. Esto significa que puedes tener conjuntos de datos que aún existen, aunque ya no estén permitidos. Sin embargo, la próxima vez que intentes exportar datos a ese conjunto de datos, el proceso de exportación fallará si no se pueden crear tablas nuevas debido a una política de la organización que se aplicó recientemente.

  Para evitar esta situación, revisa de forma proactiva tus configuraciones de exportación de facturación existentes cada vez que actualices las políticas de tu organización y actualiza la configuración del conjunto de datos según sea necesario para cumplir con las restricciones de restrictNonCmekServices y restrictCmekCryptoKeyProjects.

• Aplicación incoherente de las políticas de la organización: Las políticas de la organización no se aplican cuando creas un conjunto de datos vacío. Esto significa que puedes aplicar la restricción restrictNonCmekServices para exigir que los recursos de BigQuery usen una CMEK para su encriptación, pero luego crear correctamente un conjunto de datos de BigQuery que esté configurado para usar Google-owned and Google-managed encryption keys. Sin embargo, la exportación de facturación que usa ese conjunto de datos fallará porque la política de la organización no te permitirá crear una tabla no protegida por CMEK mientras se aplique la restricción restrictNonCmekServices para BigQuery.

  Para resolver esta situación, actualiza la encriptación de tu conjunto de datos para establecer una clave predeterminada que cumpla con las restricciones de restrictNonCmekServices y restrictCmekCryptoKeyProjects.

Seguridad a nivel de la fila

Si quieres usar la seguridad a nivel de las filas de BigQuery en la tabla que contiene los datos exportados, debes otorgar a la cuenta de servicio de exportación de Facturación de Cloud [e-mail] acceso completo a la tabla con el filtro TRUE de BigQuery. El siguiente comando otorga acceso a la cuenta de servicio de Facturación de Cloud:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:[e-mail]')
FILTER USING (TRUE);

Datos de costos de uso detallados o de FOCUS y GKE

Cuando exportas datos de costos de uso de FOCUS o datos detallados de costos de uso, la exportación incluye automáticamente información a nivel de recursos sobre Compute Engine y otros servicios. Sin embargo, para los datos de Google Kubernetes Engine (GKE), si deseas ver un desglose de los costos del clúster de GKE en una exportación de datos detallada o de FOCUS, también debes habilitar la asignación de costos para GKE.

Etiquetas a nivel del recurso

Las etiquetas a nivel de recurso pueden tardar hasta una hora en propagarse a las exportaciones de BigQuery. Si se agregó o quitó una etiqueta en un plazo de una hora, o si existe un recurso durante menos de una hora, es posible que no aparezca en la exportación.

Las etiquetas a nivel del recurso están disponibles para varios recursos en la exportación de costos de uso estándar y la exportación de costos de uso detallada.