La exportación de la Facturación de Cloud a BigQuery te permite exportar de forma automática datos detallados de la facturación (como datos de uso, de estimación de costos o de precios) durante todo el día a un conjunto de datos de BigQuery. Google Cloud Luego, puedes acceder a tus datos de Facturación de Cloud desde BigQuery para realizar un análisis detallado. También puedes usar este método de exportación para exportar datos a un archivo JSON.
La hora es importante. Si deseas tener acceso a un conjunto más completo de Google Cloud datos de facturación para tus necesidades de análisis, te recomendamos que habilites la exportación de datos de la Facturación de Cloud a BigQuery al mismo tiempo que creas una cuenta de Facturación de Cloud.
Consulta las limitaciones que podrían afectar la exportación de tus datos de facturación a BigQuery.
Próximos pasos
Administrar los costos y hacer informes sobre ellos de manera eficaz es una parte fundamental de la administración financiera, ya sea que gestiones una empresa multimillonaria o un pequeño presupuesto familiar. La toma de decisiones basada en datos sobre los Google Cloud costos y el uso comienza con la recopilación de los datos que necesitas para tomar esas decisiones.
Consulta las guías que figuran en sección para obtener información sobre las siguientes tareas:
- Configura la exportación de datos de la Facturación de Cloud a BigQuery
- Comprende las tablas de datos de la Facturación de Cloud
- Busca consultas de ejemplo para la exportación de datos de la Facturación de Cloud
Configura la exportación de datos de la Facturación de Cloud a BigQuery
Para comenzar a recopilar tus datos de la Facturación de Cloud, debes habilitar la exportación de datos de la Facturación de Cloud a BigQuery para cada tipo de exportación de facturación que necesites.
Estos son los tipos de datos de Facturación de Cloud que puedes habilitar para la exportación:
| Tipo de exportación | Descripción |
|---|---|
| Costo de uso de FOCUS (vista previa) | La exportación de costos de uso de FOCUS es un conjunto de datos inmutable de BigQuery que contiene tus datos detallados de costos de uso normalizados con los estándares de FinOps Open Cost and Usage Specification (FOCUS). FOCUS es una especificación abierta que define requisitos claros para los generadores de datos de facturación de tecnología produzcan conjuntos de datos de costos y uso coherentes. Las columnas de la exportación de FOCUS suelen asignarse a los campos de la exportación de costos de uso detallados. Obtén información para habilitar la exportación de facturación de costos de uso de FOCUS. |
| Costo de uso estándar | La exportación de datos de costos de uso estándar contiene información de uso de los costos de la cuenta de Facturación de Cloud estándar, como el ID de la cuenta, la fecha de la factura, los servicios, los SKU, los proyectos, las etiquetas, las ubicaciones, el costo, el uso, los créditos, los ajustes y la moneda. Usa la exportación de costos de uso estándar para analizar las tendencias generales en los datos de costos. Obtén información para habilitar la exportación de facturación de costos de uso estándar. |
| Costo de uso detallado | La exportación de datos de costos de uso detallados contiene información detallada del costo de uso de la cuenta de Facturación de Cloud. El esquema de exportación detallado incluye todo lo de los datos de costos de uso estándar y los datos de costos a nivel de recursos, como una máquina virtual o SSD que genere uso de servicios. Usa la exportación de costos de uso detallados para analizar los costos a nivel de recurso, y, también, identificar los recursos específicos que podrían aumentar los costos. La exportación detallada incluye información detallada de costos de varios servicios. Para ver información sobre GKE, también debes habilitar la asignación de costos en las exportaciones detalladas. Revisa el esquema de los datos de costos de uso detallados para conocer más recomendaciones y limitaciones. Obtén información para habilitar la exportación de facturación de costos de uso detallados. |
| Datos de precios | La exportación de datos de precios contiene información de precios de cuenta de Facturación de Cloud, como el ID de la cuenta de facturación, los servicios, los SKU, los productos, los metadatos geográficos, las unidades de precios, la moneda, la agregación y los niveles. Obtén información para habilitar la exportación de precios. También puedes obtener los datos de precios de tu cuenta de Facturación de Cloud de estas maneras: |
| Exportación de descuentos por compromiso de uso (vista previa) | Para los clientes que compran CUD, la exportación de metadatos de descuentos por compromiso de uso (CUD) proporciona una exportación diaria de metadatos de CUD a una tabla de BigQuery, que puedes unir con otras exportaciones de datos de facturación para mejorar la administración y los informes de CUD. Los metadatos de CUD incluyen información como el ID de la cuenta de facturación, el ID del producto, el ID del modelo de consumo, las unidades y los valores del importe del compromiso, y mucho más. |
| (Solo distribuidores) Exportación de datos de refacturación | Solo para distribuidores, la exportación de datos de refacturación contiene información detallada del costo de uso de la cuenta de Facturación de Cloud en todas las cuentas de facturación de tu distribuidor anotadas con atributos específicos del socio. Usa la exportación de datos de refacturación para administrar las operaciones de facturación para tus Google Cloud clientes. Obtén más información sobre las configuraciones de precios, que te permiten generar costos de clientes finales. |
Se aplican cargos por uso de BigQuery cuando usas BigQuery para almacenar y analizar el uso de facturación y los datos de costos. Para obtener más información, consulta Costos de uso de BigQuery.
Consulta las limitaciones que podrían afectar la exportación de tus datos de facturación a BigQuery.
Comprende las tablas de datos de la Facturación de Cloud
Después de habilitar la exportación de la Facturación de Cloud a BigQuery, se crean automáticamente las tablas de datos de la Facturación de Cloud en el Conjunto de datos de BigQuery.
Para comprender el esquema de datos del contenido exportado, consulta la información de referencia del contenido de los datos de la Facturación de Cloud que se exportan a cada tabla en el conjunto de datos de BigQuery.
- Tabla de costos de uso de FOCUS (vista previa)
- Tabla de costos de uso estándar
- Tabla de costos de uso detallados
- Tabla de precios
- Exportación de metadatos de CUD (vista previa)
Busca consultas de ejemplo para la exportación de datos de la Facturación de Cloud
Hay consultas de ejemplo disponibles para diferentes tipos de datos de facturación exportados.
Costo de uso de FOCUS
Para los datos de facturación de FOCUS, consulta las consultas de ejemplo de FOCUS que están disponibles en el sitio de la fundación FinOps.
Exportaciones de costos de uso estándar, costos de uso detallados y precios
Si deseas obtener sugerencias para usar SQL a fin de ejecutar consultas en tus datos de la Facturación de Cloud para las exportaciones de costos de uso estándar, costos de uso detallados, y precios, visualiza las consultas de ejemplo.
En la página de consultas de ejemplo, encontrarás varios ejemplos de SQL, incluidos los siguientes:
- Muestra los costos totales en una factura
- Consulta los datos mediante etiquetas.
- Muestra datos sobre los descuentos por compromiso de uso.
- Consulta los costos y créditos por proyecto para un mes de facturación especificado
- Une datos de precios con datos detallados de costos de uso
Costos de uso de BigQuery
Se aplican cargos por uso de BigQuery cuando usas BigQuery para almacenar y analizar el uso de facturación y los datos de costos. Los costos principales en BigQuery son el almacenamiento, para los datos que se almacenan en BigQuery, y el procesamiento, que se usa para el procesamiento de consultas.
Los costos de BigQuery dependen de la cantidad de datos que almacenes y consultes. Por lo general, los costos de almacenamiento son más bajos que los costos de consulta.
Para obtener más información sobre los costos de BigQuery, consulta Estima y controla los costos en BigQuery.
Costos de almacenamiento
Los costos de almacenamiento incluyen el costo de almacenar los datos que cargas en BigQuery y dependen de tu modelo de facturación de almacenamiento.
- La carga de datos en el conjunto de datos designado es gratuita; esta acción aprovecha el grupo de recursos compartidos de BigQuery para cargar datos en lotes.
- Muchas operaciones en tabla particionada son gratuitas, como subir datos a particiones, copiarlas y exportar datos desde ellas. A pesar de esto, estas operaciones están sujetas a las cuotas y límites de BigQuery.
- La exportación de FOCUS se proporciona como una exportación inmutable, con un conjunto de datos vinculado que paga Google. No tienes costos de almacenamiento para los dos años más recientes de datos de costos de uso de FOCUS, a menos que copies y almacenes los datos de FOCUS en una tabla de almacenamiento a largo plazo que sea de tu propiedad.
Para obtener más información sobre las prácticas recomendadas para optimizar el costo de almacenamiento de BigQuery, consulta Controla los costos de almacenamiento. También puedes optimizar el almacenamiento para el rendimiento de las consultas.
Costos de consulta
Cuando analizas tus datos, se te factura por todos los datos que se leen cada vez que se ejecuta la consulta. La ejecución de consultas puede provocar un aumento repentino de los costos.
- Antes de ejecutar una consulta, puedes obtener una vista previa de ella para verificar los costos estimados.
- Para los datos de facturación, consultar la exportación detallada de costos puede costar más que consultar la exportación estándar. Si deseas optimizar los costos, te recomendamos usar la exportación estándar para analizar las tendencias en los costos y usar la exportación detallada para realizar un seguimiento de los costos a nivel de recurso y, además, identificar los recursos específicos que podrían generar los costos.
- Obtén más información para controlar los costos de las consultas individuales y controlar los costos dentro de una carga de trabajo.
Para obtener más información sobre las prácticas recomendadas para optimizar los costos cuando se ejecutan consultas en BigQuery, consulta Optimiza el cálculo de consultas.
Para obtener precios detallados, consulta Precios de BigQuery.
Limitaciones
La exportación de datos de Facturación de Cloud a BigQuery está sujeta a las siguientes limitaciones.
Esquema de tabla para las exportaciones de datos de Facturación de Cloud
El esquema de tabla para cualquiera de las exportaciones de datos de Facturación de Cloud puede cambiar.
Cuando cambia el esquema de la tabla, por ejemplo, cuando se agregan campos nuevos a un esquema de tabla de BigQuery para una exportación de datos de Facturación de Cloud, es posible que fallen las consultas que hacen referencia directa a las columnas exportadas. Para resolver este problema, te recomendamos que crees vistas de BigQuery que consulten las tablas exportadas y presenten la información en la estructura que prefieras.
Luego, puedes ajustar las consultas que realizan el feed de tus informes y paneles para extraer de las vistas, en lugar de las tablas exportadas. Si usas vistas, puedes estandarizar la estructura de los datos que se usan en tus consultas y paneles.
Las vistas que crees deben normalizar los datos para que todas las tablas pertinentes presenten el mismo esquema a tus consultas. Esto te protege de futuros cambios de esquema, lo que te permite modificar la consulta subyacente de la vista en las instancias en las que cambia el esquema de datos.
Exportación de FOCUS y retención de datos
Los datos de facturación exportados a la exportación de BigQuery de FOCUS proporcionada por Google están sujetos a una política de tiempo de actividad (TTL) de 2 años. Los datos con más de dos años se borran automáticamente de la tabla de exportación de FOCUS proporcionada en el conjunto de datos de BigQuery. Si necesitas conservar el historial de datos de facturación de FOCUS por más de dos años, copia los datos de FOCUS en una tabla de almacenamiento a largo plazo que sea de tu propiedad.
Ubicaciones de conjuntos de datos de BigQuery y disponibilidad de datos
Ubicaciones de conjuntos de datos de BigQuery compatibles con los datos de Facturación de Cloud:
Los conjuntos de datos de BigQuery están configurados para usar una ubicación; ya sea una ubicación multirregional (EU o US) o una ubicación regional. La ubicación del conjunto de datos se establece en el momento de la creación. Una vez que se crea un conjunto de datos, su ubicación no se puede cambiar.
La exportación de datos de la Facturación de Cloud admite todas las ubicaciones multirregionales (EU o US), pero solo un subconjunto de ubicaciones regionales. Cuando estableces la configuración de exportación de la Facturación de Cloud, si creas o seleccionas un conjunto de datos configurado para usar una ubicación regional no compatible, cuando intentes guardar la configuración de exportación, verás un error de Región del conjunto de datos no válida.
En la siguiente tabla, se enumeran las ubicaciones multirregionales y las ubicaciones regionales compatibles con los conjuntos de datos de BigQuery que se usan para contener datos de Facturación de Cloud.
| América | Asia-Pacífico | Europa | Oriente Medio |
|---|---|---|---|
|
Multirregión: US Regiones:
|
Regiones:
|
Multirregión: EU Regiones:
|
Regiones:
|
Ubicaciones y disponibilidad de datos:
Para tus conjuntos de datos de BigQuery que contienen datos de costos de uso de FOCUS, datos de costos de uso estándar o datos de costos de uso detallados, el tipo de ubicación que configuras en el conjunto de datos influye en el tiempo en que tus Google Cloud datos de facturación se exportan al conjunto de datos:
- Si configuras el conjunto de datos para usar una ubicación multirregional (EU o US), el conjunto de datos incluye Google Cloud datos de facturación generados desde el inicio del mes anterior a partir del momento en que habilitaste la exportación por primera vez, a menos que vuelvas a habilitar la exportación. Es decir, Google Cloud los datos de facturación se agregan de forma retroactiva para el mes actual y el anterior. En el caso del reabastecimiento inicial de datos exportados, es posible que los datos de la Facturación de Cloud tarden hasta cinco días en terminar de exportarse antes de que comiences a ver los datos de uso actuales.
Si tu conjunto de datos está configurado para usar una ubicación regional compatible, tus datos de costos de uso de FOCUS, datos de costos de uso estándar y datos de costos de uso detallados solo reflejan Google Cloud los datos de facturación generados desde la fecha de habilitación de la exportación de Facturación de Cloud en adelante. Es decir, Google Cloud los datos de facturación no se agregan de forma retroactiva para las ubicaciones de conjuntos de datos que no son multirregionales, por lo que no verás los datos de Facturación de Cloud en antes de habilitar la exportación.
Para obtener más detalles, consulta Disponibilidad de los datos.
Tus conjuntos de datos de BigQuery que contienen datos de precios solo recopilan Google Cloud datos de facturación generados a partir de la fecha en que configuraste la exportación de la Facturación de Cloud en adelante. Es decir, Google Cloud los datos de precios no se agregan de forma retroactiva, por lo que no verás datos de Facturación de Cloud de fechas previas a la habilitación de la exportación. Para obtener más detalles, consulta Disponibilidad de los datos.
Inhabilita, vuelve a habilitar o edita la configuración de exportación
Si inhabilitas, vuelves a habilitar, o editas la configuración de exportación para actualizar el proyecto o el conjunto de datos en el que se almacenan los datos de facturación exportados, los datos de facturación exportados anteriormente no se vuelven a completar en tu conjunto de datos nuevo. Para incluir los datos de facturación que se exportaron antes de cambiar a un proyecto o conjunto de datos diferente, debes unir manualmente el conjunto de datos nuevo con el anterior. Para obtener más información, consulta Operación de unión.
Encriptación de conjuntos de datos
Los conjuntos de datos de BigQuery están configurados para usar la encriptación en reposo mediante el establecimiento de una opción de clave de encriptación cuando creas el conjunto de datos, ya sea una clave de encriptación predeterminada Google-owned and Google-managed encryption key, o una clave de encriptación administrada por el cliente (CMEK). La opción de encriptación del conjunto de datos solo se puede configurar en el momento de la creación. Una vez que se crea un conjunto de datos, no se puede cambiar su configuración de encriptación.
Si ya habilitaste la exportación de datos de Facturación de Cloud a
BigQuery y tu conjunto de datos está configurado para usar una
Google-managed encryption key, puedes usar la herramienta de línea de comandos bq para habilitar CMEK en cada tabla en el conjunto de datos. BigQuery usará
automáticamente la
clave predeterminada del conjunto de datos
para proteger las tablas de exportación, a menos que la configures de otra manera.
Obtén información para habilitar CMEK para las tablas de BigQuery.
Seguridad a nivel de la fila
Si quieres usar
seguridad a nivel de las filas de BigQuery
en la tabla que contiene los datos exportados, debes otorgar a la
cuenta de servicio de exportación de Facturación de Cloud
billing-export-bigquery@system.gserviceaccount.com
acceso completo a la tabla
con el filtro TRUE de BigQuery.
El siguiente comando otorga acceso a la cuenta de servicio de Facturación de Cloud:
CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);
Datos de costos de uso de FOCUS o detallados y GKE
Cuando exportas datos de costos de uso de FOCUS o datos de costos de uso detallados, la exportación incluye automáticamente información sobre los recursos a nivel de Compute Engine y otros servicios. Sin embargo, para los datos de Google Kubernetes Engine (GKE), para ver un desglose de los costos del clúster de GKE en una exportación de datos de FOCUS o detallada, también debes habilitar la asignación de costos para GKE.
Etiquetas a nivel de recurso
Las etiquetas a nivel de recurso pueden tardar hasta una hora en propagarse a las exportaciones de BigQuery. Si se agregó o quitó una etiqueta en un plazo de una hora o si existe un recurso durante menos de una hora, es posible que no aparezca en la exportación.
Las etiquetas a nivel de recurso están disponibles para varios recursos en la exportación de costos de uso estándar y la exportación de costos de uso detallados.