Información sobre las tablas de datos de la Facturación de Cloud en BigQuery

En este documento, se proporciona información de referencia para el esquema de los datos de Facturación de Cloud que se exportan a cada tabla en BigQuery.

Tablas de datos de facturación

Poco después de habilitar la exportación de la Facturación de Cloud a BigQuery, las tablas de datos de facturación se crean de forma automática en el conjunto de datos de BigQuery.

  • Tabla de costos de uso de FOCUS (Versión preliminar) – Google proporciona un conjunto de datos de BigQuery inmutable llamado gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location> y una tabla de datos de FOCUS llamada gcp_billing_export_focus_<BILLING_ACCOUNT_ID>.
  • Tabla de costos de uso estándar: En tu conjunto de datos de BigQuery, esta tabla se llama gcp_billing_export_v1_<BILLING_ACCOUNT_ID>.
  • Tabla de costos de uso detallados: Incluye todos los campos de datos de la tabla de costos de uso estándar, junto con campos adicionales que proporcionan datos de costos a nivel de recurso, como una máquina virtual o SSD que genera un uso del servicio. En tu conjunto de datos de BigQuery, esta tabla se llama gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>.
  • Tabla de datos de precios: En tu conjunto de datos de BigQuery, esta tabla se llama cloud_pricing_export.
  • Metadatos de descuentos por compromiso de uso (CUD) (versión preliminar) – Incluyen metadatos de CUD, como el ID de la cuenta de facturación, el ID del producto, el ID del modelo de consumo, las unidades y los valores del importe del compromiso, y mucho más. En tu conjunto de datos de BigQuery, el nombre de esta tabla es cud_subscriptions_export.

Frecuencia de cargas de datos

Exportación de costos de uso de FOCUS, estándar y detallados

  • Cuando habilitas por primera vez la exportación de costos de uso detallados, estándar o de FOCUS a BigQuery, es posible que tome algunas horas comenzar a ver que los datos de costos deGoogle Cloud se propagan a tu conjunto de datos de BigQuery. Los datos se exportan en orden cronológico. Si la exportación está configurada para incluir datos de forma retroactiva para el mes actual y el anterior, los datos exportados pueden tardar hasta cinco días en estar al día con tus datos de uso actuales.
  • Los servicios deGoogle Cloud informan los datos de costos y de uso a los procesos de la Facturación de Cloud en intervalos variables.
  • La Facturación de Cloud exporta los datos de costos y uso a tu conjunto de datos de BigQuery a intervalos regulares (no hay garantías de entrega o latencia para la exportación a BigQuery).
  • Debido a que la frecuencia de los informes de uso varía según el Google Cloud servicio, es posible que no veas de inmediato los datos de uso y costos de la Facturación de Cloud para todos los servicios Google Cloud que usaste recientemente.

Exportación de metadatos de precios y CUD

  • La primera vez que habilitas la exportación de precios a BigQuery, es posible que transcurran hasta 48 horas para comenzar a ver tus datos de precios de Google Cloud .
  • Después de habilitar la exportación de precios, los datos de precios aplicables a tu cuenta de Facturación de Cloud se exportan a BigQuery una vez al día.

Disponibilidad de los datos

  • Para los clientes que habilitan la exportación de datos de costos de uso de FOCUS, estándar o detallados por primera vez:

    • Si configuras tu conjunto de datos de BigQuery para que use una ubicación multirregional (EU o US), los datos de Facturación de Cloud se exportan de forma retroactiva desde el comienzo del mes anterior. Por ejemplo, si habilitas la exportación de datos de costos de uso de FOCUS, costos de uso estándar o costos de uso detallados el 23 de septiembre, tu exportación incluirá los datos a partir del 1 de agosto.

      Exportamos datos en orden cronológico, un día a la vez, por lo que se propagan primero los datos del primer día del último mes. En el caso del reabastecimiento inicial de datos exportados, es posible que los datos de la Facturación de Cloud tarden hasta cinco días en terminar de exportarse antes de que comiences a ver los datos de uso más recientes.

    • Si configuras tu conjunto de datos de BigQuery para usar una ubicación regional compatible, tus datos de costos de uso de FOCUS, costos de uso estándar o costos de uso detallados estarán disponibles a partir de la fecha en que habilites la exportación de Facturación de Cloud en adelante. Es decir, Google Cloud los datos de facturación no se agregan de forma retroactiva para las ubicaciones de conjuntos de datos que no son multirregionales, por lo que no verás los datos de Facturación de Cloud en antes de habilitar la exportación.

    • En el caso de los clientes que habilitaron, inhabilitaron y volvieron a habilitar la exportación de datos de costos de uso de FOCUS, costos de uso estándar o costos de uso detallados, es posible que los datos de Facturación de Cloud no estén disponibles para el período en el que se inhabilitó la exportación de forma explícita.

  • Si habilitas la exportación de datos de precios, tu conjunto de datos de BigQuery solo refleja los datos de Facturación de Cloud que se generaron a partir de la fecha en la que habilitaste el servicio de exportación de precios por primera vez. Los datos de precios de Facturación de Cloud no se agregan de forma retroactiva, por lo que no verás datos de precios previos a la fecha de habilitación de la exportación.

  • Los datos en los conjuntos de datos de BigQuery reflejan el estado de tus recursos en el momento en que se registró el uso. Si realizas cambios en tus recursos, como agregar etiquetas nuevas a un proyecto o cambiar la jerarquía de un proyecto (que cambiaría project.ancestors), esos cambios solo se mostrarán en las exportaciones futuras de datos de uso. Los registros exportados con anterioridad no se modifican.

  • Si borras los datos exportados (como los registros de exportación de BigQuery), no podremos reabastecer los registros borrados.

  • Si editas la configuración de una exportación para actualizar el proyecto o el conjunto de datos en el que se almacenan tus datos de facturación exportados, los datos del conjunto de datos anterior no se propagan automáticamente en el nuevo conjunto de datos. El nuevo conjunto de datos de BigQuery solo refleja los datos de Facturación de Cloud que se generaron a partir de la fecha en la que cambiaste la configuración de exportación y después. Para incluir el registro completo de los datos de facturación exportados, debes unir manualmente el nuevo conjunto de datos con el anterior. Para obtener más información, consulta Operación de unión.

  • Las cargas de BigQuery cumplen con los criterios ACID, por lo que si consultas el conjunto de datos de BigQuery destinado a la exportación de la Facturación de Cloud mientras se cargan los datos, no encontrarás datos cargados de forma parcial.

  • Consulta otras limitaciones que podrían afectar la exportación de tus datos de facturación a BigQuery, como los conjuntos de datos con claves de encriptación administradas por el cliente (CMEK) habilitadas.

Limitaciones

La exportación de datos de Facturación de Cloud a BigQuery está sujeta a las siguientes limitaciones.

Esquema de la tabla para las exportaciones de datos de la Facturación de Cloud

El esquema de la tabla de cualquiera de las exportaciones de datos de Facturación de Cloud puede cambiar.

Cuando cambia el esquema de la tabla, por ejemplo, cuando se agregan campos nuevos a un esquema de tabla de BigQuery para una exportación de datos de Facturación de Cloud, es posible que fallen las consultas que hacen referencia directa a las columnas exportadas. Para resolver este problema, te recomendamos que crees vistas de BigQuery que consulten las tablas exportadas y presenten la información en la estructura que prefieras.

Luego, puedes ajustar las consultas que realizan el feed de tus informes y paneles para extraer de las vistas, en lugar de las tablas exportadas. Con las vistas, puedes estandarizar la estructura de los datos que se usan en tus consultas y paneles.

Las vistas que crees deben normalizar los datos para que todas las tablas pertinentes presenten el mismo esquema a tus consultas. Esto te protege de futuros cambios en el esquema, lo que te permite modificar la consulta subyacente de la vista en aquellos casos en los que cambia el esquema de datos.

Exportación de FOCUS y retención de datos

Los datos de facturación exportados a la exportación de BigQuery en FOCUS proporcionada por Google están sujetos a una política de tiempo de actividad (TTL) de 2 años. Los datos con más de dos años se borran automáticamente de la tabla de exportación de FOCUS proporcionada en el conjunto de datos de BigQuery. Si necesitas conservar el historial de datos de facturación de FOCUS por más de dos años, copia los datos de FOCUS en una tabla de almacenamiento a largo plazo que sea de tu propiedad.

Ubicaciones de conjuntos de datos de BigQuery y disponibilidad de datos

Ubicaciones de conjuntos de datos de BigQuery compatibles con los datos de Facturación de Cloud:

Los conjuntos de datos de BigQuery están configurados para usar una ubicación, ya sea una ubicación multirregional (EU o US) o una ubicación regional. La ubicación del conjunto de datos se establece en el momento de la creación. Después de crear un conjunto de datos, no se puede cambiar su ubicación.

La exportación de datos de la Facturación de Cloud admite todas las ubicaciones multirregionales (EU o US), pero solo un subconjunto de ubicaciones regionales. Cuando estableces la configuración de exportación de la Facturación de Cloud, si creas o seleccionas un conjunto de datos configurado para usar una ubicación regional no compatible, cuando intentes guardar la configuración de exportación, verás un error de Región del conjunto de datos no válida.

En la siguiente tabla, se enumeran las ubicaciones multirregionales y las ubicaciones regionales compatibles con los conjuntos de datos de BigQuery que contienen datos de Facturación de Cloud.

América Asia-Pacífico Europa Oriente Medio

Multirregión: US

Regiones:

  • northamerica-northeast1 (Montreal)
  • southamerica-east1 (São Paulo)
  • us-central1 (Iowa)
  • us-east1 (Carolina del Sur)
  • us-east4 (Virginia del Norte)
  • us-west1 (Oregón)
  • us-west2 (Los Ángeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regiones:

  • asia-east1 (Taiwán)
  • asia-east2 (Hong Kong)
  • asia-northeast1 (Tokio)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seúl)
  • asia-south1 (Bombay)
  • asia-southeast1 (Singapur)
  • asia-southeast2 (Yakarta)
  • australia-southeast1 (Sídney)

Multirregión: EU

Regiones:

  • europe-central2 (Varsovia)
  • europe-north1 (Finlandia)
  • europe-west1 (Bélgica)
  • europe-west2 (Londres)
  • europe-west3 (Fráncfort)
  • europe-west4 (Países Bajos)
  • europe-west6 (Zúrich)

Regiones:

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Ubicaciones y disponibilidad de los datos:

  • Para los conjuntos de datos de BigQuery que contienen datos de costos de uso de FOCUS, datos de costos de uso estándar o datos de costos de uso detallados, el tipo de ubicación que configures en el conjunto de datos influye en el tiempo en que tus datos de facturación Google Cloud se exportan al conjunto de datos:

    • Si configuras el conjunto de datos para usar una ubicación multirregional, el conjunto de datos incluye Google Cloud los datos de facturación incurridos desde el inicio del mes anterior a partir del momento en que habilitaste la exportación por primera vez, a menos que vuelvas a habilitar la exportación. Es decir, los datos de facturación deGoogle Cloud se agregan de forma retroactiva solo para el mes actual y el anterior. En el caso del reabastecimiento inicial de datos exportados, es posible que los datos de la Facturación de Cloud tarden hasta cinco días en terminar de exportarse antes de que comiences a ver los datos de uso actuales.

    • Si tu conjunto de datos está configurado para usar una ubicación regional compatible, tus datos de costos de uso de FOCUS, tus datos de costos de uso estándar y tus datos de costos de uso detallados solo reflejan los Google Cloud datos de facturación generados desde la fecha en la que habilitaste la exportación de Facturación de Cloud en adelante. Es decir, Google Cloud los datos de facturación no se agregan de forma retroactiva para las ubicaciones de conjuntos de datos que no son multirregionales, por lo que no verás los datos de Facturación de Cloud en antes de habilitar la exportación.

    • Para obtener más detalles, consulta Disponibilidad de los datos.

  • Tus conjuntos de datos de BigQuery que contienen datos de precios solo recopilan Google Cloud datos de facturación generados a partir de la fecha en que configuraste la exportación de la Facturación de Cloud. Es decir, los datos de precios deGoogle Cloud no se agregan de forma retroactiva, por lo que no verás datos de precios de Facturación de Cloud de fechas previas a la habilitación de la exportación. Para obtener más detalles, consulta Disponibilidad de los datos.

Cómo inhabilitar, volver a habilitar o editar la configuración de exportación

Si inhabilitas, vuelves a habilitar o editas la configuración de exportación para actualizar el proyecto o el conjunto de datos en el que se almacenan los datos de facturación exportados, los datos de facturación exportados anteriormente no se completarán en tu nuevo conjunto de datos. Para incluir los datos de facturación que se exportaron antes de cambiar a otro proyecto o conjunto de datos, debes unir manualmente el nuevo conjunto de datos con el anterior. Para obtener más información, consulta Operación de unión.

Encriptación del conjunto de datos

Los conjuntos de datos de BigQuery se configuran para usar la encriptación en reposo. Para ello, se establece una opción de clave de encriptación cuando se crea el conjunto de datos, ya sea una Google-owned and Google-managed encryption keyo una clave de encriptación administrada por el cliente (CMEK). Puedes editar el parámetro de configuración de encriptación después de crear un conjunto de datos.

Si ya habilitaste la exportación de datos de la Facturación de Cloud a BigQuery y tu conjunto de datos está configurado para usar unGoogle-managed encryption key, puedes actualizar el conjunto de datos y sus tablas para usar una CMEK. Para actualizar el conjunto de datos y sus tablas, completa los siguientes pasos:

  1. Configura una clave predeterminada para el conjunto de datos. Establecer una clave predeterminada garantiza que las tablas nuevas que se creen en el conjunto de datos se protejan automáticamente con la CMEK.
  2. Usa la herramienta de línea de comandos de bq para habilitar la CMEK en cada tabla existente del conjunto de datos. Si cambias la clave predeterminada del conjunto de datos, no se volverán a encriptar automáticamente las tablas existentes.

Obtén más información para habilitar la CMEK en las tablas de BigQuery.

Políticas de la organización de CMEK

Puedes usar políticas de la organización de CMEK para aplicar el uso de CMEK en tus recursos de BigQuery, incluidas las exportaciones de facturación, o para exigir que la CMEK resida en un proyecto aprobado. Sin embargo, aplicar las políticas de la organización de CMEK puede tener los siguientes efectos inesperados:

  • Es posible que falle el proceso de exportación a conjuntos de datos existentes: Cuando habilitas una nueva restricción de política de la organización, esta no se aplica a los conjuntos de datos existentes. Esto significa que puedes tener conjuntos de datos que aún existen, aunque ya no estén permitidos. Sin embargo, la próxima vez que intentes exportar datos a ese conjunto de datos, el proceso de exportación fallará si no se pueden crear tablas nuevas debido a una política de la organización que se aplicó recientemente.

    Para evitar esta situación, revisa de forma proactiva tus configuraciones de exportación de facturación existentes cada vez que actualices las políticas de tu organización y actualiza la configuración del conjunto de datos según sea necesario para cumplir con las restricciones de restrictNonCmekServices y restrictCmekCryptoKeyProjects.

  • Aplicación incoherente de las políticas de la organización: Las políticas de la organización no se aplican cuando creas un conjunto de datos vacío. Esto significa que puedes aplicar la restricción restrictNonCmekServices para exigir que los recursos de BigQuery usen una CMEK para su encriptación, pero luego crear correctamente un conjunto de datos de BigQuery que esté configurado para usar Google-owned and Google-managed encryption keys. Sin embargo, la exportación de facturación que usa ese conjunto de datos fallará porque la política de la organización no te permitirá crear una tabla no protegida por CMEK mientras se aplique la restricción restrictNonCmekServices para BigQuery.

    Para resolver esta situación, actualiza la encriptación de tu conjunto de datos para establecer una clave predeterminada que cumpla con las restricciones de restrictNonCmekServices y restrictCmekCryptoKeyProjects.

Seguridad a nivel de la fila

Si quieres usar la seguridad a nivel de las filas de BigQuery en la tabla que contiene los datos exportados, debes otorgar a la cuenta de servicio de exportación de Facturación de Cloud billing-export-bigquery@system.gserviceaccount.com acceso completo a la tabla con el filtro TRUE de BigQuery. El siguiente comando otorga acceso a la cuenta de servicio de Facturación de Cloud:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

Datos de costos de uso detallados o de FOCUS y GKE

Cuando exportas datos de costos de uso de FOCUS o datos detallados de costos de uso, la exportación incluye automáticamente información a nivel de recursos sobre Compute Engine y otros servicios. Sin embargo, para los datos de Google Kubernetes Engine (GKE), si deseas ver un desglose de los costos del clúster de GKE en una exportación de datos detallada o de FOCUS, también debes habilitar la asignación de costos para GKE.

Etiquetas a nivel del recurso

Las etiquetas a nivel de recurso pueden tardar hasta una hora en propagarse a las exportaciones de BigQuery. Si se agregó o quitó una etiqueta en un plazo de una hora, o si existe un recurso durante menos de una hora, es posible que no aparezca en la exportación.

Las etiquetas a nivel del recurso están disponibles para varios recursos en la exportación de costos de uso estándar y la exportación de costos de uso detallada.

Anterior
Configura la exportación de FOCUS a BigQuery
Siguiente
Estructura de la exportación de datos de FOCUS