Administra el reabastecimiento de los objetos de una transmisión

El reabastecimiento en Datastream te permite cargar una instantánea de los datos históricos de tus objetos de origen en tu destino junto con la captura de datos modificados en curso. Puedes iniciar de forma manual un reabastecimiento total o parcial si no seleccionaste Reabastecer datos históricos cuando configuraste tu fuente. Iniciar un reabastecimiento también te permite volver a sincronizar los objetos de destino si los datos se borran por accidente.

Mientras se ejecuta una transmisión, puedes supervisar los estados de los objetos y detener un reabastecimiento activo en cualquier momento. Detener una operación evita que se repliquen esquemas o datos dañados, y te permite ejecutar tareas paralelas de una en una para reducir la carga de origen.

Estados de los objetos

Los distintos estados en el ciclo de vida de inicio y detención del reabastecimiento de un objeto incluyen los siguientes:

  • Sin estado (se representa en la IU como -): Algunos de los motivos por los que un objeto recibe este estado son los siguientes:

    • No se inició la transmisión.
    • No se seleccionó la casilla de verificación Reabastecer datos históricos (por lo que el reabastecimiento se define como manual).
    • El objeto se excluye explícitamente del reabastecimiento automático.
    • La transmisión está configurada para incluir tablas futuras. Si esto sucede, cuando se agregan tablas nuevas al origen, no se crea una tarea de reabastecimiento automático para ellas (porque las tablas nuevas no suelen tener datos históricos para reabastecer).
  • Pending: El reabastecimiento aún no comenzó para el objeto.

  • Active: El reabastecimiento está en curso para el objeto.

  • Completed: Se completó el reabastecimiento del objeto.

  • Stopped: Se detiene el reabastecimiento del objeto. Si se vuelve a iniciar el reabastecimiento para el objeto, Datastream transmitirá todos los datos existentes asociados con el objeto desde la fuente hasta el destino.

  • Failed: Se produjo un error en el reabastecimiento del objeto y se debe volver a iniciar.

Iniciar reabastecimiento

  1. Ve a la página Transmisiones en la consola de Google Cloud .

    Ir a la página Transmisiones

  2. Haz clic en la transmisión que contiene los objetos para los que deseas iniciar el reabastecimiento.

  3. Haz clic en la pestaña Objetos.

  4. Selecciona la casilla de verificación de cada objeto para el que quieras iniciar el reabastecimiento.

  5. Haz clic en Iniciar reabastecimiento.

  6. Si seleccionaste solo un objeto, en el cuadro de diálogo, haz clic en INICIAR RELLENO DE DATOS DEL OBJETO. De lo contrario, si seleccionaste varios objetos, haz clic en INICIAR RELLENOS DE OBJETOS.

    Datastream iniciará el reabastecimiento de los objetos que seleccionaste, y el estado de cada objeto cambiará de Pending a Active y a Completed. Cuando un objeto tiene el estado Completed, significa que Datastream leyó todos los datos del objeto, pero es posible que los datos aún se estén cargando en el destino.

Iniciar reabastecimiento parcial

Además de los reabastecimientos completos, puedes realizar un reabastecimiento parcial para cargar un subconjunto específico de datos de la fuente al destino. Para ello, proporciona una cláusula WHERE de SQL como un filtro personalizado.

Datastream admite el reabastecimiento parcial para las siguientes fuentes:

  • SQL Server
  • Spanner
  • Oracle
  • PostgreSQL
  • MySQL

Para iniciar un reabastecimiento parcial, sigue estos pasos:

  1. Ve a la página Transmisiones en la consola de Google Cloud .

    Ir a la página Transmisiones

  2. Haz clic en la transmisión que contiene los objetos para los que deseas iniciar el reabastecimiento.

  3. Haz clic en la pestaña Objetos.

  4. Selecciona el objeto para el que quieres iniciar el reabastecimiento.

  5. Haz clic en Iniciar reabastecimiento.

  6. En el panel que aparece, selecciona la casilla de verificación Habilitar filtro personalizado.

  7. Ingresa tu cláusula WHERE de SQL. Por ejemplo, product_id > 12 AND timestamp = '2025-01-06T22:00:00.00'

  8. Haz clic en Iniciar reabastecimiento.

Datastream valida el filtro. Si la validación falla, aparecerá un mensaje de error sobre el editor. Si la validación se completa correctamente, Datastream inicia el trabajo de reabastecimiento.

Sintaxis de filtro personalizado admitida

Cuando proporcionas un filtro personalizado, Datastream admite un subconjunto fundamental de la sintaxis de la cláusula WHERE de SQL. Entre los elementos admitidos, se incluyen los siguientes:

  • Operadores lógicos: AND, OR
  • Operadores de comparación: =, <, >, <=, >=, !=
  • Condiciones: IN, NOT IN, IS NULL, IS NOT NULL
  • Agrupación: paréntesis () para definir grupos de condiciones
  • Valores:

    • Cadenas: texto encerrado entre comillas simples, por ejemplo, 'value'
    • Números: enteros (123), decimales (123.45), números negativos (-10) y números con exponentes (1.2e3).
    • Valores booleanos: palabras clave TRUE o FALSE que distinguen mayúsculas de minúsculas.
  • Identificadores:

    • Calificación: Los nombres de las columnas se pueden calificar por completo con puntos para especificar el esquema o la tabla, por ejemplo, myColumn, myTable.myColumn o mySchema.myTable.myColumn.
    • Identificadores sin comillas: pueden contener letras, números y guiones bajos, y deben comenzar con una letra o un guion bajo. La distinción entre mayúsculas y minúsculas para los nombres de columnas o tablas depende de la base de datos de destino.
    • Identificadores entre comillas dobles: Deben estar entre comillas dobles (").

Limitaciones de la reabastecimiento parcial

Algunas declaraciones, operadores y palabras clave están explícitamente prohibidos y, si los usas, se producirá un error. Estos incluyen los siguientes:

  • Comentarios, como -- o /* */.
  • Funciones, por ejemplo, UPPER(column) y NOW().
  • Expresiones aritméticas, por ejemplo, column + 1 > 10.
  • El operador LIKE. Los comodines como % o _ no son compatibles con LIKE.
  • El operador BETWEEN. En su lugar, usa >= y <=.
  • Subconsultas, por ejemplo, (SELECT ...) dentro de la cláusula WHERE.
  • CASE, por ejemplo, CASE WHEN ... END.
  • Comparaciones de columnas, como column1 = column2. Las comparaciones deben ser con literales.
  • DATE y TIME tipos o funciones específicos.
  • Operadores específicos de arrays o JSON.
  • Conversión explícita: por ejemplo, CAST(column AS INT).

Detener reabastecimiento

  1. Ve a la página Transmisiones en la consola de Google Cloud .

    Ir a la página Transmisiones

  2. Haz clic en el flujo que contiene los objetos para los que deseas detener el reabastecimiento.

  3. Haz clic en la pestaña Objetos.

  4. Selecciona la casilla de verificación de cada objeto para el que quieras detener el reabastecimiento.

  5. Haz clic en Detener reabastecimiento.

  6. Si seleccionaste solo un objeto, en el cuadro de diálogo, haz clic en Detener reabastecimiento de objetos. De lo contrario, si seleccionaste varios objetos, haz clic en Detener reabastecimientos de objetos.

    Datastream detendrá el reabastecimiento de los objetos que seleccionaste, y el estado de cada objeto cambiará a Stopped.

    Cuando un objeto tiene este estado, se detiene el reabastecimiento para él. Si se vuelve a iniciar el reabastecimiento para el objeto, Datastream transmitirá todos los datos existentes asociados con el objeto desde la fuente hasta el destino.

¿Qué sigue?