索引和地理分区

Spanner 提供了多种类型的索引,用于提高查询性能。为架构和查询句式选择正确的索引类型至关重要,尤其是对于使用地理分区功能的数据库。本页面介绍了不同索引类型的优势,以及选择和使用 Spanner 索引与地理分区功能的最佳实践。

索引类型

Spanner 支持全局索引、本地索引和远程索引。每种类型都有不同的性能特征和用例。对于地理分区数据库,请务必了解这些索引类型。选择合适的索引有助于优化数据库架构和查询,从而显著缩短地理分区数据库的延迟时间。对于不使用地理分区的数据库,了解这些索引类型不太重要,因为它们都存储在默认位置,并且具有类似的性能特征。

全局索引

全局索引是 Spanner 中的默认索引类型。索引数据存储在默认分区中,该分区可能不与表的数据位于同一位置。在地理分区表上创建全局索引可能会导致涉及索引列的写入操作的写入延迟时间显著增加,尤其是在索引的默认分区写入仲裁与要写入的表行的写入仲裁相距较远时。您可以通过将附近的只读副本与读取租用区域或过时数据读取结合使用,来缓解全局索引的读取延迟。

全局索引具有以下特征:

  • 它们可以加快原本需要进行全表扫描的查询,并强制所有表行(无论位置如何)具有唯一性。
  • 它们适用于需要在整个数据库中具有唯一值的列。
  • 它们可以加快按索引列进行过滤或排序的查询。

以下是全局唯一索引的示例:

CREATE UNIQUE INDEX idx_customer_email ON customer(email);

本地索引

本地索引会交错在已编入索引的表的父级层次结构中。主键列名称和类型必须与索引表匹配。

本地索引具有以下特征:

  • 它们将索引数据存储在与被索引数据相同的分区中。写入延迟时间取决于特定放置位置的写入仲裁,而不是默认放置位置的写入仲裁。

  • 它们为针对特定键前缀的查询提供最低延迟时间,因为索引和表数据都位于同一位置。

如需创建本地索引,请在父表中交错索引。如果您使用 UNIQUE 本地索引,则仅在特定父行中强制执行唯一性,而不是在整个表中强制执行。

以下示例展示了如何在表 customer 上创建本地索引,该索引交错在父表 locations 中:

GoogleSQL

-- Create locations placement table
CREATE TABLE locations (
  location STRING(MAX) NOT NULL PLACEMENT KEY,
) PRIMARY KEY(location);

-- Create customer table interleaved in the locations table
CREATE TABLE customer (
  location STRING(MAX) NOT NULL,
  customerId  INT64 NOT NULL,
  email STRING(MAX),
  webcookie STRING(64),
) PRIMARY KEY(location, customerId), INTERLEAVE IN PARENT locations;

-- Create a local index on the interleaved customer table
CREATE INDEX idx_customer_email_local ON customer(location, email),
INTERLEAVE IN locations;

PostgreSQL

-- Create locations placement table
CREATE TABLE locations (
  location varchar NOT NULL PLACEMENT KEY PRIMARY KEY
);

-- Create customer table interleaved in the locations table
CREATE TABLE customer (
  location varchar NOT NULL,
  customerId  BIGINT NOT NULL,
  email varchar(1024),
  webcookie varchar(64),
  PRIMARY KEY(location, customerId)
) INTERLEAVE IN PARENT locations;

-- Create a local index on the interleaved customer table
CREATE INDEX idx_customer_email_local ON customer(location, email)
INTERLEAVE IN locations;

在读写事务中查询数据时,您必须在查询中指定索引表的主键前缀。否则,查询可能需要进行全表扫描。例如:

GoogleSQL

-- The location (the index key prefix) must be specified
SELECT *
FROM customer
WHERE location = @location AND email = @email;

PostgreSQL

-- The location (the index key prefix) must be specified
SELECT *
FROM customer
WHERE location = @location AND email = @email;

如需了解无需指定位置的优化,请参阅具有本地或远程索引的全局唯一索引。

如果放置表基于实体,并且您希望为特定实体或子实体中的数据编制索引,则本地索引也很有用。例如:

GoogleSQL

-- Create entity based customer placement table
CREATE TABLE customer (
  customerId INT64 NOT NULL,
  email STRING(MAX),
  webcookie STRING(64),
  location STRING(MAX) NOT NULL PLACEMENT KEY
) PRIMARY KEY(customerId);

-- Create customerOrders child table
CREATE TABLE customerOrders (
  customerId INT64 NOT NULL,
  orderId INT64 NOT NULL,
  orderName STRING(MAX) NOT NULL
) PRIMARY KEY(customerId, orderId), INTERLEAVE IN PARENT customer;

-- Create a local index on the interleaved child table
CREATE INDEX idx_order_local ON customerOrders(customerId, orderName),
INTERLEAVE IN customer;

PostgreSQL

-- Create entity based customer placement table
CREATE TABLE customer (
  customerId BIGINT NOT NULL PRIMARY KEY,
  email varchar(1024),
  webcookie varchar(64),
  location varchar NOT NULL PLACEMENT KEY
);

-- Create customerOrders child table
CREATE TABLE customerOrders (
  customerId BIGINT NOT NULL,
  orderId BIGINT NOT NULL,
  orderName varchar(1024) NOT NULL,
  PRIMARY KEY(customerId, orderId)
) INTERLEAVE IN PARENT customer;

-- Create a local index on the interleaved child table
CREATE INDEX idx_order_local ON customerOrders(customerId, orderName)
INTERLEAVE IN customer;

远程索引

远程索引会将索引数据交错存储在索引表交错层次结构中非祖先表的表下。主键类型必须与相应索引列的类型匹配,但名称可以不同。

使用地理分区时,您只能在自动管理的根放置表下交错远程索引。启用根布置表数据库选项 (auto_managed_root_placement_table_name) 后,Spanner 会创建一个内部表,并为数据库中的每个布置填充一行。您可以将此表用作布置表索引的交错根,以便索引条目使用与其对应行相同的布置。这样,Spanner 就可以执行分区本地的索引查找,而不是从更远的区域提取索引条目。

远程索引具有以下特征:

  • 它们将索引数据存储在实例分区中,与本地索引相同。
  • 如果表的主键未使用放置键作为前缀(例如,当实体 ID 是主键时),并且您希望根据放置键在地理位置上共置索引的分区,则放置键特别有用。
  • 它们仅支持对放置表中的列进行索引,而不支持对交织子表中的任何列进行索引。

如需将远程索引与地理分区搭配使用,请启用根放置表数据库选项,并在该表中创建交错的远程索引:

  1. 使用 ALTER DATABASE DDL 语句设置 auto_managed_root_placement_table_name 选项并创建根放置表。创建数据库后,您必须在 ALTER DATABASE 语句中设置此选项。设置此选项后,您将无法重命名或停用根展示位置表。

    GoogleSQL

    ALTER DATABASE DATABASE_NAME SET OPTIONS
      (auto_managed_root_placement_table_name="TABLE_NAME");
    

    替换以下内容:

    • DATABASE_NAME:您的数据库的名称。
    • TABLE_NAME:要创建的表的名称。我们建议使用名称 root_placement_table。

    例如,以下语句会创建一个名为 root_placement_table 的表:

    ALTER DATABASE example_db SET OPTIONS
      (auto_managed_root_placement_table_name='root_placement_table');
    

    创建根布置表后,Spanner 会创建一个具有以下定义的内部表,并在您创建或删除布置时自动插入和删除行。您无需自行创建此表。

    -- This table is automatically created and populated with one row per placement.
    -- Don't run this statement.
    CREATE TABLE root_placement_table (
      location STRING(MAX) NOT NULL PLACEMENT KEY
    ) PRIMARY KEY (location);
    

    PostgreSQL

    ALTER DATABASE DATABASE_NAME SET
      spanner.auto_managed_root_placement_table_name='TABLE_NAME';
    

    替换以下内容:

    • DATABASE_NAME:您的数据库的名称。
    • TABLE_NAME:要创建的表的名称。我们建议使用名称 root_placement_table。

    例如,以下语句会创建一个名为 root_placement_table 的表:

    ALTER DATABASE example_db SET
      spanner.auto_managed_root_placement_table_name='root_placement_table';
    

    创建根布置表后,Spanner 会创建一个具有以下定义的内部表,并在您创建或删除布置时自动插入和删除行。您无需自行创建此表。

    -- This table is automatically created and populated with one row per placement.
    -- Don't run this statement.
    CREATE TABLE root_placement_table (
      location varchar NOT NULL PLACEMENT KEY,
      PRIMARY KEY (location)
    );
    
  2. 在自动管理的 root_placement_table 表下创建一个交错的远程索引。在放置键列和要编入索引的列上定义索引时,必须先列出放置键列。

    GoogleSQL

    -- Create a customer table with a primary key that is not the location
    CREATE TABLE customer (
      customerId INT64 NOT NULL,
      email STRING(MAX),
      webcookie STRING(64),
      location STRING(MAX) NOT NULL PLACEMENT KEY,
    ) PRIMARY KEY(customerId);
    
    -- Create a remote index on the customer table
    CREATE INDEX idx_customer_email_remote ON customer(location, email),
    INTERLEAVE IN root_placement_table;
    

    PostgreSQL

    -- Create a customer table with a primary key that is not the location
    CREATE TABLE customer (
      customerId BIGINT NOT NULL PRIMARY KEY,
      email varchar(1024),
      webcookie varchar(64),
      location varchar NOT NULL PLACEMENT KEY
    );
    
    -- Create a remote index on the customer table
    CREATE INDEX idx_customer_email_remote ON customer(location, email)
    INTERLEAVE IN root_placement_table;
    
  3. 在读写事务中查询数据时,或者在查询时已知放置位置时,请在查询谓词中指定索引的键前缀(放置键列),这样就不需要进行全表扫描。如果客户端与指定放置位置的某个副本位于同一区域,则查询会通过分区本地数据访问执行。例如:

    GoogleSQL

    -- Specify the location (the index key prefix) in the query
    SELECT *
    FROM customer
    WHERE location = @location AND email = @email;
    

    PostgreSQL

    -- Specify the location (the index key prefix) in the query
    SELECT *
    FROM customer
    WHERE location = @location AND email = @email;
    

    如果在查询时放置位置未知,并且索引列在各个放置位置中是唯一的,则可以将全局唯一索引与远程索引结合使用,这样您就无需在 WHERE 子句中指定位置。如需了解详情,请参阅具有本地或远程索引的全局唯一索引。

针对全局唯一索引的优化

使用全局唯一索引时,Spanner 可能会在以下用例中通过基于启发法的优化来缩短查询延迟时间:

  • 将全局唯一索引与本地或远程索引搭配使用时
  • 将全局唯一索引与部分主键搭配使用

以下各部分介绍了 Spanner 如何在每个应用场景中应用优化。

具有本地或远程索引的全局唯一索引

为了缩短本地查询延迟时间,当全局唯一索引与本地或远程索引结合使用时,Spanner 可能会启动基于启发法的优化。

此优化通过猜测放置位置与客户端所在位置相同并绕过全局索引的默认分区,或消除过滤全表扫描的必要性,最大限度地减少区域内查询的延迟时间,即使未指定地理分区数据的位置也是如此。当客户端主要访问存储在自己区域内的数据时,这种方法尤其有益。

如果区域内查询延迟时间是主要考虑因素,并且您可以容忍全局索引的写入延迟时间增加和额外存储费用,那么混合使用不同的索引类型会很有帮助。结合使用不同的索引类型还可以提高区域内查询的性能,即使您未在查询中指定位置也是如此。

此优化要求您在同一列上创建全局唯一索引和相应的本地或远程索引。索引数据必须全局唯一,这会向查询优化器提供一个信号,表明该列的每个唯一值只有一个索引条目。如果满足以下条件,Spanner 会将此优化应用于您的查询:

  • 您不知道主键前缀,也没有指定数据的位置。
  • 您的请求源自与数据放置位置的默认主要区域相同的区域,该区域包含本地或远程索引分片。

Spanner 通过以下方式应用优化:

  • 如果触发了优化,并且在本地放置位置中找到了该行:鉴于全局唯一索引,查询优化器首先使用索引的本地分片评估查询,而无需搜索其他位置。您的查询存在区域内延迟。
  • 如果初始位置搜索未返回任何行:这表示它不是区域内查询。查询优化器会回退到查询全局索引。

以下示例会创建一个全局唯一索引和本地索引:

GoogleSQL

CREATE UNIQUE INDEX idx_customer_email ON customer(email);
CREATE INDEX idx_customer_email_local ON customer(location, email), INTERLEAVE IN locations;

PostgreSQL

CREATE UNIQUE INDEX idx_customer_email ON customer(email);
CREATE INDEX idx_customer_email_local ON customer(location, email) INTERLEAVE IN locations;

以下示例会创建一个全局唯一索引和一个远程索引:

GoogleSQL

CREATE UNIQUE INDEX idx_customer_email ON customer(email);
CREATE INDEX idx_customer_email_remote ON customer(location, email), INTERLEAVE IN root_placement_table;

PostgreSQL

CREATE UNIQUE INDEX idx_customer_email ON customer(email);
CREATE INDEX idx_customer_email_remote ON customer(location, email) INTERLEAVE IN root_placement_table;

根据前面的示例索引,以下示例查询具有区域内延迟时间:

GoogleSQL

SELECT *
FROM customer
WHERE email = @email;

PostgreSQL

SELECT *
FROM customer
WHERE email = @email;

部分主键上的全局唯一索引

在对部分主键使用全局唯一索引时,Spanner 可以应用与具有本地或远程索引的全局唯一索引中详述的优化类似的优化。

以下示例在父表 locations 中创建一个交错的 customer,然后在 customerId 列上创建一个全局唯一索引。

GoogleSQL

-- Create locations placement table
CREATE TABLE locations (
location STRING(MAX) NOT NULL PLACEMENT KEY,
) PRIMARY KEY(location);

-- Create customer table interleaved in the locations table
CREATE TABLE customer (
  location STRING(MAX) NOT NULL,
  customerId  INT64 NOT NULL,
  email STRING(MAX),
  webcookie STRING(64),
) PRIMARY KEY(location, customerId), INTERLEAVE IN PARENT locations;

-- Create global unique index on customerId column
CREATE UNIQUE INDEX idx_customer_customerid ON customer(customerId);

PostgreSQL

-- Create locations placement table
CREATE TABLE locations (
  location varchar NOT NULL PLACEMENT KEY PRIMARY KEY
);

-- Create customer table interleaved in the locations table
CREATE TABLE customer (
  location varchar NOT NULL,
  customerId  BIGINT NOT NULL,
  email varchar(1024),
  webcookie varchar(64),
  PRIMARY KEY(location, customerId)
) INTERLEAVE IN PARENT locations;

-- Create global unique index on customerId column
CREATE UNIQUE INDEX idx_customer_customerid ON customer(customerId);

此优化适用于如下查询:

GoogleSQL

SELECT * FROM customer WHERE customerId = @customerId;

PostgreSQL

SELECT * FROM customer WHERE customerId = @customerId;

如果您不创建全局唯一索引,则此查询可能需要进行全表扫描。如果您不使用全局唯一索引,则需要在查询中添加位置过滤条件,以实现良好的查询延迟时间:

GoogleSQL

SELECT * FROM customer WHERE location = @location AND customerId = @customerId;

PostgreSQL

SELECT * FROM customer WHERE location = @location AND customerId = @customerId;

选择索引类型以实现最佳延迟时间的一般准则

您选择的索引类型会直接影响查询延迟时间。对于地理分区工作负载,索引数据相对于表数据的位置是影响性能的主要因素。

本部分介绍了如何在全局索引、本地索引和远程索引之间进行选择。

何时选择全局索引

如果您的工作负载可以容忍相关的读写延迟,或者您需要对索引列强制执行全局唯一性,请使用全局索引。

选择全局索引时,请考虑以下事项:

  • 客户端与默认写入仲裁领导者之间的距离,以及仲裁的默认延迟时间,决定了写入延迟时间的增加幅度。此影响仅限于涉及索引列的操作,例如行插入或对索引列的更新。
  • 添加只读副本或使用读取租约可以缓解读取延迟时间增加的问题:
    • 在地理位置附近添加只读副本可以减少过时数据读取延迟时间。
    • 添加只读副本并使用读取租约区域可以降低强一致性读取延迟。如果您在不使用读取租约区域的情况下添加只读副本,强一致性读取延迟时间不会缩短,但读取吞吐量可能会增加。
    • Spanner 始终从主要区域提供悲观事务读取。向默认放置位置添加副本无助于对默认放置位置中的数据进行悲观事务读取。
  • 全局索引(包括键和存储值)放置在默认布置中,该布置不提供布置级数据驻留。如需了解详情,请参阅 Spanner 数据驻留概览。

何时选择本地索引和远程索引

选择本地和远程索引时,请考虑以下事项:

  • 本地和远程索引提供位置本地读写性能,但会牺牲唯一索引列的全局唯一性和排序属性。相反,本地和远程索引会在其交错的父行中提供已编入索引的列的排序和唯一性。
  • 使用本地或远程索引时,您必须在查询谓词中包含放置位置,除非还存在一个全局唯一索引,可让 Spanner 猜测本地放置位置。否则,查询计划和性能将不确定。 Spanner 可能会根据查询统计信息,在各个布置位置执行基表扫描或从索引中分散和收集数据,从而增加延迟时间。

何时选择具有本地或远程索引的全局唯一索引

在选择全局唯一索引与本地或远程索引的组合时,请考虑以下事项:

  • 如果特定放置位置未知,请将全局唯一索引与本地或远程索引结合使用。当大多数查询来自与所请求数据的位置位于同一区域的服务时,此方法非常理想。
  • 写入全局索引时,写入延迟时间受额外的默认写入仲裁延迟时间影响。
  • 通过基于启发法的优化,查询由本地索引分片提供服务,并且在大多数情况下会显示区域内延迟时间。

有关为特定架构设计选择索引的详细指南

最佳索引策略取决于表的主键结构和应用的查询句式。本部分提供了为三种常见架构设计选择适当索引类型的指南:

  • 使用实体作为主键的架构
  • 使用位置作为主键的架构
  • 使用与位置相关的值作为主键的架构

架构设计:实体作为主键

如果您的架构使用实体作为主键,请根据查询中是否指定了位置来选择索引策略。

如果实体(例如 customerID)是主键,而单独的非键列(例如 location)是布置键,请根据查询句式确定布置表的索引策略。(如果实体的插入延迟时间是一个问题,请勿将实体用作布置表的主键。)

如果您要为特定实体(例如 customerID)下的数据编制索引,请使用本地索引。数据在实体内(而非跨实体)进行索引编制和排序。例如,如果您想按日期为每个客户的订单编制索引,则可以创建在 customerID 身份下交错的本地索引。

如果查询中始终知道位置,请使用以下策略之一:

  • 如果您的查询始终知道位置信息,并且不需要强制执行全局唯一性,请使用远程索引。这些索引可为读写操作提供区域内延迟。

    远程索引仅支持对放置表中的列进行索引,不支持对交错表中的列进行索引。远程索引必须交错在根放置表下。远程索引会为布置的所有布置行中的数据编制索引。

如果查询中的位置信息不总是已知,请使用以下策略之一:

  • 如果索引列具有全局唯一性,请创建全局唯一索引来强制执行该唯一性。

    如需实现低延迟强读取,请创建远程索引以及全局唯一索引。

    采用这种组合时,写入操作可能会产生跨区域延迟,而指定了位置(使用 WHERE location = @location)的查询则会通过使用远程索引受益于区域内延迟。对于未指定位置的查询,Spanner 会先在本地搜索,从而使用基于启发法的优化。如果未找到数据,则会回退到全局索引。

    如果您使用的是读取租约区域,并且在数据所在的同一区域中具有默认分区的只读副本,则无需使用远程索引,因为读取租约区域已经为全局索引的读取提供了较低的强一致性读取延迟。

  • 如果您的查询未指定位置,并且索引列不具有全局唯一性,则仅创建全局(非唯一)索引。在这种情况下,添加本地或远程索引不会缩短读取延迟时间,因为即使 Spanner 在本地位置找到了数据,也无法确定其他位置是否存在匹配的数据。

架构设计:位置作为主键

当 location 列同时用作主键和布置键时,您的索引选择会受到跨延迟问题以及查询是否始终指定位置的影响。

  • 如果无需考虑跨区域延迟时间,或者您需要全局唯一性,请使用全局索引。
  • 如果跨区域延迟时间是一个问题,您的查询始终包含位置信息,并且您不需要 Spanner 强制执行全局唯一性,请仅使用本地索引。这可确保读取和写入操作的本地延迟时间。
  • 如果跨区域查询延迟时间是一个问题,跨区域写入延迟时间可以接受,并且位置信息并不总是已知,则适用以下策略:

    条件 建议
    按全局唯一的部分主键查询

    创建唯一全局索引以强制执行唯一性。不需要本地索引,因为主键执行类似的功能。应用基于启发法的优化。首先,Spanner 会在回退到全局索引之前,使用本地位置检查完整的主键。

    如需查看示例,请参阅部分主键上的全局唯一索引。

    按非键全局唯一列查询

    创建唯一全局索引以强制执行唯一性。

    对于区域内延迟时间,可能会出现以下情况:

    • 在与全局索引相同的列上创建本地索引。应用基于启发法的优化。全球索引和本地索引的组合可为区域内强一致性查询和过时查询提供低延迟,而写入以及跨区域查询和写入则具有跨区域延迟。
    • 如果默认分区在数据所在区域有读写或只读副本,则:
      • 如果您只需要过时数据读取的区域内延迟时间,而不需要强读取的区域内延迟时间,则不需要本地索引。 本地副本可提供区域内延迟时间。
      • 如果您需要区域内延迟时间来实现强读取,则可以在与全局索引相同的列上创建本地索引,或使用读取租用区域。读取租约区域可提供较低的强一致性读取延迟,但代价是写入延迟会增加。
    已编入索引的列并非全局唯一 仅创建全局索引。本地索引不会缩短读取延迟时间,因为 Spanner 可能需要检查所有位置。

如果这三种情况不适用于您的用例,您可能必须通过始终提供位置信息来牺牲应用的简单性或写入延迟时间。

如果表的主键基于与位置相关的值,但不是直接作为布置键列(例如,当布置数量少于国家/地区数量时,使用 country 作为主键),则可以使用全局索引或本地索引(在 country 列下交错)。但是,对于在此类放置表下交错的所有表,都不支持远程索引。

在这种情况下,本地索引不支持基于启发法的优化。因此,只有当查询明确指定主键前缀时,您才能实现本地延迟时间。