主页 / coding / 问题 / 79303458
Accepted
Oleg Pro
Asked: 2024-12-23 23:03:42 +0800 CST

Citus 中按默认 shardId 进行分片

  • 772

我有从 docker-compose 运行的 Citus，我从官方网站获取了 yaml，并最初从 2 个节点运行它

 docker-compose -p citus up --scale worker=2 -d

之后我添加表格

CREATE TABLE IF NOT EXISTS messages (
                        text TEXT NOT NULL,
                       "from" CHARACTER VARYING NOT NULL,
                       "to" CHARACTER VARYING NOT NULL,
                       "shardId" CHARACTER VARYING NOT NULL
                  );

然后我调用SELECT create_distributed_table('messages', 'shardId'); shardId 来获取“from”和“to”变量的哈希值，范围从 0 到 31，到目前为止一切正常，我看到每个聊天都有自己的分片。

但当我尝试重新分片我的集群时

set POSTGRES_PASSWORD=pass && docker-compose -p citus up --scale worker=5 -d

并通过节点重新平衡数据

SELECT citus_rebalance_start();

我收到错误，说我无法在没有 pk 的情况下重新平衡表，因此我添加了一个 pk（id），然后我收到错误，说我无法将 create_distributed_table 的值设置为 pk 或在唯一约束下

  SELECT create_distributed_table('messages', 'shardId');

错误：无法对“消息”创建约束详细信息：分布式关系不能具有不包含分区列的 UNIQUE、EXCLUDE 或 PRIMARY KEY 约束（如果是 EXCLUDE，则使用相等运算符）。

所以我走进了死胡同，我该怎么做才能操纵 create_distributed_table 方法中的密钥？

postgresql

1 个回答

  1. Best Answer

    假设你做了这样的事情：
    demo at db<>fiddle

    alter table messages 
  add column id int generated always as identity
 ,add constraint pk primary key(id);

    你的情况类似于分区尝试 - 它有同样的要求

    create table messages_partitioned(like messages including all)
  partition by list("shardId");

    它甚至对这一要求进行了类似的表述：

    ERROR:  unique constraint on partitioned table must include all partitioning columns
DETAIL:  PRIMARY KEY constraint on table "messages_partitioned" lacks column "shardId" which is part of the partition key.

    因为看起来您只添加了id满足 citus 重新平衡要求的内容，所以您可以将其上的主键换成复合主键- 给它两个字段并确保shardId其中之一：

    alter table messages 
  drop constraint pk
 ,add constraint pk primary key(id,"shardId");

    现在分片和分区都可以正常工作了。有关这方面的更多信息，请参阅第 5 章。数据定义：5.12。表分区，5.12.2.3。限制：

    • 要在分区表上创建唯一键或主键约束，分区键不得包含任何表达式或函数调用，约束的列必须包含所有分区键列。存在此限制是因为组成约束的各个索引只能在其自己的分区内直接强制唯一性；因此，分区结构本身必须保证不同分区中没有重复项。

    • 类似地，排除约束必须包含所有分区键列。此外，约束必须比较这些列是否相等（例如不是 &&）。同样，这种限制源于无法强制执行跨分区限制。约束可能包括不属于分区键的其他列，并且可以使用您喜欢的任何运算符来比较这些列。

    Citus 的常见问题解答中也有条目：

    在哪些情况下分布式表支持唯一性约束？

    仅当约束列包含分布列时，Citus 才能够强制执行主键或唯一性约束。具体而言，这意味着如果单个列构成主键，那么它也必须是分布列。

    此限制允许 Citus 将唯一性检查本地化到单个分片，并让工作节点上的 PostgreSQL 有效地执行检查。

    Citus laso 在其有关集群管理的文档中提到了上述复合 PK ：

    否则，您可以添加主键吗？

    向表添加主键。如果所需的键恰好是分布列，那么这很容易，只需添加约束即可。否则，具有非分布列的主键必须是复合的，并且也包含分布列。

    • 0

相关问题