我有一列 type JSONB，其中每一行都包含一个带有对象数组的 JSON，例如：

[
    {
        "grade": "4.44/5",
        "endYear": 2011,
        "startYear": 2006,
        "userId": "defg"
    },
    {
        "grade": "9.133/10",
        "endYear": 2010,
        "startYear": 2006,
        "userId": "abcd"
    }
]

我正在尝试将这些JSONB集合扩展为行，例如：

| grade    | startYear | endYear | userId |
-------------------------------------------
| 4.44/5   |    2006   | 2011    | defg   |
| 9.133/10 |    2006   | 2010    | abcd   |
-------------------------------------------

..使用以下查询：

WITH arr AS (SELECT jsonb_array_elements(jsonbrecords) AS jsons
             FROM "table-with-jsonb"),
    lines AS (
      SELECT x.*
      FROM arr, jsonb_to_record(jsons) AS x(
                "field1" VARCHAR
                 )
  ) SELECT *
    FROM lines

我正在使用 Datagrip，它对结果进行分页，并且前 500 行的查询完成得很好。

但是，当我尝试加载结果的最后一页时，出现此错误：

[22023] ERROR: cannot call populate_composite on a scalar

谷歌搜索这个错误几乎没有显示任何有用的结果（对我来说是第一次），除了Postgres 源代码。

我不会说 C，但由于jsonb_array_elementsCTE 本身评估良好，我假设问题是某些行在jsonbrecordscolumn 中具有标量值，而不是适当的JSONB.

为了确保我只有值，我删除了此查询JSONB不包含的行：'{'

UPDATE  "table-with-jsonb" SET jsonbrecords = NULL
WHERE jsonbrecords :: TEXT !~ '{'

这删除了大约十几行，但错误仍然存​​在。

我也试图通过检查JSONB表中的原始行来找到问题，但什么也没找到。

我认为错误意味着一行中没有JSONB值是正确的吗？如果是这样，我该如何解决？如果没有，我该如何调试？

问题

我应该采用哪些优化来使这个数据库易于管理？我读过很多关于优化大数据库的文章，但我是新手，所以很难确定哪些技术适合我的设置。

数据库信息

我将大约 9000 万行从平面文件 csvs 加载到 mysql 数据库（aws RDS，如果重要的话）。有 60 列，每行代表对网站的一次点击。

数据类型：由于 mysqlimport 实用程序的限制，所有数据类型都是文本（具体来说，它对数字字段中的空值与 0 值的处理，我可能是错的）

每列属于以下类别之一：

1. 访问信息：时间、引荐来源网址等。许多页面记录数百万次访问（例如首页），有些只记录少数。

2. 用户信息：城市/州等。用户登录的访问次数从 1 次到数千次不等，分布偏斜。

3. 页面信息：url、内容标志等。

IO - 数据库只有 4 个用户，因此不会有很多 i/o，主要是在我们的 python 数据分析环境中填充数据帧的查询。

indexes - 除了默认生成的索引外没有。索引的候选对象是用户 ID 和页面浏览时间戳（可能是多列索引？）

选项

我欢迎任何其他想法，但这是我通过一些搜索得出的想法。有兴趣了解哪些步骤值得，哪些不值得。

1. 调整每个字段的数据类型的大小——这会提高性能吗？大多数字段是文本或布尔标志。

2. 将表格分成至少 2 个，例如，访问信息和页面信息。

3. 放在一张表里，分区。根据我的阅读，我认为在最常查询的字段上进行分区是最佳选择。