主页 / user-279386

L. Connell's questions

Martin Hope
L. Connell
Asked: 2024-07-09 23:03:35 +0800 CST
  • 5

我有一张约 100 万行的表，正尝试通过 TQL 接口由 Java 程序读取（即仅使用普通 Java API，不使用 SQL）。但是当我尝试读取容器时，遇到了内存错误：

Exception in thread "main" com.toshiba.mwcloud.gs.common.GSStatementException: [1043:CM_MEMORY_LIMIT_EXCEEDED] Memory limit exceeded (name=transactionWork.workerStack, requestedSize=67108880, totalSizeLimit=134217728, freeSizeLimit=1048576, totalSize=74448896, freeSize=0) (address=172.18.0.2:10001, partitionId=29)

显而易见的解决方案是增加 storeMemoryLimit，因此我将其从默认的 1024MB 增加到两倍的 2048MB。虽然我增加了内存限制，但我从 Java 程序读取时仍然收到相同的错误，因为 totalSizeLimit 等的值保持不变，这意味着在这种情况下进一步增加 storeMemoryLimit 不会有帮助（尽管我尝试过）。

我还将压缩方法从 NONE 更改为新的 ZSTD，希望它可以将数据集压缩到足够小以便一次读取而不会达到内存限制，但这也失败了。

我唯一的另一个想法是从 TQL 切换到 SQL 并增加 SQL 内存限制，但我不想切换我的整个代码。

有什么办法可以一次性读取整个表格吗？

griddb
Martin Hope
L. Connell
Asked: 2024-06-22 04:28:37 +0800 CST
  • 6

我有一个 Java 程序，它通过 NoSQL API 将行写入我的 GridDB 表。我正确地捕获了错误，并在日志中看到数据通过多路输入存储到我的容器中，但是当我进入 CLI 查看数据内容时，容器完全是空的？

首先，容器的外观如下：

gs[public]> showcontainer LOG_agent_intrusion_exploit
Database    : public
Name        : LOG_agent_intrusion_exploit
Type        : COLLECTION
Partition ID: 22
DataAffinity: -
Partitioned : true
Partition Type           : INTERVAL
Partition Column         : timestamp
Partition Interval Value : 30
Partition Interval Unit  : DAY
Expiration Type      : PARTITION
Expiration Time      : 30
Expiration Time Unit : DAY

Columns:
No  Name                  Type            CSTR  RowKey
------------------------------------------------------------------------------
 0  timestamp             TIMESTAMP(3)    NN
 1  username              STRING
 2  incomingIP            STRING
 3  serverIP              STRING
 4  mtu                   INTEGER
 5  statusCode            INTEGER
 6  cacheHit              STRING
 7  method                STRING
 8  url                   STRING
 9  urlPrefix             STRING
10  urlSuffix             STRING
11  httpVersion           STRING
12  service               STRING
13  riskLevel             STRING
14  headerContentType     STRING
15  bytesReceived         INTEGER
16  bytesSent             INTEGER
17  headerAgent           STRING
18  url2                  STRING
19  url2Prefix            STRING
20  url2Suffix            STRING
21  meta1                 STRING
22  meta2                 STRING
23  meta3                 STRING
24  meta4                 STRING

我的日志解析器正在创建一个以容器名称作为键名的哈希图，收集所有行，然后使用 store.multiPut 推送到 GridDB。对于此功能，我正在执行一个简单的 try/catch 块，它通常会捕获 GridDB 错误。

快速片段：

                for (RawLog log : logs) {
                    try {
                        System.out.println(log.logtype + "~~~~~~");
                        System.out.println("configs.get(log.logtype)" + configs.get(log.logtype));
                        Row row = lp.patternMatcher(proc_container, log, configs.get(log.logtype));
                        if (row != null) {
                            proc_logs.add(row);
                            System.out.println("parsing this row: " + row);
                        } else
                            System.out.println("Could not parse " + log);
                    } catch (Exception e) {
                        e.printStackTrace();
                        System.out.println("Could not parse " + log);
                    }
                }

                containerRowsMap.put(proc_container, proc_logs);

            }
            try {
                db.store.multiPut(containerRowsMap);
            } catch (Exception e) {
                System.out.println("Error with inserting data");
                e.printStackTrace();
            }

因此，在这种情况下，似乎数据应该在我的表中，但是当我运行一个简单的查询时select * from LOG_agent_intrusion_exploit;，我得到零行。

我尝试放弃多输入并一次插入一行，但得到的结果完全相同。

griddb