AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / user-139952

ST-DDT's questions

Martin Hope
ST-DDT
Asked: 2019-08-06 03:35:16 +0800 CST

MongoDB 服务器日志到文件和 rsyslog

  • 1

我必须通过 UDP 将我的日志转发到 rsyslog,但由于 UDP 和 rsyslog 的易失性,我也想记录到一个文件中。但是,AFAICT MongoDB 仅允许其日志使用一个目标:

systemLog:
  destination: file
  logAppend: true
  path: /var/log/mongodb/mongod.log
  #destination: syslog

我正在使用最新的 mongodb 4。

除非我弄错了,它甚至不支持远程系统日志:https ://docs.mongodb.com/manual/reference/configuration-options/#systemLog.destination

如何使用 mongodb 登录到类似文件和远程系统日志?

mongodb log
  • 1 个回答
  • 961 Views
Martin Hope
ST-DDT
Asked: 2019-03-28 09:11:49 +0800 CST

Mongodb 在副本重新同步期间消耗了太多 RAM

  • 2

我有一个带有 2 个数据节点和 1 个仲裁器的 mongodb 集群。我的所有 centos 虚拟机都使用 mongodb 4.0.7。

几天前,我的一台服务器(我们称之为 data-2)发生了致命的崩溃,并请求对数据进行完全重新同步。在 data-2 上重新启动 mongodb 后,重新同步开始。然而,紧接着 data-1(主要)上的 RAM 使用率开始飙升。

data-1 内存消耗持续上升

然而,在 data-2 上,内存消耗几乎是恒定的:

data-2 内存消耗保持不变

在正常使用时间内,重新同步期间内存消耗保持接近 data-2 的消耗。

几个小时后,最坏的情况发生了,最后剩下的数据持有者(data-1)在使用整个 ram + swap(~50GB)后被内核杀死了 OOM。我可以毫不费力地将 data-1 恢复为主,但我每次尝试开始重新同步时都会再次发生同样的情况。

此行为似乎与重新同步期间的实际数据库使用无关。(为了重新同步而关闭 prod db 绝对是不行的)。

总数据大小约 500GB,最大数据库 480GB,包含约 300 个集合。

现在我的问题:

  • 什么在重新同步期间使用了这么多内存?
  • 如何有效分析内存消耗?
  • 如何防止主数据库因重新同步而关闭?
mongodb mongodb-4.0
  • 2 个回答
  • 1857 Views
Martin Hope
ST-DDT
Asked: 2018-08-05 09:21:38 +0800 CST

使自定义聚合函数更易于使用(接受更多输入类型而无需创建变体)

  • 3

最近我在 postgres 中编写了一个自定义聚合函数,它将返回与使用不同列的max/聚合匹配的行的特定列。min

虽然代码本身运行良好,但为我可能需要的每个可能的输入组合创建自定义数据类型有点麻烦。

这是我使用的代码

CREATE TYPE agg_tuple_text AS
(
    exists boolean,
    value numeric,
    text text
);

--------------------------------------------------------------------------------

CREATE FUNCTION valued_min(old_tuple agg_tuple_text, new_value numeric, new_text text)
    RETURNS agg_tuple_text
    LANGUAGE plpgsql
AS $$
    BEGIN
        IF (old_tuple).exists = false THEN
            RETURN (true, new_value, new_text);
        ELSIF (old_tuple).value > new_value THEN
            RETURN (true, new_value, new_text);
        ELSE
            RETURN old_tuple;
        END IF;
    END;
$$;
--------------------------------------------------------------------------------

CREATE FUNCTION unpack_agg_tuple_text(value agg_tuple_text)
    RETURNS text
    LANGUAGE plpgsql
AS $$
BEGIN
    IF (value).exists = false THEN
        RETURN NULL;
    ELSE
        RETURN (value).text;
    END IF;
END
$$;

--------------------------------------------------------------------------------

CREATE AGGREGATE valued_min(numeric, text)
(
        INITCOND = '(false, 0, null)',
        STYPE = agg_tuple_text,
        SFUNC = valued_min,
        FINALFUNC = unpack_agg_tuple_text
);

--------------------------------------------------------------------------------

-- Example
SELECT min(value) as min_value, valued_min(value, name) as min_name, max..., avg... FROM kv;
-- Output:
-- min_value | min_name           | ...
-- ----------+--------------------+----
--     11.11 | this is the lowest | ...

编辑:我的目标是为 TSDB 绘制最小/最大/平均图表,并分别显示最小和最大条目的名称。

有没有办法在不为每种可能的组合创建所有这些的情况下实现这一目标?(也许是 Java 或类似语言中存在的某种通用参数)

  • 值列类型
    • 各种日期/时间类型
    • 数值类型
    • 也许文本
    • (任何可比较的类型)
  • 数据列类型
    • 随便哪种

如果我只能将它用于数据值就足够了,因为它不用于该代码内的任何计算。不幸的是,自定义数据类型中不允许使用任何元素类型。

我已经考虑过使用 json 类型作为输入,但感觉有点不对,因为它丢失了类型信息(尤其是日期/时间类型)。


我使用没有扩展的 Postgres 10,但如果可以使用 postgres 1x 或使用特殊扩展,我愿意尝试。


我也考虑过加入这些值,但后来我遇到了性能问题和具有相同值的潜在重复项/行。

postgresql aggregate
  • 2 个回答
  • 160 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve