主页 / user-9470

ledy's questions

Martin Hope
ledy
Asked: 2014-08-14 13:48:42 +0800 CST
  • 3

在尝试了不同的驱动程序和客户端之后，我们在查找查询时遇到了 mongodb 超时。

甚至 Profiling 也会记录设置并很好地发布。

       2014-08-13T23:46:43.218+0200 [conn80] query mdb.fcol query: { $query: { 
       unid: "39068119d2924babffedde92ef937bd0" }, $maxTimeMS: 100 } planSummary: 
       IXSCAN { unid: 1 } ntoskip:0 nscanned:1 nscannedObjects:1 keyUpdates:0 
       numYields:1 locks(micros) r:334 nreturned:1 reslen:341 2181ms

虽然$maxTimeMS: 100，查询需要 2181 毫秒。

如果超过时间，如何强制 mongodb 遵守超时并停止处理？

MongoDB v2.6.4, 64Bit

mongodb timeout
Martin Hope
ledy
Asked: 2013-07-13 12:39:31 +0800 CST
  • 4

在具有 4 个 CPU 内核和 8GB RAM 的 64 位 Debian 6 操作系统上，我可以重现 mongostat 的问题。

每当我在后台创建索引、reIndex 甚至索引时，根据top，CPU 负载为 40-60%，RAM 已填满 90%。在索引任务运行时，我尝试mongostat观察 CPU 负载。立即，CPU 负载接近 100% 并阻塞。

mongostat

连接到：127.0.0.1

之后什么都没有，只有 CPU 负载达到极限，直到 Ctrl + C 停止 mongostat。几秒钟后，CPU 负载缩小到约 50%，一切都恢复正常。

以相同的行为再次尝试mongostat...

mongodb 期待更多的 CPU 还是出了什么问题？

mongodb load
Martin Hope
ledy
Asked: 2013-03-18 05:55:44 +0800 CST
  • 2

由于我经常遇到 mongodb 的文档大小限制以及聚合框架的组限制 >16M，这取决于我需要处理的数据量，所以我寻找一个简单的解决方法。

该解决方案还必须适用于单个节点（并且不得需要多个 mongos）。

简而言之，这是一个用于查找的聚合

(a) 一个字段中唯一值的数量（计数），并将该数量按另一个字段分组

(b) 唯一 ID 出现的频率或计数。

一个例子可以使任务更容易理解：假设有一个包含 2 个字段的集合，即姓氏和姓氏。

（例 a）每个姓氏有多少个不同的姓氏？结果可能是：姓氏“smith”有 1000 个唯一（不同）的姓氏，姓氏“schulz”的人有 500 个不同的姓氏等。

=> 这也可以通过不同的计数和/或 mapreduce 等来解决。没有超过限制。无论如何，这似乎是一个缓慢的表扫描，聚合框架可以更快地完成任务。

（例如 b）每个姓氏的姓氏有多受欢迎？结果：对于姓氏“smith”，有 500 个只出现一次的姓氏，200 个出现 2 次的姓氏，45 个出现了 3 次我们的数据，...

=> 在这里使用 mongodb 的聚合框架非常舒服，它可以快速正确地处理这个任务。然而，在 15GB 的集合中尝试具有大量唯一值的任务时，它担心 16M 的限制。

第一个解决方法是成功的，但只是一个快速的'n'dirt 不可扩展的技巧：我没有处理所有数据和之后的 $group，而是为每个 $group-item 过滤（$match）。使用上面的示例，我查找所有不同的姓氏，对每个姓氏运行一次聚合，并在聚合开始之前减少管道数据。

如果单个 $group-item（姓氏）的数据量不是太多，这可以避免 16M 限制问题。=> 只有 quick'n'dirty 解决方法。

另一个想法是 COUNT 的帮助集合。

我可以迭代每个输入文档并使用计数器将姓氏和每个姓氏的一个字段写入另一个集合。

例如 surname=John count_with_Lastname.smith=10, count_with_Lastname.brown=2, ...

构建这个助手集合非常慢，不是吗？当递增 +1 时，即每个输入文档 1 次更新/写入，我担心这可能会永远持续下去:-(

是否有解决此任务的最佳实践或技巧（没有多个节点且没有 Hadoop 或替代方案）？

请告诉我

nosql mongodb
Martin Hope
ledy
Asked: 2012-06-29 23:15:43 +0800 CST
  • 1

运行具有 1 个主副本和 2 个副副本的副本集，我想知道为什么 READ 也在主副本上完成。主要的不应该主要做 WRITE 而次要的可以分担 READ 负载吗？！

我正在为 mongodb 使用 PHP 驱动程序并发送副本集的详细信息。PHP 从辅助节点运行，在脚本中，初始连接转到辅助节点本身，即那里的本地主机。

php 文档说，驱动程序一旦连接到副本集的任何成员，就会自行找到主要和次要的，无论是主要的还是次要的。

检查负载和日志后，我发现目前我可怜的主服务器必须处理所有的读取，而从服务器很无聊。

mongodb replication
Martin Hope
ledy
Asked: 2012-06-21 00:30:10 +0800 CST
  • 6

我们考虑从 master-slave 转移到MongoDBwith replica-set。现在我想知道是否MongoDB也设置了副本，read-only slaves或者每个副本mongos是否能够像主-主农场一样写入和同步其他副本？

这可能会减少单一错误源 ( master down) 并平衡write-load缩放与最佳性能（不仅用于读取，还用于写入......）。

mongodb replication
Martin Hope
ledy
Asked: 2012-06-20 03:53:20 +0800 CST
  • 21

将整个索引放在内存/内存中是否足够，或者 mongodb 甚至尝试分配尽可能多的内存来存储数据以进行快速读取？

我想运行 mongodb + 其他应用程序，看起来 mongodb 是唯一一个不允许我定义 RAM 范围的应用程序，比如说“max_memory_allocated_or_reserved=8GB”。

如果没有办法这样做，我应该向 oom-killer 解释 mongod 是“坏”过程，在我看来这不是最佳实践......

mongodb
Martin Hope
ledy
Asked: 2012-06-19 04:01:17 +0800 CST
  • 3

在大型 mongoDB 上，我有 2 种不同的读取用例和 2 种不同的写入/更新类型。

  • 阅读 1：按索引查找 -> 对此毫无疑问。这就像一个魅力 - 只要索引适合内存/内存。
  • 读取 2：逐行读取，就像一个批处理脚本逐个读取日志文件。
  • write 1: insert - 追加一个新的数据集或文档。
  • write 2：更新数据，直接寻址或通过索引找到。

现在我想知道 mongoDB 是否能够“优先”不同的写入任务。我有一个集合，它不需要“实时”写入和立即可用的数据。使用一个慢队列，不着急处理这些写任务就足够了。但是，也有一些写入语句应尽快处理并以最小延迟（如果有）可用。

mongoDB 是否允许我区分高（尽快）和低优先级（队列）写入/更新？

mongodb