问题[limits](server)

我正在构建一个 solr 服务器（在 Ubuntu 18.04 上，使用 repo solr-common 和 solr-jetty）。启动时，solr 报告 nfile 和 nproc (1024, 6721 resp) 设置得太低。我运行systemctl edit solr并创建了一个覆盖，如下所示：

[Service]
LimitNOFILE=65000
LimitNPROC=65000

然后我重新启动了服务 - solr 仍然报告同样的问题。

我添加了 /etc/security/limits.d/solr 包含：

solr hard nofile 65535
solr soft nofile 65535
solr hard nproc 65535
solr soft nproc 65535

重新启动服务后仍然报告相同的问题：

# systemctl status solr
● solr.service - LSB: Controls Apache Solr as a Service
   Loaded: loaded (/etc/init.d/solr; generated)
  Drop-In: /etc/systemd/system/solr.service.d
           └─override.conf
   Active: active (exited) since Mon 2020-03-30 14:55:49 BST; 6s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 6848 ExecStop=/etc/init.d/solr stop (code=exited, status=0/SUCCESS)
  Process: 6973 ExecStart=/etc/init.d/solr start (code=exited, status=0/SUCCESS)

Mar 30 14:55:43 dev-a01-si-solr.bip solr[6973]: *** [WARN] *** Your open file limit is currently 1024.
Mar 30 14:55:43 dev-a01-si-solr.bip solr[6973]:  It should be set to 65000 to avoid operational disruption.
Mar 30 14:55:43 dev-a01-si-solr.bip solr[6973]:  If you no longer wish to see this warning, set SOLR_ULIMIT_CHECKS to false in your profile or solr.in.sh
Mar 30 14:55:43 dev-a01-si-solr.bip solr[6973]: *** [WARN] ***  Your Max Processes Limit is currently 6721.
Mar 30 14:55:43 dev-a01-si-solr.bip solr[6973]:  It should be set to 65000 to avoid operational disruption.
Mar 30 14:55:43 dev-a01-si-solr.bip solr[6973]:  If you no longer wish to see this warning, set SOLR_ULIMIT_CHECKS to false in your profile or solr.in.sh
Mar 30 14:55:49 dev-a01-si-solr.bip solr[6973]: [194B blob data]
Mar 30 14:55:49 dev-a01-si-solr.bip solr[6973]: Started Solr server on port 8983 (pid=7045). Happy searching!
Mar 30 14:55:49 dev-a01-si-solr.bip solr[6973]: [14B blob data]
Mar 30 14:55:49 dev-a01-si-solr.bip systemd[1]: Started LSB: Controls Apache Solr as a Service.

我在这里做错了什么？

更新 修改 /etc/systemd/system.conf 以包含...

DefaultLimitNOFILE=65000
DefaultLimitNPROC=65000

Solr 不再抱怨文件限制，但仍在抱怨进程限制。WTF波特林？

  Drop-In: /etc/systemd/system/solr.service.d
           └─override.conf
   Active: active (exited) since Mon 2020-03-30 15:21:59 BST; 14s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 1141 ExecStart=/etc/init.d/solr start (code=exited, status=0/SUCCESS)

Mar 30 15:21:51 dev-a01-si-solr.bip solr[1141]:  If you no longer wish to see this warning, set SOLR_ULIMIT_CHECKS to false in your profile or solr.in.sh
Mar 30 15:21:51 dev-a01-si-solr.bip solr[1141]: *** [WARN] ***  Your Max Processes Limit is currently 6721.
Mar 30 15:21:51 dev-a01-si-solr.bip solr[1141]:  It should be set to 65000 to avoid operational disruption.
Mar 30 15:21:51 dev-a01-si-solr.bip solr[1141]:  If you no longer wish to see this warning, set SOLR_ULIMIT_CHECKS to false in your profile or solr.in.sh
Mar 30 15:21:51 dev-a01-si-solr.bip solr[1141]: Warning: Available entropy is low. As a result, use of the UUIDField, SSL, or any other features that require
Mar 30 15:21:51 dev-a01-si-solr.bip solr[1141]: RNG might not work properly. To check for the amount of available entropy, use 'cat /proc/sys/kernel/random/entropy_avail'.
Mar 30 15:21:59 dev-a01-si-solr.bip solr[1141]: [230B blob data]
Mar 30 15:21:59 dev-a01-si-solr.bip solr[1141]: Started Solr server on port 8983 (pid=1459). Happy searching!
Mar 30 15:21:59 dev-a01-si-solr.bip solr[1141]: [14B blob data]
Mar 30 15:21:59 dev-a01-si-solr.bip systemd[1]: Started LSB: Controls Apache Solr as a Service.

修改 user.conf 以匹配没有帮助。

更新 2 好吧，这只会越来越好。重新启动主机后，nfile 警告消失了。当我随后运行时，systemctl restart solr我得到了这个：

Mar 30 15:39:21 dev-a01-si-solr.bip solr[2503]: *** [WARN] *** Your open file limit is currently 1024.
Mar 30 15:39:21 dev-a01-si-solr.bip solr[2503]:  It should be set to 65000 to avoid operational disruption.

FFS！

现在，我把 Centos 5 CD 放在哪里了？

更新 3

事实证明，这不再是打包好的 solr。我不知道，有人在使原始版本正常工作时遇到问题，并在互联网上找到了有关如何从 tarball 安装的教程。所以我现在有一个半 tarball/半 repo solr 的系统，我们无法修补/升级。

备份文件的最佳命令行是什么？

tar -czf /backup/backup.tar.gz /var/www/html

或者

tar -czvf /backup/backup.tar.gz /var/www/html

这和这有什么区别？

附言

# tar -czf /backup/backup.tar.gz /var/www/html tar: Removing leading `/' from member names

我得到这个错误为什么？

我有一个 Ubuntu 16.04 服务器。

当我以 root 身份运行时，ulimit -n我得到 1024。

当我以我的用户身份运行它时，我得到 65535。

但我想确保包括 root 在内的所有用户都将打开文件限制设置为 65535。

问题是我已经做了我所知道的一切来改变它，但对于 root 来说它仍然显示 1024。

以下是我做过的事情：

root@sensu:/etc/security/limits.d# cat 90-nofiles.conf
* soft     nproc          65535
* hard     nproc          65535
* soft     nofile         65535
* hard     nofile         65535

root@sensu:/etc/security# grep nofile limits.conf
#        - nofile - max number of open files
*   soft     nofile         65535
*   hard     nofile         65535

root@sensu:/etc/security# grep file-max  /etc/sysctl.conf
fs.file-max = 65536

我当然跑了sysctl -p。

有问题的进程是redis：

root@sensu:/proc# grep "open files" /proc/1487/limits
Max open files            4096                 4096                 files

查看 redis 初始化文件：

root@sensu:/proc# grep ulimit /etc/init.d/redis-server
    ulimit -n 100001

正如您在示例中看到的，没有理由将此限制设为 1024，但仍然......它是 1024。

可能是什么原因？我缺少的那个设置在哪里？

我正在使用 CentOS 7。我发现可以使用$ ulimit -a（查找打开的文件）查看当前值。

要不就$ ulimit -n

然后我尝试通过编辑文件来编辑这些限制

$ vim /etc/security/limits.conf

并添加这两行：

soft nofile 999999
hard nofile 999999

在快速重启并检查是否发生了什么事情之后

$ ulimit -n

它仍然是一样的，我得到 1024 作为输出。

如何更改此值并使其在重新启动后保持不变？

我在我们客户的一个备份硬盘上遇到了一个奇怪的问题：硬盘被格式化为 FAT32，昨晚我们的备份作业在子目录上抛出了一个错误，声称它无法复制它必须复制的文件。

我当然首先检查了磁盘大小，但是有足够的空间。给出的错误是 0x80070052，如果我把它放到搜索引擎中，我会得到如下结果：http ://www.quickonlinetips.com/archives/2007/09/how-to-fix-error-0x80070052-on-usb-闪存驱动器/

但是该分区的根目录中只有 8 个文件/目录。所以我继续并决定自己测试一些东西。创建单个文件（例如名为“test.txt”）确实有效。但是使用备份作业失败的文件名之一创建一个文件不起作用，相反我得到了与上面相同的错误。我测试了一下，发现我可以在该子目录中创建一个包含 10 个字符的文件，再多一个字符，它就会失败。

检测到这一点后，我在该子目录中创建了一个目录（名为“test”）并将一些文件从子目录移动到新目录中，完成后，我尝试创建一个包含 11 个字符的文件（这不起作用之前）并且它起作用了。

现在，显然从观察来看，对于 FAT32 的单个目录中的所有文件名可以使用多少个字符似乎存在某种硬限制，但我找不到有关该硬限制或其他文件系统（尤其是 NTFS ，我猜这将是这种情况下的替代方案）具有类似的限制。

如果有人可以向我提供有关观察到的行为的信息，那就太好了！

编辑

一位同事告诉我将确切的文件夹放在另一个 FAT32 驱动器上，因为他曾经遇到过特定制造商的 USB 控制器的问题。我尝试了两个来自不同制造商的 USB 记忆棒，都是 FAT32 格式，都显示出与上述完全相同的行为。

为了让您了解所涉及的文件数量：大约有 10200 个文件，每个文件的文件名长度在 80 到 110 个字符之间，不包括文件路径（这似乎无关紧要），所以大约有涉及一百万个字符。

这是一个标准问题，“如何在 Linux 中为用户帐户设置进程限制以防止分叉炸弹”，还有一个额外的转折。正在运行的程序起源于 root 拥有的 Python 进程，然后 setuids/setgids 本身作为普通用户。据我所知，此时 /etc/security/limits.conf 中设置的任何限制都不适用；setuid-ed 进程现在可能会分叉炸弹。任何想法如何防止这种情况？

Linux 上是否有任何文件名或路径长度限制？