主页 / user-298914

innervoice's questions

Martin Hope
innervoice
Asked: 2020-01-21 21:59:26 +0800 CST
  • 1

由于某个组件的一些错误，HDFS 中的文件累积并且数量巨大，即 2123516。我想列出所有文件并将它们的名称复制到一个文件中，但是当我运行以下命令时，它会给出 Java 堆空间错误.

hdfs dfs -ls /tmp/content/

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
    at java.util.Arrays.copyOf(Arrays.java:3332)
    at java.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:137)
    at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:121)
    at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:421)
    at java.lang.StringBuffer.append(StringBuffer.java:272)
    at java.net.URI.appendSchemeSpecificPart(URI.java:1911)
    at java.net.URI.toString(URI.java:1941)
    at java.net.URI.<init>(URI.java:742)
    at org.apache.hadoop.fs.Path.initialize(Path.java:145)
    at org.apache.hadoop.fs.Path.<init>(Path.java:126)
    at org.apache.hadoop.fs.Path.<init>(Path.java:50)
    at org.apache.hadoop.hdfs.protocol.HdfsFileStatus.getFullPath(HdfsFileStatus.java:215)
    at org.apache.hadoop.hdfs.DistributedFileSystem.makeQualified(DistributedFileSystem.java:252)
    at org.apache.hadoop.hdfs.DistributedFileSystem.listStatus(DistributedFileSystem.java:311)
    at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:842)
    at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:902)
    at org.apache.hadoop.fs.FileSystem.globStatusInternal(FileSystem.java:1032)
    at org.apache.hadoop.fs.FileSystem.globStatus(FileSystem.java:987)
    at org.apache.hadoop.fs.FileSystem.globStatus(FileSystem.java:965)
    at org.apache.hadoop.fs.shell.Command.runAll(Command.java:62)
    at org.apache.hadoop.fs.FsShell.run(FsShell.java:1822)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
    at org.apache.hadoop.fs.FsShell.main(FsShell.java:1895)

有没有其他方法可以列出文件以及列出 2400000 个文件需要多少堆空间？

hadoop
Martin Hope
innervoice
Asked: 2019-12-03 03:33:23 +0800 CST
  • 0

我有两个 mongo 数据库集群，每个集群有三台机器。说 Cluster1 和 Cluster2。为了降低成本，我必须终止 Cluster2。所以我从 Cluster2 的主机上获取了一个数据库的 mongodump，它是 8.5 GB。我将该转储文件夹复制到 Cluster1 的主机并在那里运行 mongorestore 命令，但是当我show dbs在 Cluster1 上运行命令时，它显示大小为 4.7GB。所以我的问题是，我是否犯了任何错误或 mongorestore 没有恢复索引或任何其他原因？

database
Martin Hope
innervoice
Asked: 2019-11-13 21:49:04 +0800 CST
  • 0

我在谷歌云和亚马逊上有生产机器。在这两种云上，我在每个名为监控的公共服务器上都有公共 IP。通过这些监控机器，我可以访问各个云上的所有机器。但是，问题是我必须像访问它们一样访问它们，ssh -i abc.pem user@<ip address> 而我希望像访问它们一样访问它们ssh -i abc.pem user@<machine name> 如何实现这一点？

domain-name-system
Martin Hope
innervoice
Asked: 2019-09-30 07:07:07 +0800 CST
  • 0

我有 3 个节点的 Cassandra 集群。我正在执行一些 colud 迁移活动，为此，我在现有集群中添加了两个节点，结果如下。

Datacenter: datacenter1
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address      Load       Tokens       Owns (effective)  Host ID                               Rack
UN  192.168.1.5    24.07 GB   256          59.4%             804b855f-78f3-42d6-8abf-b9aec73699df  rack1
UN  192.168.1.6    24.77 GB   256          59.8%             21f2066f-1794-485c-9c4f-d6d1b286a551  rack1
UN  172.16.2.20  15.96 GB   256          60.3%             2c2f512d-5743-4632-a4b5-cd2cac967897  rack1
UN  172.16.2.21  12.76 GB   256          60.0%             657ff1b6-773a-4782-a506-c4899cdf2a4f  rack1
UN  192.168.1.7    17.69 GB   256          60.5%             c8c4bc41-4b5c-41e6-bb71-ab90c2ed5eb0  rack1

OWNS 字段以前对于所有节点都是 100%，现在它显示不同的数字，所以是否像整个 100% 数据不在每个节点上一样，假设我通过关闭 Cassandra 来关闭任何节点，那么是否存在数据丢失的风险？

cassandra
Martin Hope
innervoice
Asked: 2018-08-30 04:07:50 +0800 CST
  • 0

我正在尝试名为 Compass 的 MongoDB 新 GUI。

但是，我的 MongoDB 服务器位于仅具有私有 IP 的 Azure 虚拟机上。

我们虚拟子网中的所有 Azure 服务器都可以通过一台称为监控服务器的服务器访问，该服务器具有公共 IP，并且安装了一个 haproxy，所有请求都相应地定向到相关服务器。

那么如何使用 Compass 从我的桌面（centos）访问 MongoDB？

我对 haproxy 进行了以下更改，但仍然无法使用 Compass 访问 mongodb。

listen cc-mongo-1 <public ip of monitoring server>:27017
  mode tcp
  balance roundrobin
  server cc-mongo-1 <private ip of mongodb>:27017

或者我们可以像我直接在服务器上安装它然后尝试从本地机器打开 GUI 一样吗？

haproxy
Martin Hope
innervoice
Asked: 2016-03-23 05:26:48 +0800 CST
  • -1

我必须从 nagios 中删除自定义 HTTP 检查，因此在两个文件中注释了 check_http 部分，即 1.commands.cfg 2.services.cfg

但是，当我重新启动服务器时，出现以下错误。

Checking objects...
Error: Service check command 'check_http' specified in service 'HTTP' for host 'localhost' not defined anywhere!
    Checked 225 services.
    Checked 66 hosts.
    Checked 11 host groups.
    Checked 6 service groups.
    Checked 16 contacts.
    Checked 21 contact groups.
    Checked 29 commands.
    Checked 5 time periods.
    Checked 0 host escalations.
    Checked 0 service escalations.
Checking for circular paths...
    Checked 66 hosts
    Checked 0 service dependencies
    Checked 0 host dependencies
    Checked 5 timeperiods
Checking global event handlers...
Checking obsessive compulsive processor commands...
Checking misc settings...

因此，请协助解决此问题。

nagios