karthick87 Asked: 2011-04-14 00:22:56 +0800 CST2011-04-14 00:22:56 +0800 CST 2011-04-14 00:22:56 +0800 CST 如何通过网络将文件复制到多个主机? 772 我有超过 200 个 Ubuntu 系统,我想将文件复制到其中。 如何通过网络将文件复制到多个主机?我有什么可能性? 注意:这个问题与如何远程查找 Ubuntu 机器的版本有关? networking 3 个回答 Voted Best Answer Oli 2011-04-14T00:53:57+08:002011-04-14T00:53:57+08:00 我意识到你可能只想要一些简单的东西,但是有很多方法可以做到这一点。但首先我们希望能够同时控制所有计算机。 这似乎是一个奇怪的方向,但它会在以后您可能想要发送关闭、重新启动、升级到所有计算机时为您节省时间。 clusterssh 让我们安装clusterssh并启动一个命令以一次连接到我们所有的服务器(这可能无法同时用于 200 台服务器 - 我没有 200 台计算机来测试它!) sudo apt-get install clusterssh cssh user@first_computer:port user@second_computer:port ... 这将为每个连接产生很少的输出窗口(为什么我说 200 可能是一个延伸)和一个全局输入对话。从那里您可以向所有服务器发送相同的命令。 如果您想从命令行执行此操作,并且这可能支持 200 个连接,您可以-a查看cssh. 您可以向每个服务器抛出一个命令(或命令字符串)。它将连接、执行和关闭连接。 cssh -a 'cd directory; ls' user@first_computer:port user@second_computer:port clusterssh您可以通过使用强大的配置来简化您的连接。打开man cssh并前往该FILES部分。它解释了如何创建/etc/clusters文件以允许您快速创建组(称为标签),如下所示: clusters = <tag1> <tag2> <tag3> <tag1> = host1 host2 host3 <tag2> = user@host4 user@host5 host6 <tag3> = <tag1> <tag2> 然后你可以这样做: cssh -T 'tag2' -a 'cd directory; ls' 使用中央存储库 我不是指 deb repo(但我猜这也是可能的),而是类似gitor brz。它可以像 Web 服务器或网络共享一样简单。如果网络带宽在某些地方存在瓶颈,那么像 torrent 服务器这样的东西甚至可能是最好的方法(这就是 Facebook 更新所有节点的方式) 告诉您的网络下载文件 从这里开始,它只是连接点。使用cssh您只需告诉所有计算机获取文件并使用它做任何需要做的事情。 我建议你从小处着手。获取共享文件,然后尝试由几台计算机组成的简单集群,看看效果如何。扩展它。 我建议即使你完成后,在将东西推送到主组之前,你也要保留几台计算机的集群进行测试。 Oli 2011-04-14T01:01:22+08:002011-04-14T01:01:22+08:00 或者,您可以保持它基于推送。最简单的方法是编写一个脚本: 遍历服务器列表 连接到服务器并复制文件(这里有两个选项): 用于sshfs在本地挂载远程文件系统,cp/rsync文件,fusermount -u你挂载它的目录(卸载远程系统)。继续。 只需使用rsync的网络功能将文件复制过来。 rsync /localdir/ user@remote:/remotedir DrSAR 2011-04-14T01:01:03+08:002011-04-14T01:01:03+08:00 [Oli 的回答在我打字的时候出现了] clusters 的替代方案是 parallel-scp。它是pssh 包的一部分 您需要在文本文件(例如 hosts.txt)中提供主机列表,然后发出: parallel-scp -h hosts.txt file2copy.dat /target/directory 请查阅手册页以满足您的特定需求。这不应该达到太多连接的限制,因为它不需要像 cssh 那样打开所有的实时连接,它会按顺序尝试。 PS:设置基于密钥的授权当然会使这变得容易得多,但我怀疑首先将您的密钥分发到 200 个系统可能是您问这个问题的原因......
我意识到你可能只想要一些简单的东西,但是有很多方法可以做到这一点。但首先我们希望能够同时控制所有计算机。
这似乎是一个奇怪的方向,但它会在以后您可能想要发送关闭、重新启动、升级到所有计算机时为您节省时间。
clusterssh
让我们安装
clusterssh
并启动一个命令以一次连接到我们所有的服务器(这可能无法同时用于 200 台服务器 - 我没有 200 台计算机来测试它!)这将为每个连接产生很少的输出窗口(为什么我说 200 可能是一个延伸)和一个全局输入对话。从那里您可以向所有服务器发送相同的命令。
如果您想从命令行执行此操作,并且这可能支持 200 个连接,您可以
-a
查看cssh
. 您可以向每个服务器抛出一个命令(或命令字符串)。它将连接、执行和关闭连接。clusterssh
您可以通过使用强大的配置来简化您的连接。打开man cssh
并前往该FILES
部分。它解释了如何创建/etc/clusters
文件以允许您快速创建组(称为标签),如下所示:然后你可以这样做:
使用中央存储库
我不是指 deb repo(但我猜这也是可能的),而是类似
git
orbrz
。它可以像 Web 服务器或网络共享一样简单。如果网络带宽在某些地方存在瓶颈,那么像 torrent 服务器这样的东西甚至可能是最好的方法(这就是 Facebook 更新所有节点的方式)告诉您的网络下载文件
从这里开始,它只是连接点。使用
cssh
您只需告诉所有计算机获取文件并使用它做任何需要做的事情。我建议你从小处着手。获取共享文件,然后尝试由几台计算机组成的简单集群,看看效果如何。扩展它。
我建议即使你完成后,在将东西推送到主组之前,你也要保留几台计算机的集群进行测试。
或者,您可以保持它基于推送。最简单的方法是编写一个脚本:
连接到服务器并复制文件(这里有两个选项):
sshfs
在本地挂载远程文件系统,cp
/rsync
文件,fusermount -u
你挂载它的目录(卸载远程系统)。继续。只需使用
rsync
的网络功能将文件复制过来。[Oli 的回答在我打字的时候出现了]
clusters 的替代方案是 parallel-scp。它是pssh 包的一部分
您需要在文本文件(例如 hosts.txt)中提供主机列表,然后发出:
parallel-scp -h hosts.txt file2copy.dat /target/directory
请查阅手册页以满足您的特定需求。这不应该达到太多连接的限制,因为它不需要像 cssh 那样打开所有的实时连接,它会按顺序尝试。
PS:设置基于密钥的授权当然会使这变得容易得多,但我怀疑首先将您的密钥分发到 200 个系统可能是您问这个问题的原因......