AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题 / 127561
Accepted
user11350
user11350
Asked: 2010-03-30 21:37:48 +0800 CST2010-03-30 21:37:48 +0800 CST 2010-03-30 21:37:48 +0800 CST

2个用户级别的自制大数据集群访问?

  • 772

这个标题可能没什么意义,所以这里是一个例子。

我有一个文件托管站点,它提供大量半随机访问的文件。

设置如下:

  • 大马力前端+DB服务器,也对需要编码的文件进行编码
  • 新文件服务器,存储新上传的内容,可能(并且通常)可以快速访问,它具有 500GB 的突袭 SSD 存储,可以推动超过 3GBit 的流量。
  • 3 个便宜的节点服务器,在 raid1 中包含 2 个 750GB SATA 驱动器,其中超过 2 周的文件被存档,来自 SSD 服务器(如上所述)。

通过子域(通过 modsec)以直接的方式(server1.domain.com、server2.domain.com 等)访问每台服务器上的文件

我遇到的问题是这个。我推出了一项“高级”服务,人们每月支付少量费用,即可获得无广告、快速访问网站内容的服务。登录后,他们会通过 premium.server1.domain.com 通过不同的 modsec 脚本访问相同的文件,并使用不同的密码。一切都很好,花花公子....除了便宜的节点服务器都是 IO 绑定的,所以通过不同的、不饱和的网络访问它们上的文件没有区别,因为它不能足够快地读取驱动器。

什么是使站点上的文件可以通过 2 个不同的网络路由访问的好方法,其中 1 个将是饱和的(“免费网络”),而所有其他文件都在一个不饱和的“高级”网络上?

files hosting cluster file-hosting
  • 1 1 个回答
  • 92 Views

1 个回答

  • Voted
  1. Best Answer
    Chris Thorpe
    2010-03-31T00:12:11+08:002010-03-31T00:12:11+08:00

    等等,您的问题与您在解释中途已经回答的问题有关。就像你说的,你的问题不在于网络适配器的饱和,你受到 SATA 驱动器上 IO 的限制。还是我看错了?

    假设这是正确的,您可以根据旧文件的访问模式进行一些改进。如果您倾向于一次在单个文件上“运行”(即,该文件的链接发布在博客上,然后突然您收到 500 个唯一 IP 请求同一文件),那么您应该将该文件移动到内存或页面文件缓存,或在提供之前将其暂存到 SSD 服务器。

    最近有人问了一个类似的问题,我探索了其他可能的解决方案: Windows Server 2003 - 处理数百个同时下载

    • 1

相关问题

  • 在本地复制大型目录树?cp还是rsync?

  • > 4GB文件的rsync

  • 操作系统文件

  • 比较(diff)完整目录结构的最佳方法?

  • 将 .mbx 文件转换为 .pst 文件

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    从 IP 地址解析主机名

    • 8 个回答
  • Marko Smith

    如何按大小对 du -h 输出进行排序

    • 30 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    MikeN 在 Nginx 中,如何在维护子域的同时将所有 http 请求重写为 https? 2009-09-22 06:04:43 +0800 CST
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    0x89 bash中的双方括号和单方括号有什么区别? 2009-08-10 13:11:51 +0800 CST
  • Martin Hope
    Kyle Brandt IPv4 子网如何工作? 2009-08-05 06:05:31 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve