主页 / server / 问题

问题[upload](server)

Martin Hope
Mohammad Zahed
Asked: 2022-02-08 05:21:55 +0800 CST
  • 0

我正在使用 Laravel Forge 来管理我的服务器，但在使用 livewire 上传大文件时遇到了问题。100 秒后上传失败并显示此错误：

net::ERR_HTTP2_PING_FAILED

而有时：

ERR_CONNECTION_RESET

我的 PHP 超时为 1000，上传文件大小为 1.5 GB，但我不知道为什么会这样。我尝试在我的 nginx 配置中设置这些，但没有帮助。

fastcgi_read_timeout 1000;
client_header_timeout 1m;
client_body_timeout 1m;
proxy_connect_timeout 60s;
proxy_read_timeout 1m;
proxy_send_timeout 1m;
php upload nginx laravel
Martin Hope
Owl
Asked: 2021-07-01 19:16:09 +0800 CST
  • 1

我有一个上传和下载速度大约为 1Gbps 的 SG VPS，这通过speedtest-cli多个服务器得到确认，我的 ISP 的最大下载速度为 20Mbps

但是我和其他用户面临着非常慢的下载速度（从服务器下载文件时）。经过一番调查，我在我的服务器上发现了一个奇怪的上传速度行为。

场景是：

  1. 开始下载一个文件，速度为2MBps+（我的ISP的最大下载速度）
  2. 取消下载，重新下载，现在速度降到500-700KBps
  3. 增加了一次下载（现在同时下载2个文件），第2次下载速度也是500-700KBps，似乎不影响第1次下载速度（现在总共只有1.5MBps左右）
  4. 增加了一次下载（现在同时下载3个文件），第3次下载速度为1.5MBps，似乎有点影响第一次和第二次下载速度（现在总共2MBps+，这是预期的最大速度）

看看这里的演示视频：https ://youtu.be/PIX8JitRX98

关于第一种和第二种情况，每次我从我的服务器开始新的下载到我的本地地址时，我都有很小的机会（大约十分之一）达到全速（2MBps+），并且永远不会下降到 500-700KBps ，但是如果我重新开始下载，速度会立即再次下降到 500-700KBps。看看我在这里上传的视频：https ://youtu.be/qsTaeLUIWWQ 。每次我开始新下载时，速度似乎都在变化

我试过的：

  • 在许多不同地区使用 VPN（私人互联网访问）
  • 尝试了 3 种不同的 ISP
  • 用不同的 ISP 询问与我住在同一个国家的其他朋友

他们都面临着同样的问题

从本地 PC 到服务器的 MTR / Tracert，反之亦然，显示出良好的延迟

linux debian upload
Martin Hope
Claudio
Asked: 2020-06-21 08:59:55 +0800 CST
  • 0

我一直试图在我的网络服务器上发现一个问题，这只会导致文件上传失败。我还创建了一个简单的 php 脚本来测试上传，当上传失败但我没有收到任何排序错误或日志消息。我一直在测试的文件有 86mb，我已经增加了以下与上传相关的 php 设置并重新启动了 apache：

memory_limit 1024MB
post_max_size 512MB
upload_max_filesize 256MB

不管我做了什么改变，问题仍然存在，上传只适用于小文件。我正在使用 php7.3、apache 2.4.39 和 CentOS 7.6。

我所做的另一项测试是更改upload_tmp_dir为自定义文件夹，并且我能够检查在上传文件时是否创建了一个临时文件，直到它以某种方式失败并且文件被删除。还尝试禁用 SELinux，但结果是一样的。

upload apache-2.4 apache2 php7
Martin Hope
Morgan Brown
Asked: 2020-03-16 13:46:43 +0800 CST
  • 1

我在 EC2 实例（特别是 i3.8xlarge）上运行批处理计算作业，并将大型（10 GB）二进制文件上传到每个实例。我们办公室有“千兆位”（Century Link），我通常以 30-40 MBps 的速度将这些文件上传（通过 scp）到 EC2。本地机器是一个 RH7 Linux 机器。然而，我经常观察到一件奇怪的事情：上传速度急剧下降到 300-400 kBps。

  • 我验证（通过 speedtest.net）网络运行良好
  • 降低的上传速度总是 300-400 kBps
  • 这种现象大约在一个月前开始
  • 我可以同时从 Gnome 终端的不同选项卡将同一个文件上传到同一个实例（显然是不同的输出路径），我得到了很好的性能
  • 上传通常会以不可预知的方式恢复良好的速度

所以瓶颈似乎与单个 scp 进程有关。亚马逊不宣传任何类型的上传限制。当我观察到这一点时，我们的网络人员会确认网络处于良好的工作状态。

upload amazon-ec2 scp
Martin Hope
NineCattoRules
Asked: 2016-10-21 00:54:07 +0800 CST
  • 2

我正面临这个问题，我希望让用户将他们的文件直接上传到我在 Amazon S3 上的存储桶中。这一步可以很容易地完成，就像这里描述的那样。

但是如果我需要用 编辑每个文件FFMPEG怎么办？

例如。

shell_exec('ffmpeg -i /sample.wav -acodec libmp3lame /sample.mp3');

目前我首先将文件存储到我的服务器，运行 shell 命令，然后我putObject将它们发送到 S3，但是有没有更好的方法来完成这个，让我的服务器保持安静？

我的规格：

  • EC2 与 LAMP 安装运行 Ubuntu 14.04
  • AWS 开发工具包 PHP
upload amazon-ec2 amazon-s3 amazon-web-services
Martin Hope
Michael Ecklund
Asked: 2016-10-20 07:34:58 +0800 CST
  • 0

关于我的设置：

  1. 我的 WordPress 环境有一个 HAProxy 配置。
  2. 每个 WordPress 网站的“前端”都有多个服务器池。
  3. 我强迫每个人都连接到一个特定的服务器，以获取每个 WordPress 网站“后端”中的任何内容。现在......这只是让文件同步和数据库复制变得简单。

我的问题：

我的客户正在一次大批量上传大量照片到他们的网站。大多数情况下，文件都按预期上传。然而，随机和零星的一些照片无法上传，在 WordPress 中出现“HTTP 错误”的相当通用的错误代码。

上传失败的照片绝不是同一个照片文件。在每种情况下都是完全随机的。

我已经解决这个问题大约一个星期左右了，似乎无法解决这个问题。

  1. 我已验证 DNS 是否正确并按预期运行。用户正在解析到 HAProxy 服务器，并且连接被转发到托管 WordPress 网站“后端”的适当服务器。
  2. 我已经彻底检查了托管每个 WordPress 网站“后端”的服务器上的 Apache、PHP 和 MySQL 配置。
  3. 我已经从头到脚检查了与 WordPress 相关的所有内容。

此时我唯一能想到的就是我的 HAProxy 配置有问题。我觉得有太多的请求太快了，HAProxy 服务器没有跟上与托管 WordPress 网站“后端”的服务器之间的通信（批量上传正在发生的地方）。

我想解决这个与 HAProxy 相关的问题。如果您觉得我的配置可以在其他地方进行简化或改进（与此特定问题无关），我愿意对我当前的 HAProxy 配置进行整体改进，但主要关注与批量上传相关的“HTTP 错误”问题的文件。

这是我的 HAProxy 1.6.9 配置：

defaults
    log     global
    mode    http
    option  httplog
    option  dontlognull
    errorfile 400 /etc/haproxy/errors/400.http
    errorfile 403 /etc/haproxy/errors/403.http
    errorfile 408 /etc/haproxy/errors/408.http
    errorfile 500 /etc/haproxy/errors/500.http
    errorfile 502 /etc/haproxy/errors/502.http
    errorfile 503 /etc/haproxy/errors/503.http
    errorfile 504 /etc/haproxy/errors/504.http
    retries 3
    option redispatch
    maxconn 2000
    timeout connect 5000
    timeout check 5000
    timeout client 300000
    timeout server 300000

frontend http-in
    bind *:80
    option  httplog
    option http-server-close

    acl has_domain hdr(host) -m found
    acl has_www hdr_beg(host) -i www.

    acl has_admin path_beg /wp-admin
    acl has_login path_beg /wp-login.php
    acl has_custom_login path_beg /manage

    acl has_server1 hdr_beg(host) -i server1.

    use_backend admin_servers if has_domain has_www has_admin or has_domain has_www has_login or has_domain has_www has_custom_login

    use_backend live_servers if has_domain !has_admin !has_login !has_custom_login or has_www !has_admin !has_login !has_custom_login

    use_backend default_servers if has_server1

    default_backend default_servers


backend default_servers
    mode http
    stats enable
    stats uri /haproxy?stats
    balance roundrobin
    option httpclose
    option forwardfor
    cookie SERVERID insert indirect nocache
    server server1 1.1.1.1:80 check cookie server1

backend admin_servers
    mode http
    stats enable
    stats uri /haproxy?stats
    balance roundrobin
    option httpclose
    option forwardfor
    cookie SERVERID insert indirect nocache
    server server1 1.1.1.1:80 check cookie server1

backend live_servers
    mode http
    stats enable
    stats uri /haproxy?stats
    balance roundrobin
    option httpclose
    option forwardfor
    cookie SERVERID insert indirect nocache
    server server1 1.1.1.1:80 check cookie server1 weight 200
    server server2 2.2.2.2:80 check cookie server2 weight 25 maxconn 256
http upload wordpress apache-2.4 haproxy
Martin Hope
Lgalan90
Asked: 2014-07-29 11:52:32 +0800 CST
  • 4

我正在尝试将 Multi Drupal 站点源代码成功上传到我的 var/www/html/ 目录中。

到目前为止，我已经上传了除站点文件夹之外的所有内容。当我尝试上传它时，它会达到大约 70-75%，然后提示此错误消息：

一般故障（服务器应提供错误描述）。
错误代码：4
来自服务器的错误消息：失败
请求代码：6

所有文件夹都有 755 权限，我在 PuTTY 中以 root 用户身份登录。

这尤其令人沮丧，因为文件上传大约 2 小时后才给我错误消息。

我的帖子似乎和我有同样的问题，但找到解决方案的人在解决问题的步骤中并不清楚：
http ://winscp.net/forum/viewtopic.php?t=1668

这是消息日志，因为我找不到错误日志：

Jul 29 13:54:16 ip sftp-server[4570]: error: process_write: write failed
Jul 29 13:54:16 ip sftp-server[4570]: error: process_write: write failed
Jul 29 13:54:16 ip sftp-server[4570]: error: process_write: write failed
Jul 29 13:54:16 ip sftp-server[4570]: error: process_write: write failed

关于问题可能是什么的任何想法？

谢谢，

upload
Martin Hope
user193597
Asked: 2014-03-15 12:15:05 +0800 CST
  • 8

我正在尝试设置一个coldfusion服务器来接受大文件的上传，但我遇到了一些限制。这是我到目前为止观察到的：

ColdFusion Administrator 中有两个限制上传大小的设置：“发布数据的最大大小”和“请求节流内存”。如果您上传的大小（包括 HTTP 开销）大于其中任一设置，则上传会被拒绝。我不明白为什么我们需要其中两个；据我所知，无论哪个设置得更高都没有任何影响。较低的获胜。

当有人尝试上传太大的文件时，他们不会收到很好的错误消息。在发送了大约 1 个 TCP 窗口的数据后，上传就永远挂起。它以一种非常糟糕的方式挂起。即使在客户端放弃并断开连接后，关联的 apache 线程仍然被占用（我可以使用 mod_status 看到这一点）。卡住的线程只会不断增加，直到没有剩余的线程可以接受新请求并且必须重新启动服务器。

“请求节流”是我真的不明白的东西。所有关于它的文档都将它称为内存区域的大小。如果是这样，那么我看不出它与文件大小有什么关系。它暗示了一些我不想相信的事情：ColdFusion 在将整个上传的文件写入磁盘之前将其吞入内存。没有理智的人会这样做，当上传循环（读取一个中等大小的块，将其写入磁盘，重复直到完成）如此简单时。（我知道 HTTP 多部分/表单数据帖子的结构使它有点困难，但是......肯定像 Adob​​e 这样拥有网络开发产品的大公司可以做到这一点......他们不能吗？）

如果整个文件的 slurping 确实发生了，他们如何期望我们选择一个可行的大小限制？允许一个千兆字节和几个同时使用的用户甚至无需尝试即可运行您的服务器内存不足。我们要做什么，不允许千兆字节​​上传？人们有视频要发布，没有时间编辑它们！

附加信息

以下是一些版本号。

网络服务器：

Server: Apache/2.2.24 (Win64) mod_jk/1.2.32

冷融合：

Server Product           ColdFusion
Version                  ColdFusion 10,285437
Tomcat Version           7.0.23.0
Edition                  Enterprise
Operating System         Windows Server 2008 R2
OS Version               6.1
Update Level             /E:/ColdFusion10/cfusion/lib/updates/chf10000011.jar
Adobe Driver Version     4.1 (Build 0001)

附加信息 #2

我不知道您为什么想知道我在限制字段中输入了哪些值，但它们都设置为 200 MB 有一段时间了。我将“发布数据的最大大小”增加到 2000 MB，但没有效果。我已经发现如果我将“请求节流内存”增加到 2000 MB，它将允许更大的上传。我在这里寻找的不是一个快速的“在那里塞进更多的东西！” 答案，但详细解释了这些设置的实际含义以及它们对服务器内存使用的影响。

为什么服务器线程永远停止而不是在超出限制时返回错误消息可能是另一个问题。我认为这将是一个众所周知的问题。也许我应该先问其他人是否可以复制它。我从未见过从 ColdFusion 返回给客户端的“文件太大”错误消息。它应该有一个吗？

附加信息#3 一些实验使我得到了部分答案。我缺少的第一件事是“请求节流内存”（RTM）如果设置为高于“最大发布数据大小”（MSOPD），它会做一些有用的事情。在我的第一轮测试中，不知道它们之间的关系，我让它们反过来。根据我的新理解，我可以看到 RTM/MSOPD 比率是如果它们都接近最大大小，则允许同时上传的数量。

假设“请求节流内存”实际上是一个内存缓冲区，而不是一个临时文件，这意味着我最担心的事情是正确的。每个文件在上传的整个过程中都完全保存在内存中。没有人说过任何让我相信的事情（尽管我也没有看到有人跳起来说“是的，他们做了这件愚蠢的事情”）

同样有了这种新的理解，停滞的上传是有道理的。服务器没有可用的内存来接受上传，所以它只是不从套接字读取。TCP 缓冲区填满，窗口大小变为 0，客户端等待它再次打开，这应该在服务器开始读取请求时立即发生。但就我而言，出于某种原因，这永远不会发生。服务器完全忘记了请求，所以它只是徘徊。

“发布数据的最大大小”被击中的情况仍然有点神秘。达到硬限制的请求不应排队，而应被拒绝。而且我确实在server.log. 但同样在这种情况下，服务器似乎忘记了请求，而没有向客户端发送错误。

upload
Martin Hope
Kasper Middelboe Petersen
Asked: 2012-11-18 05:58:45 +0800 CST
  • 2

我需要允许我的用户使用一种简单的方法来创建一个目录并将一些文件上传到我的 Ubuntu 服务器上的这个目录。我还需要它来满足以下要求：

  • 必须使用本地用户进行身份验证（如果它可以只是其中的一个子集也很好）
  • 上传的所有内容都必须以特定系统用户身份上传
  • 它必须处理大于 2gb 的文件
  • 它必须将用户锁定到仅用于上传的根目录
  • 所有连接都必须安全
  • 如果可以恢复部分上传会很好

我最初的想法是设置一个 FTP 服务器，但我很难找到一个可以配置以满足这些要求的 FTP 服务器。

有没有人对可以配置什么 FTP 服务器软件来满足我的需要或可以满足我的需要的不同方法提出建议？

upload