最近我正在努力将大文件上传到网站,这个上传占用了整个带宽并削弱了我的网络。所以我实现了每秒分块一个 1MB 的块及其工作,但现在我在想我可以使用流量控制来实现相同的效果并获得更好的结果。
我的问题:流量控制是否智能,可以区分 www 浏览和 www 批量上传/下载大文件。
tc qdisc add dev imq0 root handle 1:0 htb default 666
tc class add dev imq0 parent 1:0 classid 1:1 htb rate 90000kbit ceil 90000kbit
tc class add dev imq0 parent 1:1 classid 1:888 htb rate 10000kbit ceil 40000kbit prio 0 # browse www traffic
tc class add dev imq0 parent 1:1 classid 1:666 htb rate 10000kbit ceil 40000kbit prio 1 # bulk www traffic
tc filter add dev imq0 protocol ip parent 1:1 prio 2 u32 match ip tos 0x08 0xff flowid 1:666 # bulk www traffic
tc filter add dev imq0 protocol ip parent 1:0 prio 2 u32 match ip sport 80 0xffff flowid 1:888 # http
tc filter add dev imq0 protocol ip parent 1:0 prio 2 u32 match ip sport 443 0xffff flowid 1:888 # https
像这样的东西会起作用吗?(现在不能检查。)
您的解决方案依赖于 Web 浏览器行为来相应地设置 IP ToS 字段。这只能在受信任的环境中依赖。
我可以轻松地在我的机器上编写 mangle 规则,将所有 ToS 扁平化为某个值,而您的 TC 规则将无法将我的批量与浏览区分开来。
另外,我不确定所有浏览器和其他 http(s) 软件总是对相同的事情使用相同的 ToS。有很多这样的软件:wget 和其他下载器;网站镜像(wget 也可以,但有专门的软件),它不仅下载一些大文件,还下载所有页面必需品;许多浏览器,包括 firefox、lynx、links,即 edge、chrome-based——它们都使用不同的引擎,并且可以显示不同的网络行为;与 REST 相关的东西,它只是通过 http 来回发送小消息。在网络世界里也有 Websocket 解决方案,它和你所知道的 http 完全不同。
因此,仅当您仔细控制网络时,对 ToS 的依赖才有用。
在一般情况下,不同之处在于浏览使用短暂的流量,而下载则填满了通道的容量。您可以设置相当低的平均 HTB 速度,这将对应于平均浏览和下载速度,同时保持桶大小(突发大小)相当大以容纳完整的网页。然后网页浏览将体验到一样快(因为大桶),但由于页面获取很少,将有足够的时间来为下一页补充桶。另一方面,下载会耗尽存储桶,并且不会有空闲时间来补充它,就像你的极限一样慢。
许多流行的上传工具提供了一种机制来限制允许传输消耗的带宽量。
如果您要
rsync
上传大文件,请使用--bwlimit
开关:如果您只是使用
scp
,请使用-l
开关:如果您使用
wpu
,它还可以识别-l
开关(也--limit-rate=
):或者
如果您使用其他东西,请查阅
man
您选择的上传者的页面,看看它是否提供类似的功能。