主页 / server / 问题 / 473940
Accepted
ALex_hha
Asked: 2013-01-31 11:16:50 +0800 CST

缓存大量数据

  • 772

我们需要从我们的亚马逊 S3 存储中缓存所有 psd/zip 文件。缓存量在 150-200 Gb 之间（我们需要至少存储 2 个月的文件）。现在我们使用没有任何缓存的透明代理squid。

所以我的问题是：是否可以配置“主”鱿鱼，以便所有对 s3.amazonaws.com 的查询都将代理到父鱿鱼。在父 squid 中，我们只需要缓存来自 s3.amazonaws.com 的所有 zip 和 psd 文件。如果缓存中没有这样的文件，父 squid 将下载并将“新”文件放入缓存中。

squid 如何处理 1-2 GB 的文件？有什么限制吗？

此设置的主要证明是来自亚马逊存储的所有 psd/zip 文件都以本地缓存的最大速度传送到本地客户端。因为不同的员工同时使用相同的文件，我们花了很多时间来下载每个员工的那些文件

这个问题可以用不同的方式解决吗？

linux

1 个回答

  1. Best Answer

    我们已经测试了大约一个月的系统，并且运行良好。如果有人感兴趣，下面我添加了配置文件（主/父鱿鱼）

    主鱿鱼（192.168.100.1）配置文件

    acl local_net src 192.168.0.0/16
acl parent_peer peername PARENT_PEER
acl parent_squid dst 192.168.100.50

acl FILE_TO_CACHE urlpath_regex \.(zip|iso|rar)$
acl STORAGE dstdomain storage.example.net

http_port 192.168.100.1:3128 intercept
icp_port 3130

cache_peer 192.168.100.50 parent 3128 3130 name=PARENT_PEER connect-timeout=7 proxy-only
cache_peer_access PARENT_PEER allow STORAGE FILE_TO_CACHE

# to connect to parent via internal interface
tcp_outgoing_address 192.168.100.1 parent_peer

# to properly get cache digest from parent
tcp_outgoing_address 192.168.100.1 parent_squid

# sent all other packets via ISP2
tcp_outgoing_address xxx.xxx.xxx.xxx local_net

    父鱿鱼（192.168.100.50）配置文件

    acl main_squid src 192.168.100.1

acl FILE_TO_CACHE urlpath_regex -i \.(zip|iso|rar)$

cache allow FILE_TO_CACHE
cache deny all

http_access allow main_squid
http_access allow localhost
http_access deny all

icp_port 3130
icp_access allow main_squid
icp_access deny all

http_port 192.168.100.50:3128

cache_mem 12 GB
maximum_object_size_in_memory 64 MB
minimum_object_size 16384 KB
maximum_object_size 1024 MB

cache_swap_low 93
cache_swap_high 98

refresh_pattern \.iso$ 129600 100 129600 override-lastmod override-expire ignore-reload
refresh_pattern \.zip$ 129600 100 129600 override-lastmod override-expire ignore-reload
refresh_pattern \.rar$ 129600 100 129600 override-lastmod override-expire ignore-reload

cache_effective_user squid
cache_effective_group squid
    • 3

相关问题