主页 / server / 问题 / 549332
Accepted
anup
Asked: 2013-10-30 00:06:14 +0800 CST

如何在 nginx 中为所有虚拟主机全局设置 robots.txt

  • 772

我正在尝试为robots.txtnginx http 服务器下的所有虚拟主机设置。通过将以下内容放入 main 中，我能够在 Apache 中做到这一点httpd.conf：

<Location "/robots.txt">
    SetHandler None
</Location>
Alias /robots.txt /var/www/html/robots.txt

我尝试通过在 nginx.conf 中添加下面给出的行（a）和（b）作为 include conf.d/robots.conf 对 nginx 做类似的事情

location ^~ /robots.txt {
        alias /var/www/html/robots.txt;
}

我尝试过使用'='，甚至将其放入其中一个虚拟主机中进行测试。似乎没有任何效果。

我在这里想念什么？还有另一种方法可以实现这一目标吗？

nginx

5 个回答

  1. 您可以直接在 nginx 配置中设置 robots.txt 文件的内容：

    location = /robots.txt { return 200 "User-agent: *\nDisallow: /\n"; }

    也可以添加正确的 Content-Type：

    location = /robots.txt {
   add_header Content-Type text/plain;
   return 200 "User-agent: *\nDisallow: /\n";
}
    • 81

  2. 是否定义了其他规则？也许 common.conf 或包含的另一个 conf 文件覆盖了您的配置。以下其中一项绝对应该有效。

    location /robots.txt { alias /home/www/html/robots.txt; }
location /robots.txt { root /home/www/html/;  }
    1. Nginx 按照出现的顺序运行所有“正则表达式”位置。如果任何“正则表达式”位置成功，Nginx 将使用第一个匹配项。如果没有“正则表达式”位置成功，Nginx 使用上一步中找到的普通位置。
    2. “正则表达式”位置优先于“前缀”位置
    • 10
  3. Best Answer

    位置不能在http块内使用。nginx 没有全局别名（即可以为所有虚拟主机定义的别名）。将您的全局定义保存在一个文件夹中并包含它们。

    server {
  listen 80;
  root /var/www/html;
  include /etc/nginx/global.d/*.conf;
}
    • 5

  4. 您也可以直接为 robots.txt 提供服务：

    location /robots.txt {
   return 200 "User-agent: *\nDisallow: /\n"
}
    • 1

  5. 我对 acme challanges 有同样的问题，但同样的原则也适用于你的情况。

    我为解决这个问题所做的是将我的所有站点移动到一个非标准端口，我选择了8081，并创建了一个在端口 80 上侦听的虚拟服务器。它将所有请求代理127.0.0.1:8081到 .well-known 的请求除外。这几乎就像一个全局别名，有一个额外的跃点，但由于 nginx 的异步特性，这不应该导致性能显着下降。

    upstream nonacme {
  server 127.0.0.1:8081;
}

server {
  listen 80;

  access_log  /var/log/nginx/acme-access.log;
  error_log   /var/log/nginx/acme-error.log;

  location /.well-known {
    root /var/www/acme;
  }

  location / {
    proxy_set_header    Host                $http_host;
    proxy_set_header    X-Real-IP           $remote_addr;
    proxy_set_header    X-Forwarded-For     $proxy_add_x_forwarded_for;
    proxy_set_header    X-Forwarded-Proto   $scheme;
    proxy_set_header    X-Frame-Options     SAMEORIGIN;

    # WebSocket support (nginx 1.4)
    proxy_http_version 1.1;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection "upgrade";

    proxy_pass http://nonacme;
  }
}
    • -1

相关问题