如何阻止任何爬虫访问 gitlab 上的任何内容？
应该有一个 robots.txt 或类似的东西告诉不要爬行。这将是很好的第一步。
但更重要的是，我如何告诉 gitlab 只允许经过身份验证的访问？例如
https://gitlab.yourdomain.com/可公开访问
还
https://gitlab.yourdomain.com/explore可公开访问
如果两个 URL 都受到身份验证的保护，则爬虫甚至无法获取任何内容。但是如何用 gitlab CE 配置呢？
更清楚地说，除了登录对话框之外，其他任何东西都应该是公开可见的。如何用 gitlab CE 管理这个？