AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / user-734520

David Christian's questions

Martin Hope
David Christian
Asked: 2025-01-16 23:49:59 +0800 CST

是否可以在 robots.txt 中匹配两个不同的禁止规则,一个通过通配符,另一个通过名称?

  • 5

我有一个 robots.txt 文件,如下所示:

    User-agent: *
    Disallow: /account/
    Disallow: /captcha/
    Disallow: /checkout/
    
    User-agent: DataForSeoBot
    Disallow: /p-

    User-agent: UptimeRobot
    Disallow: /p-

我的通配符禁止规则中有几十个文件和文件夹。然后我想另外阻止特定爬虫程序(如 DataForSeoBot)访问以 /p- 开头的 URL。在为 DataForSeo 添加特定规则之前,它在我的通配符规则中看到的是长长的 URL 列表。在我根据他们的机器人名称添加了额外的特定规则后,DataForSeoBot 现在看到的唯一禁止规则是 /p- 规则。他们是否错误地读取了 robots.txt 文件,还是我写错了?我希望我不必为每个我想禁止 /p- 的爬虫程序重复整个第一条规则,因为大约有十几个。我还尝试将特定的按名称规则移到通配符规则之前的顶部,但这没什么区别。

我正在测试使用他们网站上的功能来查看他们如何读取 robots.txt 文件。

DataForSeo robots.txt

web-crawler
  • 1 个回答
  • 31 Views
Martin Hope
David Christian
Asked: 2024-07-26 22:50:52 +0800 CST

为什么我无法通过计算机名称 RDP 到子网中的计算机,但 IP 地址却可以?使用其他管理员帐户可以正常工作,但无法使用主帐户

  • 5

几周前我遇到了一个奇怪的问题,我就是搞不清楚。当我尝试使用 RDP 访问与我的工作站位于同一子网中的任何计算机时,它会失败并显示一条错误消息,提示我的凭据无效。只有当我按名称访问计算机时才会发生这种情况。如果我通过 IP 地址访问,则可以正常连接。我可以使用我的主帐户通过 VPN 连接到其他子网中的计算机,也不会出现问题。更奇怪的是,如果我按名称 ping 计算机,它会返回正确的 IP。我的帐户是域管理员帐户,这种情况只发生在我的主要登录名或配置文件中。如果我切换到另一个域管理员帐户,它可以通过计算机名称正常连接。此外,如果我使用我的主帐户直接在服务器上登录计算机,也不会出现问题。我想知道这是否是 AD 问题。有人知道可能是什么问题吗?

networking
  • 1 个回答
  • 55 Views
Martin Hope
David Christian
Asked: 2021-06-11 06:07:54 +0800 CST

VM 无法访问新 Hyper-V 主机上的网络

  • 1

我在 Windows Server 2016 上重新构建了现有的 Hyper-V 主机服务器,以移动到更大的 SSD RAID 进行存储(需要重新安装操作系统)。主机本身位于域中,并且可以通过 RDP 访问,一切看起来都很好。然后我将一个测试虚拟机复制到主机并启动,但没有网络连接。我尝试删除并重新创建虚拟交换机,但仍然没有运气。虚拟交换机在网卡3,外网,“允许管理操作系统共享此适配器”不勾选。这些设置正是之前的配置方式,我使用的 NIC 与之前相同。我无法从主机 ping 虚拟机,虚拟机也无法 ping 网关或我网络上的任何其他 IP。关于看什么的任何想法?

virtual-machines hyper-v-server-2016
  • 1 个回答
  • 114 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve