如何阻止.net 中的 libwww-perl 訪問？

我正在使用線上工具測試我的網站，其中一個工具給了我這個警告：

您的伺服器似乎允許從使用者代理 Libwww-perl 訪問。自動尋找軟體漏洞的殭屍網路腳本有時被標識為 User-Agent libwww-perl。通過阻止來自 libwww-perl 的訪問，您可以消除許多更簡單的攻擊。閱讀有關阻止 Libwww-perl 訪問和提高網站安全性的更多資訊。

我的網站是一個 ASP.NET MVC 5 網站，我只是將這些行添加到我的“robots.txt”文件中。

User-agent: *
Disallow: /

User-Agent: bingbot
Allow: /

但是，該工具仍會報告警告。問題是什麼？我阻止了所有機器人，只是將 bingbot 設置為允許。

除非您提供線上掃描工具的 URL 或名稱，否則我只能猜測它會在發送 a 時嘗試抓取您的頁面User-Agent: libwww-perl- 如果您在 robots.txt 中阻止它，則不會。

這樣做的背景是，robots.txt 包含行為良好的搜尋引擎的規則，而不是惡意軟體的規則。來自http://www.robotstxt.org/robotstxt.html：

• 機器人可以忽略您的 /robots.txt。尤其是掃描網路以查找安全漏洞的惡意軟體機器人，以及垃圾郵件發送者使用的電子郵件地址收集器將不予理會。

我假設要“修復”此警告，如果 HTTP 標頭包含User-Agent: libwww-perl. 請參閱有關配置 IIS以在不修改您的網站的情況下拒絕這些請求的問題。

就個人而言，我不會拒絕這些請求，因為這不值得麻煩。在掃描工具中更改使用者代理很容易，並且大多數已經允許模仿廣泛使用的瀏覽器，因此安全增益將非常小。另一方面，可能存在無法使用的良好/合法工具，因為它不會偽造其身份。

引用自：https://stackoverflow.com/questions/25604639