子目錄中的 robots.txt

我有一個項目位於主域下方的文件夾中，並且我無權訪問域本身的根目錄。

http://mydomain.com/myproject/

我想禁止對子文件夾“禁止”進行索引

http://mydomain.com/myproject/forbidden/

我可以簡單地將 robots.txt 放在 myproject 文件夾中嗎？即使根目錄中沒有 robots.txt 也會被讀取嗎？

禁止禁止文件夾的正確語法是什麼？

User-agent: *
Disallow: /forbidden/

要麼

User-agent: *
Disallow: forbidden/

來自robotstxt.org：

放在哪裡

簡短的回答：在您的 Web 伺服器的頂級目錄中。

更長的答案：

當機器人在“/robots.txt”文件中查找 URL 時，它會從 URL 中刪除路徑組件（從第一個單斜杠開始的所有內容），並將“/robots.txt”放在它的位置。

例如，對於“ http://www.example.com/shop/index.html ” ，它將刪除“/shop/index.html”，並將其替換為“/robots.txt”，最終會得到“ http://www.example.com/robots.txt ”。

因此，作為網站所有者，您需要將其放在 Web 伺服器上的正確位置，以使生成的 URL 正常工作。通常，這與您放置網站的主要“index.html”歡迎頁面的位置相同。確切的位置，以及如何將文件放在那裡，取決於您的 Web 伺服器軟體。

請記住使用所有小寫的文件名：“robots.txt”，而不是“Robots.TXT”。

所以恐怕答案是你必須把它放在根文件夾中:-(

關於您的第二個問題，我相信正確的語法是以正斜杠開頭的語法（例如。/forbidden/）。

引用自：https://stackoverflow.com/questions/4837334