#8 创建Robots.txt文件

阻止一个文件类型。

输入 “disallow: /*.filetype$”。

写下想阻止的文件类型的名称，而不是 “filetype”。

如果写 “disallow: /*jpg$，将阻止爬虫访您网站上的所有jpg文件。

此外，如果想阻止爬虫访问某个文件，请写下它的名字，而不是 “*”，例如。”Imagename.jpg”。

允许爬虫访问特定的子路径

输入 “allow: /yourpath/sub-path”。

写下想允许爬虫访问的路径，而不是 “yourpath/sub-path”。

比方说，想阻止对wp-content文件夹的访问，但允许对wp-content下面uploads文件的访问，那么应该写上两行这样的话。

“User-agent: *

disallow: /wp-content/

allow: /wp-content/uploads/”

允许爬虫访问特定的文件类型

输入 “allow: /*.filetype$”。

写上想允许爬虫访问的文件类型的名称，而不是 “filetype”。

阻止特定爬虫抓取网站

要阻止某些爬虫，只需在robots.txt文件的现有行下添加2个新行。

• “User-agent: Unwanted Crawler”

• “Disallow: /”

注意。

在创建或编辑任何 robots.txt 文件后，必须保存它。