robots.txt文件对抓取网络的搜索引擎漫游器（称为漫游器）进行限制。这些漫游器是自动的，在其访问网页前会查看是否存在阻止其访问特定网页的robots.txt文件。如何创建robots.txt文件？可以在任何文本编辑器中创建此文件。该文件应为ASCII编码的文本文件，而非HTML文件。文件名应使用小写字母。语法最简单的robots.txt文件使用两条规则：User-Agent:适用下列规则的漫游器Disallow:要拦截的网页这两行被视为文件中的一个条目。您可根据需要包含任意多个条目。您可在一个条目中包含多个Disallow行和多个User-Agent。应在User-Agent行中列出什么...