前几天写了robots.txt的规则误区并介绍百度和Google的robots工具的使用，介绍了几个robots.txt文件的规则的误区，然后发现其实不止那些，还有很多大家没有注意的误区。 今天重新列举一下常见的robots.txt实际使用中的误区： 误区1.Allow包含的范围超过Disall...