1.robots.txt含义 Robots协议(也称为爬虫协议、机器人协议等)的全称是网络爬虫排除标准(Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓...
robots.txt文件淘宝客网站该如何规范写作？
日期：2014-05-07 11:22:53
点击：146
好评：0