使用WordPress搭建的博客，利用robots.txt文件限制搜索引擎抓取部分目录及文件，归纳大致有以下几种方法。 最简单的开放写法 不作任何限制，WordPress站内链接结构比较合理，作为一般博客，完全开放就可以了，代码： User-agent: * Disallow: 允许所有蜘蛛访问，允许访问所有内容。WordPress只要模板中链接设计合理，没有需要限制的特殊内容，推荐使用这种写法。 最简单的严格写法 User-agent: * Disallow: /wp-* #Allow: /wp-content/uploads/ Disallow: /*.php$ Disallow: /*.inc$ Disallow: /*.js$ Disallow: /...