每个博客或者网站都会有robots.txt，设置正确的robots.txt一定程度上利于SEO，毕竟每个人的WordPress总会有那么一些页面不希望让爬虫抓取，比如wp-admin或者wp-login等等…什么是robot.txt呢？引用下百度百科的说明： 搜索引擎通过robot（又称spider），自动访问互联网上的网站并获取网页信息。在网站根目录创建一个纯文本文件robots.txt，...
