Robots.txt 文件是一个应该存放在网站根目录里面的文本文件，该文件是用来正确引导搜索引擎抓取和收录页面的，用来告诉搜索引擎哪些页面可以收录而哪些不可以，所以正确编写 robots.txt 文件显...