robots.txt 介绍

  • 织梦dedecms/robots.txt /的功能介绍

    robots.txt /- 搜索引擎抓取控制文件,robots.txt文件是存放与网站根目录下的一个txt格式的文本文档,叫做robot协议,也可以简单的理解为爬虫协议、蜘蛛协议等,是网站与搜索引擎爬虫之间的一个协议。

    2020年6月2日
    376 0 0

在线时间:9:00-22:00

节假日除外QQ

我的微信