Robots协议，Robots协议又称什么

Robots协议是一种用于告知搜索引擎蜘蛛(网络爬虫)哪些页面可以抓取，哪些页面不可以抓取的规范，通过使用Robots协议，网站可以告诉搜索引擎蜘蛛哪些页面是公开可抓取的，哪些页面是需要用户登录才能查看的，以及哪些页面是不允许抓取的，Robots协议在网站优化中具有重要的作用，主要体现在以下几个方面：提高搜索引擎排名、保护隐私数据、加快网站加载速度、增加外部链接的价值和防止恶意爬虫攻击 。