Robots协议，Robots协议又称什么

Robots协议是一种用于指导搜索引擎蜘蛛如何在网站上抓取和访问内容的协议，通过这个协议，网站可以告诉搜索引擎哪些页面可以抓取，哪些不可以，从而保护敏感信息和用户隐私不被侵犯。

Robots协议的基本概念包括User-agent、Disallow、Allow等，首字母需大写，每条指令占一行，禁止访问通常应用于后台、模板、JS、CSS等非公开文件夹；允许访问则用于开放内容，加入网站地图可加速链接被抓取。