如果已经使用死链提交工具进行提交后,就不需要设置robots,两种方法二选一即可,建议使用死链提交工具,会提升提交的效率。
相关SEO术语解释:
robots:
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
robots.txt:
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。也叫机器人排除标准(Robots Exclusion Standard),网站使用的文本文件,用于与网络机器人(最常见的SE机器人)进行通信,以处理网站的每个页面。在这里,您可以将某些页面设置为漫游器的禁区,并仅扫描最有用的内容。
网址提交:
通过手动提交URL使搜索引擎知道新网页,以便更快地对其进行索引。
很多人认为这是不必要的,因为爬虫很擅长发现新内容,如果有链接指向你的网站或网页,它们最终会索引你的网站或网页。
然而,有,全新的网站/网页要出现在SERPs需要一段时间,几天的是正常的,但如果需要几个星期,你可能想要考虑手动提交到搜索引擎。
此问答来源:【网站已提交死链后是否还需要设置robots?】
由思享SEO博客编辑转载,仅用于参考学习,如有侵权请联系本站修改删除!