robots屏蔽网站被黑的URL需要区分大小写吗?

网站遇到被黑,随机生成了大量随机垃圾链接。而且这些链接有的大写有的小写随机的,我想问一下,如果我用robots禁止抓取这些链接,需要区分大小写吗
√ 推荐回答

需要区分大小写。建议网站被黑后,把随机链接设置为死链,通过死链工具进行提交,并同步设置Robots屏蔽。

相关SEO术语解释:

robots:

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

网站链接:

显示在搜索引擎结果下的链接,意在引导用户到网站的子页面。

他们出现在品牌自然搜索和付费服务提供商。你可以通过使用谷歌/百度广告在付费网页中建立网站链接。

通过品牌自然搜索则是另外一种情况,该过程是自动化的,因此你不能影响是否有站点链接、链接的数量以及链接到的页面。你所能做的就是确保网站优化能够提供良好的用户体验。

robots.txt:

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。也叫机器人排除标准(Robots Exclusion Standard),网站使用的文本文件,用于与网络机器人(最常见的SE机器人)进行通信,以处理网站的每个页面。在这里,您可以将某些页面设置为漫游器的禁区,并仅扫描最有用的内容。

推荐阅读

robots.txt文件应该放在网站哪里?

robots.txt文件应该放置在网站根目录下。比如说,当spider访问一个网站(例如http://www.chinaz.com)时,首先会检查该网站中是否存在http://www.chinaz.com/robots.txt这个文件,如果Spide......

如何防止网站被黑?

1.定期检查服务器日志等方式发现问题,检查是否有可疑的针对非前台页面的访问; 2.经常检查网站文件是否有不正常的修改或者增加; 3.关注操作系统,以及所使用程序的官方网站。及时下载补丁,修补安全漏洞;必要时建议直接更新至最新版本; 4.修改开源程序关......