robots禁掉动态链接,问号前面的静态URL抓取吗?

547浏览
√ 推荐回答

不会的,你原来的页面还在,肯定会抓。

+ 扩展问答

robots.txt屏蔽动态页面,可以屏蔽伪静态吗?

问:robots.txt屏蔽动态页面,可以屏蔽伪静态吗? 网站是。net的 我们实现了...

答:其实最好不要屏蔽 只要保证你 导入和内部链接不要使用 动态的就可以了

网站robots禁止抓取,但是网站地图里面有链接,那么搜索引擎会不会抓取...

问:原来url是动态,现在改成伪静态,并想屏蔽所有动态页面!那原来收录的动...

答:不会,因为搜索引擎蜘蛛抓取网站内容的时候首先会访问robots文件,有按照规则抓取,没有默认可全部抓取。

robots屏蔽动态页面,对已收录的动态页面是否影响!

答:没影响。现在设置ROBOTS,屏蔽到动态页面之后,蜘蛛不再爬去,过段时间之后百度会把原来收录的动态页面自然清除(也就是没了,删除了)对于网站没有影响。不过,有的站可能会出现一小段时间快照停滞的现象或者收录不好的情况...

推荐阅读

代码中的title属性变成data-original-title对优化的影响

最近在修改网站的源码过程中发现,A链接中的title属性变成了data-original-title,而源码中明明就是title这到底是怎么回事。而且我们知道title属性对于搜索引擎来说是对优化有那么一丁点用的,那么这样对优化有没有影响呢?...

交换友情链接对网站权重提升的作用大吗?

对于新站可以做友情链接,帮助蜘蛛发现你的内容。但友情链接一定要适度,过量外链也有可能会影响搜索对您的网站的整体评价。...