视频网站注意了,百度搜索 Robots 协议全新升级

平台动态 思享 1503浏览

Robots 是站点与 Spider 沟通的重要渠道,站点通过 Robots 文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

robots.txt

9月11日,百度搜索 Robots 全新升级。升级后 Robots 将优化对网站视频 URL 收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时,才需要使用 robots.txt 文件。如果您希望搜索引擎收录网站上所有内容,请勿建立 robots.txt 文件。

如您的网站未设置 Robots 协议,百度搜索对网站视频 URL 的收录将包含视频播放页 URL ,及页面中的视频文件、视频周边文本等信息,搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外,综艺影视类长视频,搜索引擎仅收录页面 URL 。

什么是视频极速体验页

搜索视频极速体验服务旨在提升用户观看视频体验的一项富媒体体验升级服务,本服务针对短视频需求场景进行体验优化,将为搜索用户提供稳定、流畅、清晰的播放及浏览体验。视频极速体验服务包含视频极速页和合作平台两部分服务,网站可前往平台完善服务设置,获取各项搜索权益。详情参考《视频极速体验服务说明》:https://ziyuan.baidu.com/college/articleinfo?id=2522

设置搜索 Robots 协议的后果

针对短视频类内容,视频搜索将不再索引、展现网站的视频资源,历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录 ,该目录下内容将从搜索中屏蔽,其余内容在搜索中则以正常结果展示。

推荐阅读

robots.txt文件应该放在网站哪里?

robots.txt文件应该放置在网站根目录下。比如说,当spider访问一个网站(例如http://www.chinaz.com)时,首先会检查该网站中是否存在http://www.chinaz.com/robots.txt这个文件,如果Spide......

robots禁掉动态链接,问号前面的静态URL抓取吗?

不会的,你原来的页面还在,肯定会抓。...

网站禁止收录所有动态页面,该怎么设置?

我们知道动态页面都有一个共同的特征,就是在链接里会带有"?"这个问号的符号,因此我们可以在robots.txt文件里写入如下这样的规则: User-agent: * Disallow: /*?*...