可以禁止百度蜘蛛抓取js和css文件吗?
您的当点位置:易名营销技术->关键词优化->网站关键词优化->浏览文章
网站关键词优化

可以禁止百度蜘蛛抓取js和css文件吗?

来源:可以,禁止,百度,蜘蛛,抓取,文件 发布:2020年11月29日 预览140

经常有站长咨询说百度蜘蛛频繁抓取网页的js文件和css文件,想屏蔽百度蜘蛛不让百度蜘蛛抓取这些文件,但是许多站长有忧虑如何屏蔽了百度蜘蛛抓取css文件和js文件是否会对网站排名产生不利影响,于是这些站长很纠结。

 从百度站长优化指南我们就可以指定,百度排名不会考虑js文件或者css文件,也就是说js文件和css文件不参与百度排名,但是大量站长反馈,虽然禁止百度抓取js和css文件,但是百度蜘蛛照旧还是抓取不误,毫无疑问,它们是用来支持网站团体上的功能性和美观性,任何网站都必要js和css。

禁止百度收录和抓取css文件的方法

通过robots.txt文件实现禁止百度收录

我们看看其他站长对禁止百度蜘蛛收录js和css的看法。

1、谷歌管理员指南说明

阻止你的CSS和js文件可能会影响你在谷歌的搜索排名,所以建议robots.txt不要禁止JS和CSS文件访问。
谷歌索引的建议:
网页加载速度对用户和索引依然特别很是紧张。
屏蔽JS和CSS,谷歌索引将无法向通俗用户那样读取页面。
假如JS太复杂,渲染页面可能不精确。

 2、夫唯 - SEOWHY创始人
 

我认为“蜘蛛抓取一个网站的时间是肯定的,限定了某文件被抓取,则它又更多时间去抓取别的网页”
假如不成立,则完全没需要屏蔽CSS和JS了。
假如成立,那要屏蔽的就不止CSS和JS了,许多没实质意义的文件都值得屏蔽。

 3、站长:小小马

天真烂漫最好,该出现的照旧让它出现,该让蜘蛛抓取照旧要抓取的,没有需要去限定太多,如许反而不好。

4、站长:张立博

我觉得没需要屏蔽,由于搜索引擎会知道哪些是JS、CSS,哪些是网页文件。抓取js和css的蜘蛛应该不会影响网页的抓取频率。
 至于搜索引擎抓取js和css,可能跟快照有关,由于如今网站的页面大多是用div+css来建设的,假如没有css的页面会惨不忍睹的。
 所以不排除搜索引擎在试图诠释JS和CSS文件,来雄厚网页的内容,让搜索更正确。

5、站长:冯涵

经过试验和跟踪数据注解:
1>被屏蔽掉的js/css文件依然会被baidu和google大量crawl
2>屏蔽后跟踪观察其他page type 蜘蛛crawl量,发现并未增长
3>假如网站大部分js/css文件里包含较多URL可以不屏蔽,蜘蛛爬取js/css文件的同时可以爬取里面的link
4>假如网站大部分js/css文件里基本上都是代码之类的,屏蔽也可,没发现显明的益处也没发现坏处 。

 易名网站优化网:我们不建议禁止百度收录js或者css文件,毕竟百度抓取这些文件对网站团体性能影响微乎其微,假如禁止百度抓取js或者css,可能会影响百度快照js殊效和css样式得不偿失,建议不要如许做。