基于网站安全与盈利的因素,站长并不希望某些目录或页面被抓取和收录,比如付费内容、测试阶段的页面及复制内容页面等。
SEO
尽管在网站建设的过程中,使用 JavaScript、Flash 链接及Nofollow属性等都能让搜索引擎蜘蛛望而却步,而导致页面不被收录。
但在某些情况下搜索引擎是能够读取他们的,基于网站排名考虑,我们建议慎用 JavaScript、Flash 链接及Nofollow属性屏蔽收录。
强调一下,建站使用 JavaScript、Flash 链接其实是在给网站制造蜘蛛陷阱,致使搜索引擎不能正确判断与抓取页面的主题与文字。
要确保网站某些目录或页面不被收录,需要正确使用 robots 文件或Meta Robots 标签来实现网站的禁止收录机制。
1、robots 文件
搜索引擎蜘蛛访问网站时,会先查看网站根目录下有没有一个命名为 robots.txt 的纯文本文件,它的主要作用是制定搜索引擎抓取或者禁止网站的某些内容。
user-agent:* 适用于所有蜘蛛
Disallow:/upload/
Disallow: .jpg$ 禁止抓取所有.jpg文件
Disallow: *.html 禁止抓取所有html文件
Disallow:/upload/index.html
Disallow 禁止抓取哪些文件或目录,Allow 告诉搜索引擎应该抓取哪些页面,由于不指定就是允许抓取,所以allow单独写没有意义。
2、meta robots标签
Meta robots 标签是页面 head 部分 meta 标签的一种,用于指令搜索引擎禁止索引本页内容。
最简单的 meta robots 标签格式为:
<meta name=”robots” content=”noindex,nofollow”>
效果是禁止所有搜索引擎索引本页面,禁止跟踪本页面上的链接。
<meta name=”robots” content=”noindex”>
效果是禁止索引本页面,但允许蜘蛛跟踪页面上的链接,也可以传递权重。
Google、必应、雅虎支持的标签如下:
Noindex:不要索引本页面
Nofollow:不要跟踪本页面上的链接
Nosnippet:不要在搜索结果中显示摘要文字
Noarchive:不要显示快照
Noodp:不要使用开放目录中的标题和描述
百度支持:Nofollow和Noarchive
只有禁止索引时,使用meta robots才有意义。
使用了 noindex meat robots 标签的页面会被抓取,但不会被索引,页面URL也不会出现在搜索结果中,这一点与 robots 文件不同。
有一些站长在工作中会发现自己的网站经过了很多优化处理,但是搜索引擎没有收录,但是对一些网站的优化很笼统,却一直被收录在搜索引擎中,这是为什么呢?
网站不能被搜索引擎收录一般是由以下原因造成的。
网站不收录在内吗?让我们看看我们是否犯了这四个错误
1、 该网站使用的域名已被处罚
有的人在建设网站时贪图方便,使用老域名。虽然旧域名的优势不足以掩盖旧域名的风险。如果旧域名有权利,并且其内容与你网站的内容相似,那确实有利于网站获得更高的排名。但如果您选择的域名已经注册,请不要大意。你必须去百度查看记录,以确定该域名是否已被制裁。
2、 网站屏蔽蜘蛛抓取
一般来说,当网站刚开通时,会设置机器人。此设置是为了防止百度蜘蛛在网站未完成时抓取网站。但有些网站管理员可能会在网站实际上线后发布此设置。如果无法爬网的设置仍然存在,则无法被搜索引擎抓取,也不会收录在其中。
3、 使用的服务器不稳定
有些站长为了更快、更省时,会在国外选择一些归档空间,但这种做法不值得推广。因为国外空间的稳定性无法保证,而稳定的空间是网站长期发展的最基本条件。不稳定的空间在实际使用中会面临缓慢甚至倒塌的问题,从而降低用户体验。我们都知道搜索引擎会参考用户体验来工作,所以我们应该尽量放弃降低用户体验风险的做法。
网站不被搜索引擎收录,网站再怎么优化都没用
4、 内容不够新颖
在确保所有技术问题都得到解决后,如果网站仍然没有收录,就要反映内容是否有问题。创意是网站运营和SEO过程中反复提到的问题。虽然搜索引擎是算法化的,没有情感的机器,但我们都知道搜索引擎更喜欢原创内容。转载或收录的文章,无论质量有多高,都不能取代原来的内容。
因此,如果你想让网站顺利被搜索引擎收录,就必须增加网站内容的原创性。即使内容的质量可能稍逊于一些收录的内容,它给网站带来的帮助也远远大于收录到的优质内容。
如果网站不能收录在搜索引擎中,那么一定是工作有问题。在这个时候,我们需要停止和调查上述四个问题。如果一切都能解决的话,相信会被收录到搜索引擎中,希望能够帮助一些被困在网站不收录的站长。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 365161286@qq.com 举报,一经查实,本站将立刻删除。
转载请注明来自专注SEO技术,教程,推广 - 小龙seo培训教程,本文标题:《为什么网站不被百度收录》
发表评论