禁止百度收录
㈠ 怎么设置不让百度收录该页面
首先,你先建一个空白文本文档(记事本),然后命名为:robots.txt。
(5)禁止Spider访问特定目录和特定文件(图片、压缩文件)。
User-agent: *
Disallow: /AAA.net/
Disallow: /admin/
Disallow: .jpg$
Disallow: .rar$
这样写之后,所有搜索引擎都不会访问这2个目录。需要注意的是对每一个目录必须分开说明,而不要写出“Disallow:/AAA.net/ /admin/”。
㈡ 二级域名太多,想屏蔽某些二级域名不被百度收录该怎么做
1.
如果你是一个网站有多个二级域名,那么只需要确定主要用的一个二级域名,把其它的二级域名做301转向该域名,时间长了自然就不会收录除主二级域名以外的域名了
2.
如果你是多个网站各自拥有自己的二级域名,那么需要在网站的主目录做robots.txt文件,进行限制网络蜘蛛或者其它蜘蛛的爬行收录!
㈢ 如何不让我的网站被百度收录,这个我完全不懂啊,谢谢
详细见 网络http://ke..com/view/1280732.htm?fr=ala0_1_1
在你的网页的根目录里 新建一个robots.txt文本文件,在里面写上,只需要放入回下面虚线中的部分答,2选1
1.禁止网络收录页面
------------------------------------
User-agent:
User-agent: Baispider
Disallow: /
------------------------------------
2.禁止所有搜索引擎收录页面
------------------------------------
User-agent: Baispider
Disallow: /
------------------------------------
㈣ 如何禁止网页被搜索引擎收录和索引
第一种:robots.txt方法
站点根目录中有个robots.txt,没有的话可以新建一个上传。
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的所有部分
User-agent: *
Disallow: /css/
Disallow: /admin/
禁止所有搜索引擎访问css 和admin 目录,将CSS或admin目录修改为你指定的文件目录或文件即可。
第二种:网页代码方法
<head>与</head>之间,加入<meta name="robots" content="noarchive">代码,此标记禁止搜索引擎抓取网站并显示网页快照。
注:已经加了禁止代码,但是搜索引擎还可以搜索出来,因为搜索引擎索引数据库的更新需要时间。虽然Baispider已经停止访问您网站上的网页,但网络搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。
㈤ 特定网页禁止收录的方法
特定网页禁止收录的方法:
例:特定网页网址为abc.com/xyz/123.html
在robots.txt文件中输入:Disallow: /xyz/123
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
文件写法:
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
㈥ 如何让网站不让百度收录
写一个robots.txt文件放到你的网站的根目录,记住一定要根目录才有效。可以参考淘宝的。http://www.taobao.com/robots.txt
㈦ 百度收录停止,不再继续收录都是什么原因
网络停止收录有下几个原因:
1. 网络对新站的考验。由于是新站,而未能回获得网络的信赖,答需要考验一段时间
2. 网站短期内采集过多。由于spider对于网上千百复制的东西已经厌烦。
3. 文章内容伪原创没有价值。由于过度伪原创,文章不具有可读性,完全没有价值,被网络丢弃。
4. Robot.txt设置错误,禁止了蜘蛛的抓取。
5. 服务器不稳定或者程序含有病毒
解决网络收录停止的办法:
1.如果日志中一大半都出现200 0 64的情况,包括用户访问需求和其它搜索蜘蛛访问,则可断定服务器出现问题,换一个稳定的空间即可。
2.如果日志中其它蜘蛛访问正常而唯独不出现网络蜘蛛,说明我们应该检查网站文章,看看文章是否采集或者没有价值,据此更新有价值的原创文章。
3.如果日志中显示有很多spider过来,只是没有抓取内页,则可断定网站处于考核期,需要更新高质量的文章以等待考核通过。
4.如果上面三种情况都没有出现,一切都很正常的话,则可检查robot.txt设置是否正确,我们只需要利用网上在线检查robot.txt文件即可知道。
㈧ 为什么百度停止了网站收录
网络停止收录网站内容原因比较多:
网站禁止了网络蜘蛛的抓取
网站内容抄袭,网络已回经收录大量答相同内容
网站服务器错误设置屏蔽了网络蜘蛛
网站结构设置不合理,导致网络蜘蛛无法正常爬行
检测方法:
1.分析网站日志,查看网络蜘蛛抓取爬行记录,找出具体原因
2.对文章内容进行保证原创,同时向网络做主动提交,促进网络蜘蛛抓取收录
3.对网站结构检查调整