如何让网站不被收录
① 如何让网站不让百度收录
写一个robots.txt文件放到你的网站的根目录,记住一定要根目录才有效。可以参考淘宝的。http://www.taobao.com/robots.txt
② 如何禁止网页被搜索引擎收录和索引
第一种:robots.txt方法
站点根目录中有个robots.txt,没有的话可以新建一个上传。
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的所有部分
User-agent: *
Disallow: /css/
Disallow: /admin/
禁止所有搜索引擎访问css 和admin 目录,将CSS或admin目录修改为你指定的文件目录或文件即可。
第二种:网页代码方法
<head>与</head>之间,加入<meta name="robots" content="noarchive">代码,此标记禁止搜索引擎抓取网站并显示网页快照。
注:已经加了禁止代码,但是搜索引擎还可以搜索出来,因为搜索引擎索引数据库的更新需要时间。虽然Baispider已经停止访问您网站上的网页,但网络搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。
③ 特定网页禁止收录的方法
特定网页禁止收录的方法:
例:特定网页网址为abc.com/xyz/123.html
在robots.txt文件中输入:Disallow: /xyz/123
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
文件写法:
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
④ 如何让网站不被搜索引擎收录
上传robot.txt到你的网站根目录。
robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。
当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。
另外,robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。
robots.txt写作语法
首先,我们来看一个robots.txt范例:http://www.seovip.cn/robots.txt
访问以上具体地址,我们可以看到robots.txt的具体内容如下:
# Robots.txt file from http://www.seovip.cn
# All robots will spider the domain
User-agent: *
Disallow:
以上文本表达的意思是允许所有的搜索机器人访问www.seovip.cn站点下的所有文件。
具体语法分析:其中#后面文字为说明信息;User-agent:后面为搜索机器人的名称,后面如果是*,则泛指所有的搜索机器人;Disallow:后面为不允许访问的文件目录。
下面,我将列举一些robots.txt的具体用法:
允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件 "/robots.txt" file
禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的几个部分(下例中的01、02、03目录)
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
禁止某个搜索引擎的访问(下例中的BadBot)
User-agent: BadBot
Disallow: /
只允许某个搜索引擎的访问(下例中的Crawler)
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /
⑤ 如何不让我的网站被百度收录,这个我完全不懂啊,谢谢
详细见 网络http://ke..com/view/1280732.htm?fr=ala0_1_1
在你的网页的根目录里 新建一个robots.txt文本文件,在里面写上,只需要放入回下面虚线中的部分答,2选1
1.禁止网络收录页面
------------------------------------
User-agent:
User-agent: Baispider
Disallow: /
------------------------------------
2.禁止所有搜索引擎收录页面
------------------------------------
User-agent: Baispider
Disallow: /
------------------------------------