Ⅰ 特定网页禁止收录的方法

特定网页禁止收录的方法：
例：特定网页网址为abc.com/xyz/123.html
在robots.txt文件中输入:Disallow: /xyz/123
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
文件写法：
User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录

Ⅱ 如何不让搜索引擎收录网站

在网站目录上上传一个robots.txt文件，
最简单的robots文件:禁止搜所有搜索引擎抓取任何内容,写法为:
User-agent:*
Disallow:/
其中版,User-agent用于指定规则适用于哪个蜘权蛛。通配符*代表所有搜索引擎。如只适用于网络蜘蛛,则写为:User-agent:Baispider。谷歌蜘蛛:Googlebot.
Disallow告诉蜘蛛不要抓取某些文件。如 Disallow:/post/index.html,告诉蜘蛛禁止抓取Post文件夹下index.html文件。 Disallow后什么都不写,代表允许抓取一切页面。

Ⅲ 如何不让搜索引擎收录网站

禁止被搜索引擎收录内容，可以使用robots文件进行屏蔽。
格式：
User-agent:*
Disallow:网址

Ⅳ 如何禁止所有搜索引擎收录网站指定目录、

如果都不允许收录，则写:Disallow: /
如果是指定目录Disallow: /search.html 说明search.html 这个页面不要收录。以此类推。有多少个目录就有多少个Disallow

Ⅳ DZ论坛怎么禁止搜索引擎收录板块和帖子

  • 新建一个命名为“robots”的文本文件，robots文件是搜索引擎和网站内之间的一个协议。

  • 5

    除了设置robots协议之外，还可以在网页代码里面设置。在网页<head></head>之间加入<meta name="robots" content="noarchive">代码。表示紧致所有搜索引擎抓取网

  • 站和显示快照。


Ⅵ 如何拒绝搜索引擎收录网站

你的代码里面写一个友情链接，但是不显示的字段。这个友情链接都是一些网络不收录的，搜索引擎就不收录了。

Ⅶ 如何禁止网页被搜索引擎收录和索引

第一种：robots.txt方法
站点根目录中有个robots.txt，没有的话可以新建一个上传。
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的所有部分
User-agent: *
Disallow: /css/
Disallow: /admin/
禁止所有搜索引擎访问css 和admin 目录，将CSS或admin目录修改为你指定的文件目录或文件即可。
第二种：网页代码方法
<head>与</head>之间，加入<meta name="robots" content="noarchive">代码，此标记禁止搜索引擎抓取网站并显示网页快照。
注：已经加了禁止代码，但是搜索引擎还可以搜索出来，因为搜索引擎索引数据库的更新需要时间。虽然Baispider已经停止访问您网站上的网页，但网络搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。

Ⅷ 怎么禁止搜索引擎收录动态内容

我们知道目前网络网页快照虽然不从远端服务器抓取JavaScript文件，还是依旧会从远端服务器抓起CSS文件，而通过一个技巧可以在CSS文件中实现网页重定向，从而控制网络快照中的网页，完全由我们控制该快照重定向到我们制定的任何网页地址。

例如，如果网络快照中缓存的文件为style.css，那么我们在服务器上编辑这个文件，在CSS文件中加入以下语句，即可控制网络缓存快照重定向，从而实现屏蔽网络网页快照内容的功能。

body {onload:expression(location.href= 'http://www.williamlong.info/ ');}

以上语句在IE浏览器下测试通过。理论上，根据这个方法，我们可以控制网络网页快照的内容重定向到任何一个我们指定的网址，甚至是第三方网站。为了实现网页的正常显示，网络快照屏蔽CSS的可能性会非常小。

这个方法也可用于屏蔽Google等其他搜索引擎的网页快照。

文章转载：奇码科技站长网（bbs.gmakj.com) 原文地址： http://bbs.gmakj.com/youhua/052021362010.html

Ⅸ 如何让网站不被搜索引擎收录

上传robot.txt到你的网站根目录。

robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。

当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。

另外，robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

robots.txt写作语法

首先，我们来看一个robots.txt范例：http://www.seovip.cn/robots.txt

访问以上具体地址，我们可以看到robots.txt的具体内容如下：

# Robots.txt file from http://www.seovip.cn
# All robots will spider the domain

User-agent: *
Disallow:

以上文本表达的意思是允许所有的搜索机器人访问www.seovip.cn站点下的所有文件。

具体语法分析：其中#后面文字为说明信息；User-agent:后面为搜索机器人的名称，后面如果是*，则泛指所有的搜索机器人；Disallow:后面为不允许访问的文件目录。

下面，我将列举一些robots.txt的具体用法：

允许所有的robot访问

User-agent: *
Disallow:

或者也可以建一个空文件 "/robots.txt" file

禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

禁止某个搜索引擎的访问（下例中的BadBot）

User-agent: BadBot
Disallow: /

只允许某个搜索引擎的访问（下例中的Crawler）

User-agent: Crawler
Disallow:

User-agent: *
Disallow: /