㈠ 特定网页禁止收录的方法

特定网页禁止收录的方法：
例：特定网页网址为abc.com/xyz/123.html
在robots.txt文件中输入:Disallow: /xyz/123
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
文件写法：
User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录

㈡ 网站不收录的原因汇总及解决方法

搜外网seo优化收录减少的8个常见原因和解决办法总结：
(1) 网站作弊 原因： 比如堆积关键字，隐性文字等等。如果出现这样的情况，网络就算已经收录了你，别庆幸自己蒙混过关，因为在更新的时候也会慢慢剔除的。
(2) 网站规范 原因：标题和关键词(KeyWords)过多，有的站长喜欢把搜索相关的关键字都放进去，你放一万个也没用的。还有就是描述(Description)不合理，如果你是新站，这个绝对有用的，要设置好。 解决方法：标题里留三四个关键字足够了，太多了网络不喜欢。建议设置为页面主题+专题名+网站名。至于关键词，你加上了没关系，但是至少页面应该出现点相关内容吧。描述的设置很简单，只要语言通顺，对页面做个大概的总结，出现两三次关键字就足够了。
(3) 网站质量 原因： 内容几乎全部采集来的，而且是采集的很热门的文章。网络突然会收录你几千页，但是网络收录后，在一定时间内，会重新检索，如果你内容没有价值的话，被丢弃。 解决方法：采集后，稍微修改一下再发布。不要太懒，你动动手，把文章简单浏览一下，更改段落或者部分内容，至少有点和别人不一样的地方。原创的多了最好，另外在页面留个版权信息。
(4) 网站连接 原因：网站缺少外部连接，或者外部连接逐渐减少，网络对你站的重视当然也会降低，慢慢的减少收录内容。连接的质量是很重要的。垃圾连接宁可不要!另外，检查你的页面，如果有连接指向被封的站，网络会把你当作帮助犯的。 解决方法： 检查网站外部连接，少的话就去交换，或者去一些大站大论坛发点能引起别人兴趣的帖子，留下连接。回复的人越多，效果越好。 如果站内有连接指向被封的站，尽快删除。
(5) 网站改版 原因： 网站没有修改好，就已经提交到网络，动不动来个大变化，大更新，今天这样，明天那样。分类和标题换来换去。还有时候出现测试，或者其他和网站无关的内容。 解决方法：定位好，要做什么站就坚持下去。可以增加新的分类和内容。老的内容最好不要胡乱删除。如果你更换空间的换，最好提前换。保证在一段时间内以前的空间内容继续存在，以防万一。
(6) 网站空间 原因：网站空间不稳定，动不动打不开网站，网络连续两次以上更新都无法抓到相信信息，那么你肯定要被从数据库清理，因为网络以为你的站已经关闭，或者相关页面不存在了。还有一个就是，你IP上多次出现作弊站点，跟着倒霉了。 解决方法：买空间时候注意，找点信誉好的IDC。别光为了便宜，如果经常出问题，别说网络了，网民也承受不了。毕竟你的站不会引起网络重视。另外，买空间时候时候检查一下虚拟主机IP上的站点，和收录情况，以及被封闭站点的数量。
(7) 网站安全 原因： 自己的站点上加了恶意代码或者故意挂马的话，网络能分析的出来。会降低你的信任度。还有就是被那些小黑客用工具入侵，修改或者删除了大部分页面。 解决方法： 定期备份，出现问题及时解决。一般网络更新都是夜里勤快。对个人站每天更新的不多。如果一旦不正常，立刻处理，应该可以避免的。
(8) 网站优化 原因：对SEO有一定的了解，就刻意的修改，网站做出来，过度优化，虽然没有明显作弊，但是根本没有任何价值。虽然通过网络可以得到流量，毕竟网站做出来是提供给别人浏览的，如果你回头率过低，也不行。网络不是一直提倡所谓的用户体验嘛。 解决方法：不要过分优化，SEO的本质是为搜索引擎服务，不是欺骗。万事把握个度。

㈢ DZ论坛怎么禁止搜索引擎收录板块和帖子

  • 新建一个命名为“robots”的文本文件，robots文件是搜索引擎和网站内之间的一个协议。

  • 5

    除了设置robots协议之外，还可以在网页代码里面设置。在网页<head></head>之间加入<meta name="robots" content="noarchive">代码。表示紧致所有搜索引擎抓取网

  • 站和显示快照。


㈣ 如何禁止网页被搜索引擎收录和索引

第一种：robots.txt方法
站点根目录中有个robots.txt，没有的话可以新建一个上传。
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的所有部分
User-agent: *
Disallow: /css/
Disallow: /admin/
禁止所有搜索引擎访问css 和admin 目录，将CSS或admin目录修改为你指定的文件目录或文件即可。
第二种：网页代码方法
<head>与</head>之间，加入<meta name="robots" content="noarchive">代码，此标记禁止搜索引擎抓取网站并显示网页快照。
注：已经加了禁止代码，但是搜索引擎还可以搜索出来，因为搜索引擎索引数据库的更新需要时间。虽然Baispider已经停止访问您网站上的网页，但网络搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。

㈤ 网站不收录也不更新是怎么回事。

第一，网站服务器不稳定，导致搜索引擎方面抓去不了内容，所以不收录。
第二，服务器方面屏蔽了搜索引擎的IP，导致搜索引擎抓去不了内容，从而不收录。
第三，网站存在违规，导致搜索引擎惩罚了网站，从而不收录内容。
第四，更新的内容是互联网大量存在的内容，是低质量内容，搜索引擎里面有很多，所以不收录。
第五，网站里面存在大量404，导致死链接占用了大量搜索引擎抓去的频次，影响了新内容的抓去，所以没有被及时收录。
第六，搜索引擎方面的因素。
由于搜索引擎方面内容更新，导致虽然收录了，但是收录内容并没有释放，所以查询是不收录的。
第七，查询方法有问题。
是通过site查询的网站收录，由于site是模糊查询，所以结果不一定准确，建议前往搜索引擎站长平台看看索引量数据是否有增加。