搜索引擎的收录原理
① 搜索引擎收录原理是怎么样的
废话不多说，开始搜索引擎收录原理和技巧吧!!
搜索引擎通过爬去蜘蛛诱饵进入你的网站，那么是不是你的网站链接在其他网站出现得越多，和自己同行业网站出现你的网站越多，你的流行度就越广?是不是你的网站非常是欢迎的呢?当然嘛。这样对你的网站来说是比较好的，为什么说是比较好的呢?因为搜索引擎会从内容方面对你进行分析，产生一个值，这个值是最低要求的收录值。就跟现在选美大赛一样，你不是人人都可以报名的，你要是缺胳膊少腿，选美大赛，您就别去了，去了也是白去，五官不端正，胖瘦不均匀的，肯定不是让你去的。肯定要给你一个评分的。搜索引擎也是一样的，那搜索引擎的标准是什么呢?我也不知道。但是我知道一点，什么样的页面会被收录。收录一个页面首先你得要有链接诱饵，让蜘蛛来爬，才能让它收录吧。如果你的网站，搜索引擎来都不来，它会收录你吗?除非你跟李彦宏有一腿或者...(后面省略300字)。怎么样引来蜘蛛的爬取呢?你得放链接诱饵引诱它来爬嘛。那就会有些朋友问我了，那我怎么放链接诱饵呢?很简单嘛，去权重高的地方放你的网址嘛，它只要发现你的网址就会给你加分，你不要管你的分数有多高，但是我至少可以肯定，你做一个链接搜索引擎就会给你打分(网络搜索引擎)。那放锚文本好还是链接好呢?这个是需要有一定的比例，如果你放的全是网址，搜索引擎会判定你为作弊，你如果全发锚文本它也会认为你作弊，因为都是一样的，这些东西完全可以用软件做到。它为了判断防止作弊，你做的链接和锚文本肯定是需要一定的比例嘛，物极必反，就是这个道理。(我在这里举很多例子是为了让大家更方便理解，而不是故意调侃，希望各位理解)。
做外部链接也是这样，你必须自然得体一点，如果你全部做锚文本，或者是链接，它肯定会发现。但是它不会降你的权。因为它不能肯定你就是作弊，但是如果很多人都是如此做，它就会降权。那么锚文本和链接的比例是多少呢?我认为是28定理。2个锚文本，8个链接。百分之八十的内页发链接，百分之二十的内页发锚文本。简单点说，每个外链都是一个诱饵，任何一个诱饵它不一定是一个外链。因为有的外链会加nofollow。对吧，所以不能这么肯定。所以你想的你网站很快的收录，你的内容不能太多，如果页面内容太复杂，它也不会下载，因为对服务器造成很大的负担，收录你的内页，它会先分析你的外链，看一下你的知名度怎么样，如果你是一个新站，不收录你的是很正常的，因为你权重太低。权重高，外链多，才会优先收录你的页面。一个很核心的观点，增加自己的外链，提升自己的权重。这个跟很多优化方面都是特别有帮助的。很多人都问我为什么我的页面被收录了又被K，我的内容是原创为什么不收录。原因太简单了，因为你权重低，网络不信任你，它都不来爬你的网页，怎么收录你的网站啊?除非你和李彦宏(省略300字)。
所以归其一点，外链还是很重要的，只有你的网络相关域多，你的内页才会很快的被收录，不然你一个新站，就算你的原创再精彩，再牛逼，再厉害网络也不会收录，因为蜘蛛压根就不知道有你这么一个站。新站想很快的让网络收录可以去网络提交。所以大家还是努力的增加外链。其次你必须内容丰富，重复率少，一个内容重复太高，网络也是不会收录你的页面的。比如我的这篇文章，如果猫扑、新浪、网易都转载了我的文章，几百篇这样重复的文章，那就只有权重高的才有我这篇文章了，我就算是原创，你在网络也搜索不到我的网站了，这是内容为王，链接为皇的意思啊。太黑暗了。所以大家一定要稳定增加自己的外链(也就是知名度)，才能更好的让蜘蛛知道你，信任你。
最后，希望大家看了这篇文章有所收获，有所进步
② 搜索引擎工作原理
搜索引擎的工作原理总共有四步：
第一步：爬行，搜索引擎是通过一种特定规律的软件跟踪网页的链接，从一个链接爬到另外一个链
接，所以称为爬行。
第二步：抓取存储，搜索引擎是通过蜘蛛跟踪链接爬行到网页，并将爬行的数据存入原始页面数据库。
第三步：预处理，搜索引擎将蜘蛛抓取回来的页面，进行各种步骤的预处理。
第四步：排名，用户在搜索框输入关键词后，排名程序调用索引库数据，计算排名显示给用户，排名过程与用户直接互动的。
不同的搜索引擎查出来的结果是根据引擎内部资料所决定的。比如：某一种搜索引擎没有这种资料，您就查询不到结果。
(2)搜索引擎的收录原理扩展阅读：
定义
一个搜索引擎由搜索器、索引器、检索器和用户接四个部分组成。搜索器的功能是在互联网中漫游，发现和搜集信息。索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。
检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。
起源
所有搜索引擎的祖先，是1990年由Montreal的McGill University三名学生（Alan Emtage、Peter
Deutsch、Bill Wheelan）发明的Archie（Archie FAQ）。Alan Emtage等想到了开发一个可以用文件名查找文件的系统，于是便有了Archie。
Archie是第一个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪一个FTP地址可以下载该文件 。
由于Archie深受欢迎，受其启发，Nevada System Computing Services大学于1993年开发了一个Gopher（Gopher FAQ）搜索工具Veronica（Veronica FAQ）。Jughead是后来另一个Gopher搜索工具。
参考资料来源：网络-搜索引擎
③ 搜索引擎的原理
搜索引擎原理是非常复杂的
搜索引擎的工作原理
全文搜索引擎的“网络机器人”或“网络蜘蛛”是一种网络上的软件，它遍历Web空间，能够扫描一定IP地址范围内的网站，并沿着网络上的链接从一个网页到另一个网页，从一个网站到另一个网站采集网页资料。它为保证采集的资料最新，还会回访已抓取过的网页。网络机器人或网络蜘蛛采集的网页，还要有其它程序进行分析，根据一定的相关度算法进行大量的计算建立网页索引，才能添加到索引数据库中。我们平时看到的全文搜索引擎，实际上只是一个搜索引擎系统的检索界面，当你输入关键词进行查询时，搜索引擎会从庞大的数据库中找到符合该关键词的所有相关网页的索引，并按一定的排名规则呈现给我们。不同的搜索引擎，网页索引数据库不同，排名规则也不尽相同，所以，当我们以同一关键词用不同的搜索引擎查询时，搜索结果也就不尽相同。
和全文搜索引擎一样，分类目录的整个工作过程也同样分为收集信息、分析信息和查询信息三部分，只不过分类目录的收集、分析信息两部分主要依靠人工完成。分类目录一般都有专门的编辑人员，负责收集网站的信息。随着收录站点的增多，现在一般都是由站点管理者递交自己的网站信息给分类目录，然后由分类目录的编辑人员审核递交的网站，以决定是否收录该站点。如果该站点审核通过，分类目录的编辑人员还需要分析该站点的内容，并将该站点放在相应的类别和目录中。所有这些收录的站点同样被存放在一个“索引数据库”中。用户在查询信息时，可以选择按照关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟全文搜索引擎一样，也是根据信息关联程度排列网站。需要注意的是，分类目录的关键词查询只能在网站的名称、网址、简介等内容中进行，它的查询结果也只是被收录网站首页的URL地址，而不是具体的页面。分类目录就像一个电话号码薄一样，按照各个网站的性质，把其网址分门别类排在一起，大类下面套着小类，一直到各个网站的详细地址，一般还会提供各个网站的内容简介，用户不使用关键词也可进行查询，只要找到相关目录，就完全可以找到相关的网站（注意：是相关的网站，而不是这个网站上某个网页的内容，某一目录中网站的排名一般是按照标题字母的先后顺序或者收录的时间顺序决定的）。
搜索引擎并不真正搜索互联网，它搜索的实际上是预先整理好的网页索引数据库。
真正意义上的搜索引擎，通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后，这些结果将按照与搜索关键词的相关度高低，依次排列。
现在的搜索引擎已普遍使用超链分析技术，除了分析索引网页本身的内容，还分析索引所有指向该网页的链接的URL、AnchorText、甚至链接周围的文字。所以，有时候，即使某个网页A中并没有某个词比如“恶魔撒旦”，但如果有别的网页B用链接“恶魔撒旦”指向这个网页A，那么用户搜索“恶魔撒旦”时也能找到网页A。而且，如果有越多网页（C、D、E、F……）用名为“恶魔撒旦”的链接指向这个网页A，或者给出这个链接的源网页（B、C、D、E、F……）越优秀，那么网页A在用户搜索“恶魔撒旦”时也会被认为更相关，排序也会越靠前。
搜索引擎的原理，可以看做三步：从互联网上抓取网页→建立索引数据库→在索引数据库中搜索排序。
从互联网上抓取网页
利用能够从互联网上自动收集网页的Spider系统程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来。
建立索引数据库
由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库。
在索引数据库中搜索排序
当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。
最后，由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。
搜索引擎的Spider一般要定期重新访问所有网页（各搜索引擎的周期不同，可能是几天、几周或几月，也可能对不同重要性的网页有不同的更新频率），更新网页索引数据库，以反映出网页内容的更新情况，增加新的网页信息，去除死链接，并根据网页内容和链接关系的变化重新排序。这样，网页的具体内容和变化情况就会反映到用户查询的结果中。
互联网虽然只有一个，但各搜索引擎的能力和偏好不同，所以抓取的网页各不相同，排序算法也各不相同。大型搜索引擎的数据库储存了互联网上几亿至几十亿的网页索引，数据量达到几千G甚至几万G。但即使最大的搜索引擎建立超过二十亿网页的索引数据库，也只能占到互联网上普通网页的不到30%，不同搜索引擎之间的网页数据重叠率一般在70%以下。我们使用不同搜索引擎的重要原因，就是因为它们能分别搜索到不同的内容。而互联网上有更大量的内容，是搜索引擎无法抓取索引的，也是我们无法用搜索引擎搜索到的。
你心里应该有这个概念：搜索引擎只能搜到它网页索引数据库里储存的内容。你也应该有这个概念：如果搜索引擎的网页索引数据库里应该有而你没有搜出来，那是你的能力问题，学习搜索技巧可以大幅度提高你的搜索能力。
④ 怎样让搜索引擎更快收录
1、网站内容质量较好
当网站的文章浏览量达到一定的度，网络自然就会收录你专的文章属。因为浏览多，网络会认为你的文章有质量。收录后进入网络的检索机制，当用户通过网络搜索时，就会把你的文章推荐给用户。
2、网站内容的更新频率比较高
一般更新频率比较高的网站，它的收录量也会增加，如果长期保持下去，也就是我们业界常说的养站，几个月过后，你的网站就能实现秒收录了。
3、外链，每天发外链，坚持不要停，网络有100多万条，我们做不到这么多就少做点每天做10条外链就行，不怕少就怕不坚持。还有交换友链，找高质量的、相关的行业做友链，不要灰链。
4、每天查看、统计、日志，查询搜索引擎的抓取状态，对404、302、301等一些错误，跳转链接，进行排查、修复、站长平台提交；查询蜘蛛是否爬行受阻，是否遇到蜘蛛陷阱，是否结构问题造成爬行效能低。
⑤ 搜索引擎收录的收录原理
收集待索引网页的url
Internet上存在的网页数量绝对是个天文数字，每天新增的网页也不计其数，搜索引擎需要首先找到要索引收录的对象。
具体到Google而言，虽然对GoogleBot是否存在DeepBot与FreshBot的区别存在争议——至于是否叫这么两个名字更是众说纷纭，当然，名字本身并不重要——至少到目前为止。
主流的看法是，在Google的robots中，的确存在着相当部分专门为真正的索引收录页准备“素材”的robots——在这里我们姑且仍称之为FreshBot吧。
——它们的任务便是每天不停地扫描Internet，以发现并维护一个庞大的url列表供DeepBot使用，换言之，当其访问、读取其一个网页时，目的并不在于索引这个网页，而是找出这个网页中的所有链接。
——当然，这样似乎在效率上存在矛盾，有点不太可信。不过，我们可以简单地通过以下方式判断：FreshBot在扫描网页时不具备“排它性”。
也即是说，位于Google不同的数据中心的多个robots可能在某个很短的时间周期，比如说一天甚至一小时，访问同一个页面，而DeepBot在索引、缓存页面时则不会出现类似的情况。
即Google会限制由某个数据中心的robots来完成这项工作的，而不会出现两个数据中心同时索引网页同一个版本的情况，如果这种说法没有破绽的话，则似乎可以从服务器访问日志中时常可以看到源自不同IP的GoogleBot在很短的时间内多次访问同一个网页证明FreshBot的存在。
因此，有时候发现GoogleBot频繁访问网站也不要高兴得太早，也许其根本不是在索引网页而只是在扫描url。
FreshBot记录的信息包括网页的url、TimeStamp(网页创建或更新的时间戳)，以及网页的Head信息(注：这一点存在争议，也有不少人相信FreshBot不会去读取目标网页信息的，而是将这部分工作交由DeepBot完成。
不过，笔者倾向于前一种说法，因为在FreshBot向DeepBot提交的url列表中，会将网站设置禁止索引、收录的页面排除在外，以提高效率，而网站进行此类设置时除使用robots.txt外还有相当部分是通过mata标签中的“noindex”实现的，不读取目标网页的head似乎是无法实现这一点的)，如果网页不可访问，比如说网络中断或服务器故障，FreshBot则会记下该url并择机重试，但在该url可访问之前，不会将其加入向DeepBot提交的url列表。
总的来说，FreshBot对服务器带宽、资源的占用还是比较小的。最后，FreshBot对记录信息按不同的优先级进行分类，向DeepBot提交，根据优先级不同，主要有以下几种：
A：新建网页；
B：旧网页/新的TimeStamp，即存在更新的网页；
C：使用301/302重定向的网页；
D：复杂的动态url：如使用多个参数的动态url，Google可能需要附加的工作才能正确分析其内容。——随着Google对动态网页支持能力的提高，这一分类可能已经取消；
E：其他类型的文件，如指向PDF、DOC文件的链接，对这些文件的索引，也可能需要附加的工作；
F：旧网页/旧的TimeStamp，即未更新的网页，注意，这里的时间戳不是以Google搜索结果中显示的日期为准，而是与Google索引数据库中的日期比对；
G：错误的url，即访问时返回404回应的页面。
优先级按由A至G的顺序排列，依次降低。需要强调的是，这里所言之优先级是相对的，比如说同样是新建网页，根据指向其的链接质量、数量的不同，优先级也有着很大的区别，具有源自相关的权威网站链接的网页具有较高的优先级。
此外，这里所指的优先级仅针对同一网站内部的页面，事实上，不同网站也有有着不同的优先级，换言之，对权威网站中的网页而言，即使其最低优先级的404url，也可能比许多其他网站优先级最高的新建网页更具优势。
网页的索引与收录
接下来才进入真正的索引与收录网页过程。从上面的介绍可以看出，FreshBot提交的url列表是相当庞大的，根据语言、网站位置等不同，对特定网站的索引工作将分配至不同的数据中心完成。
整个索引过程，由于庞大的数据量，可能需要几周甚至更长时间才能完成。
正如上文所言，DeepBot会首先索引优先级较高的网站/网页，优先级越高，出现在Google索引数据库及至最终出现在Google搜索结果页面中的速度便越快。
对新建网页而言，只要进入到这个阶段，即使整个索引过程没有完成，相应的网页便已具备出现在Google索引库中的可能，相信许多朋友在Google中使用“site”搜索时常常看到标注为补充结果只显示网页url或只显示网页标题与url但没有描述的页面，此即是处于这一阶段网页的正常结果。
当Google真正读取、分析、缓存了这个页面后，其便会从补充结果中挑出而显示正常的信息。
——当然，前提是该网页具有足够的链接，特别是来自权威网站的链接，并且，索引库中没有与该网页内容相同或近似的记录(DuplicateContent过滤)。
对动态url而言，虽然如今Google宣称在对其处理方面已不存在障碍，不过，可以观察到的事实仍然显示动态url出现在补充结果中的几率远大于使用静态url的网页，往往需要更多、更有价值的链接才能从补充结果中逸出。
而对于上文中之“F”类，即未更新的网页，DeepBot会将其时间戳与Google索引数据库中的日期比对，确认尽管可能搜索结果中相应页面信息未来得及更新但只要索引了最新版本即可——考虑网页多次更新、修改的情况——；至于“G”类即404url，则会查找索引库中是否存在相应的记录，如果有，将其删除。
数据中心间的同步
前文我们提到过，DeepBot索引某个网页时会由特定的数据中心完成，而不会出现多个数据中心同时读取该网页，分别获得网页最近版本的情况，这样，在索引过程完成后，便需要一个数据同步过程，将网页的最新版本在多个数据中心得到更新。
这就是之前著名的GoogleDance。不过，在BigDaddy更新后，数据中心间的同步不再象那样集中在特定的时间段，而是以一种连续的、时效性更强的方式进行。