SEO网络优化搜索引擎及其技术架构
搜索引擎及其技术架构
“天地玄黄 宇宙洪荒
日月盈昃 辰宿列张
寒来暑往 秋收冬藏
闰馀成岁 律吕调阳
云腾致雨 露结为霜
金生丽水 玉出昆冈”
《千字经》
搜索引擎已经发展为每个人上网都离不开的重要工具，但是为何搜索引擎有着如此重要的地位？其技术发展历程是怎样的？其基本目标是什么？核心问题又是什么？基本技术架构如何？本章内容即给出上述问题的答案，以使读者对搜索引擎有个宏观的理解。
搜索引擎为何重要
搜索引擎依托于互联网，互联网的蓬勃发展是搜索引擎产品与技术逐步成熟的大背景。离开互联网，搜索引擎将无从谈起。
互联网的发展
20世纪90年代初期是互联网后期获得大规模发展的起爆点，之所以如此，是有其技术背景和社会背景的。
1991年，Tim Berners-Lee将超文本的概念引入互联网，同时推出了WWW雏形、配套的HTTP传输协议及相应的Web服务器技术。1993年，第一个图形浏览器mosaic诞生，网页浏览客户端趋于成熟。这些技术与产品为互联网的快速普及和发展做好了技术准备，互联网用户开始从最初的军队和高校等科研机构普及到普通个人用户，为接下来互联网的商业化大规模发展奠定了技术基础。
1992年美国副总统戈尔提出“信息高速公路计划”原型提案，1993年克林顿总统全力推动该计划的实施，以作为振兴美国经济的重要增长点，由此爆发了互联网超常规发展的黄金十年，尽管2002年后互联网泡沫破裂，但是该计划催生了一大批基于软件和互联网的高科技公司。
1993年起，全球互联网进入高速发展期，1994年全球主机数量首次超过300万台，1995年超过600万台，之后以更快的加速度进入长期快速成长通道，如图1-1所示。互联网用户也是如此，图1-2显示了互联网用户的快速增长趋势。
图1-1 互联网主机数量增长情况（1995—2009）
图1-2 互联网用户增长情况（1995—2010）
商业搜索引擎公司的发展
搜索引擎的产生和发展，与互联网的蓬勃发展这个大背景是密不可分的。在互联网发展初期，一般互联网用户最常用的应用仅是电子邮箱，而随着WWW相关协议和产品的逐步成熟，网站拥有者制作和发布网页信息的成本急剧下降。而PC电脑及图形化浏览器的普及，使得普通用户浏览信息成本急剧降低。再加上网络基础设施的大量投入，使得带宽等不断加大。这几个因素交互作用，导致互联网上的信息产生爆炸性增长。在信息量快速增长的情况下，如何能够找到满足用户需求的网页内容就日益成为越来越重要的问题。信息增长速度越快，用户需求越迫切。大的搜索引擎公司就是在这个用户需求背景下，从建立到逐步壮大，乃至发展到今天搜索引擎成为最重要的互联网的应用。
1995年是搜索引擎商业公司发展的重要起点，其对应的背景是：互联网上的Web站点数量首次超过100万，此时普通用户已经无法依赖手工浏览的方式来获得自己想要的信息。在这一年产生了很多风云一时的早期搜索引擎公司。Yahoo、InfoSeek、Fast Search、AltaVista、Excite等曾经非常著名的搜索引擎公司都创建于1995年。
Yahoo依靠人工编辑导航目录，将互联网上重要的站点分门别类整理好，满足了人们查找重要网站的需求，可谓应时而生，从此快速成长为最著名的搜索和门户网站。其他搜索引擎公司则提供基于传统信息检索系统的搜索服务，也都获得了快速成长。
随着互联网的进一步快速发展，信息的爆炸性增长，已有的搜索引擎服务提供商所提供的搜索服务质量并无大的改善，逐渐不能满足用户的需求。Google于1998年成立，以PageRank链接分析等新技术大幅度提高了搜索质量，之后高速发展并抢占了绝大多数搜索引擎市场，成长为目前最重要的互联网公司之一。百度则依靠本地化优势，成为中国国内最强势的搜索引擎服务提供商。尽管2000年后陆续
有大小公司进入搜索市场，但是无论从技术角度还是市场份额角度，搜索市场格局并未发生太大变化。
搜索引擎的重要地位
搜索引擎已成为互联网最重要的应用之一，这一点毫无疑议，这也是为何国内各大互联网公司也希望切入搜索市场的主要原因。那么，为何搜索引擎如此重要？
正像前文所述，互联网信息量在过去15年获得了爆炸性增长，信息过载的问题就目前来说非常严重，随着互联网个性化的发展趋势逐步展现，普通用户发布信息的成本越来越低，这个问题将会更加严重。这是搜索引擎相关应用越来越重要的一个基础背景。搜索是目前解决信息过载的相对有效方式，在没有更有效的替代解决方式出来之前，搜索引擎作为互联网网站和应用的入口及处于行业制高点的重要地
位只会逐步加强。
尽管不论国际还是国内出现了一种新的现象，即成功的新互联网公司屏蔽搜索引擎公司爬虫，比如Facebook对Google的屏蔽，国内电子商务站点淘宝对百度的屏蔽。但是这种现象仅仅是商业公司之间的竞争策略，也可看做是垂直搜索和通用搜索的竞争，但并非搜索应用与非搜索应用的竞争。即便是Facebook和淘宝，面对自己用户产生的海量数据，依然要依靠搜索来为用户提供满意的服务，区别仅仅在于是自己来提供还是第三方公司来提供。所以这种现象并不能作为搜索引擎服务式微的证据。