多级缓冲技术在Booso(博索)搜索引擎开发中的应用

今天是 2008年12月3日星期三

电子商务直通车 --> 文章分类 --> 搜索引擎研究 --> 搜索综合 --> 多级缓冲技术在Booso(博索)搜索引擎开发中的应用
多级缓冲技术在Booso(博索)搜索引擎开发中的应用电子商务直通车发表时间：2004年10月25日信息来源：电子商务直通车
在Booso 搜索引擎的开发过程中，应用了首创的〖多层缓冲技术〗。多层缓冲技术的基本理论依据是 1] 因为在一定的时间范围内，通过搜索引擎查询的Query的范围相对整个查询次数来说要少的多，而且查询比较集中在一些热们的词汇上。例如： booso.com 有一天接受到7万次的查询，而这7万次的查询集中在9400个独立查询。 2] 搜索引擎的数据库在一个时间段内没有新记录进入，因此搜索结果在一定的时间内保持相对稳定。例如：百度一般在早上7点钟的时候才会更新数据库，而这后的24小时查询的结果排序都是完全一样的。实现多级缓冲技术的途径： 1] 多级缓存技术。Multi level Buffer system 多级缓存技术是面向大型的搜索引擎的一个良好的选择，实现可以采用反向Proxy的代理方式并且配置缓存的时间周期小于数据库的更新周期的一半。 2] 多级数据库索引触发系统 Multi layers trigger system 这种技术就是在搜索引擎的主数据库的基础上建立每日的当日搜索数据库索引，将最常用的搜索的结果植如一个相对小的数据库，这样经过多级数据库出发系统，就会建立一个类似金字塔型的多层索引系统。这是一个面向巨型搜索引擎的解决方案，例如：一个搜索引擎每天有2亿次的请求，我们有如下的参数： 2000万的请求在3000 个请求内 4000万的请求在100000个请求内 12000万的请求在1000000个请求内因此构造的当日数据索引系统： 3000 请求的索引： 1 G 100000 请求的索引：10 G 1000000 请求的索引： 50 G 这样一个供一天查询2亿次的搜索引擎也只需要 61 G 的当日索引变够了，的确是一种最节省的办法。博索采用了第一种的方法进行开发。
大部分文章摘自网上，如有侵犯您的权益请来信告知，我们会第一时间进行处理，谢谢!	[ 打印文章 ] [ 关闭窗口 ]