让计算机说中国话：中文分词检索技术获得突破

今天是 2008年12月4日星期四

电子商务直通车 --> 文章分类 --> 搜索引擎研究 --> 搜索综合 --> 让计算机说中国话：中文分词检索技术获得突破
让计算机说中国话：中文分词检索技术获得突破电子商务直通车发表时间：2004年11月11日信息来源：网络世界
让计算机说中国话可比教外国人说中国话难得多。中英文之间最根本的区别是中文以字为最小单位，而英文是词。因此“分词技术”在英文中根本就没有必要，而在中文中就必不可少。　　分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段可以通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，但是在词这一层上，中文比之英文要复杂的多、困难的多。而从实际应用上来说，中文分词又是实现计算机人工智能、智能搜索、人机对话、中文翻译等核心应用的关键技术。用海量科技信息技术有限公司总裁王革焰的话说就是：“没有中文分词，其他一切深入的中文信息处理都无从谈起。” 　　海量科技是专门从事中文分词技术研究和商用产品开发的公司之一，于2000年获得了科委年度科技攻关项目资金支持，经过一年多的努力攻关，到现在为止，海量已经做了五种类型的分词标准，分别是：检索、自动分类、聚类、自动摘要和关键词抽取。其核心产品“中文分词软件包”、“中文全文检索软件包”在市场得到客户的高度评价，并且与北大方正等著名公司签订长期合作协议。其中与方正合作竞标成功《商务印书馆辞书语料库及编纂系统》，将作为商务印书馆出版所有辞典的自动编纂工具。　　海量科技的另一项重点产品是其最新开发的MP3音乐搜索引擎技术。MP3音乐搜索在技术上对中文分词具有“唇齿相依”的依赖关系，“海量的MP3音乐搜索和百度、一搜等MP3音乐搜索最本质的区别是，百度和一搜等是自己运营，而海量的MP3音乐搜索引擎是专门提供给需要的企业和网站的，海量科技将按照为用户提供技术和维护服务收取服务费用。这样就使需要MP3音乐搜索的企业和网站都能拥有最好的MP3搜索引擎。”王革焰对记者介绍说。　　对于新闻类门户网站应用来说，海量的产品能够更好地服务于内容的管理和提高编辑的工作效率和链接品质，“网站链结相关新闻的过程，是可以交由计算机去自动完成的，以前由于技术不成熟，没有相关产品，网站编辑们一直手工从事这项机械而繁琐的工作，浪费了大量的时间，”海量科技业务拓展高级经理霍刚说。现在，基于海量科技中文信息处理技术开发的“相关新闻检索系统”，将使网站的每位编辑至少每天节约1/8的工作量，使编辑们有更多的时间采编出更好的文章。
大部分文章摘自网上，如有侵犯您的权益请来信告知，我们会第一时间进行处理，谢谢!	[ 打印文章 ] [ 关闭窗口 ]