“深层”搜索技术有望改变互联网商业模式

去年夏天，谷歌公司的搜索引擎悄无声息地越过了一个里程碑———其页面搜索量达到了一万亿个，但它仅仅是整个互联网海洋中的冰山一角，现在新兴的“深层网络”（DeepWeb）搜索技术正在雄心勃勃地用不一样的搜索方式向谷歌挑战，《纽约时报》2月22日进行了报道。



　　“深层网络”搜索挑战谷歌



　　在谷歌1万亿个页面之外，存在着一个更大的隐蔽的数据网络，其中涵盖了金融信息、商品目录、航班时刻表、医药研究以及所有其他存储在数据库中的内容，搜索引擎还“看不见”这些数据。



　　搜索引擎使用“网络蜘蛛”（Spider）等程序来获得信息，这些程序通过跟踪将互联网绑在一起的超级链接来收集信息。尽管这种方式处理“表层网络（SurfaceWeb）”中的页面游刃有余，但想要深入进数据库中却比较困难，而这些数据库恰恰可以回答某些特定的搜索查询。



　　主要的搜索引擎面临的挑战是：它们不能给一些诸如“从纽约到伦敦，最低票价是多少”的问题提出令人满意的答案，而这正是“深层网络”搜索技术努力的方向。其实，这些答案都存在，就看搜索引擎能否慧眼识珠将其大海捞针找出来。



　　基于此的“深层网络”搜索技术正慢慢成型，它可以将搜索引擎的触角伸向网页隐藏的角落，它不仅可以提高搜索结果的质量，还可能最终重构许多公司在线交易的方式。



　　各种尝试竞相争艳



　　“深层网络”搜索新贵Kosmix公司的投资者包括亚马逊公司的CEO杰夫·贝佐斯。Kosmix公司研发出了一套软件，该软件能够将搜索同最有可能提供相关信息的数据库进行匹配，随后，返回一个来源于不同渠道的相关信息的概述。其创建者之一安迪·拉贾罗曼说：“大多数搜索引擎让你犹如大海捞针，我们要做的是帮你探索大海。”



　　有数以百万计的数据库同互联网连接在一起，而搜索关键字的组合也无法尽数，为了从“深层网络”中提取出有用的数据，搜索引擎必须分析用户的搜索关键字并且找出方法将这些搜索请求同特定的数据库相连接。例如，如果一个用户输入关键字“Rembrandt（荷兰画家伦布兰特）”，搜索引擎需要知道哪个数据库最可能包含与艺术相关的信息（比如，博物馆目录或拍卖行），以及这些数据库将接受哪些查询。



　　从理论上来讲，这种方法可能直白浅显，但在实际中，浩如烟海的数据库和可能的搜索关键词提出了棘手的计算问题。



　　前华盛顿大学计算机教授阿隆·哈勒维说：“这是最令人感兴趣的数据整合问题。”他现在正在谷歌公司工作，领导一个团队试图解决“深层网络”难题。



　　谷歌公司的“深层网络”搜索策略是，发送一个程序分析它所遇到的每一个数据库中的内容。例如，如果搜索引擎发现一个与美术相关的网页，它开始猜测可能的搜索关键字———“伦布兰特”“毕加索”“维米尔”等，直到这些关键字中的一个返回匹配的信息，随后，该搜索引擎分析这些结果。



　　同样的，美国犹他州立大学的教授朱莉安娜·福瑞尔也在着手一项富有野心的计划———“深层窥视”（DeepPeep），该计划的最终目的是找到并且指示出公共网络上的每一个数据库，提取如此众多分布广泛的数据库的内容需要精确而复杂的计算。



　　福瑞尔说：“如果像查询字典中的每个字一样做这件工作，那就很傻很天真了。‘深层窥视’通过样本查询开始，随后，我们使用查询结果来建立我们对于数据库的理解，并且知道需要选择哪个关键词进行搜索。”



　　基于这样的分析，该程序自动发送搜索关键字，努力提取尽可能多的数据。福瑞尔说，这个方法可以检索出给定数据库中超过90%%的内容。最近，福瑞尔的工作获得了一家大搜索引擎公司的青睐。



　　随着主流的搜索引擎公司逐渐将“深层网络”的内容整合进入它们自己的搜索结果中，它们必须解决的一个问题是：怎样表达不同类的数据而不让网页过度复杂，这给谷歌公司出了一个难题，谷歌一直拒绝改变其“久经考验”的搜索结果格式。



　　搜索引擎大陆公司执行主编克里斯·谢尔曼说：“谷歌面临真正的挑战，他们想要使搜索体验变得更美好，但它们也担心改变会疏远用户。”



　　改变商业模式



　　除了消费搜索领域之外，最终，“深层网络”技术可能让商业用户使用新的方式来使用数据。例如，一个健康网站可以交叉引用来自于制药公司的最新医学研究数据；一个本地的新闻网站能够通过让用户利用存储在政府数据库中的公共数据扩充其报道。



　　这种数据整合的水平可能最终发展出语义网（SemanticWeb）这样的网站———一个很有前景但目前仍未实现的交互数据的网站，它由万维网联盟的蒂姆·伯纳斯·李在1998年提出，其核心是：通过给万维网上的文档添加能够被计算机所理解的语义，从而使整个互联网成为一个通用的信息交换媒介。



　　“语义网”的发展遇到了一些挑战，因为这种概念想要成型，就需要所有人提供必要的建议。“深层网络”技术可以获得同样的好处，但通过将分析数据结构和交叉引用结果的过程自动化，可以大规模降低费用。



　　计算机科学家和专家迈克·伯格曼说：“‘深层网络’的迷人之处在于将根本不同的数据来源连接起来的能力。”他曾经参与了制造“深层网络”这个术语，他指出，“深层网络”搜索引擎可能更多地在于改变商业模式而不是满足互联网冲浪者的搜索要求。