第四十章 搜索引擎算法

    临近下午一点，孟谦到了沪上浦东，这还是他重生后第一次来沪上，这个前世他也经常来的地方。
    沪上作为华夏的金融中心，是一张给世界看的名片。
    不过曾经的孟谦第一次来沪上是在07年的时候，2000年的沪上他还真没见过。
    此时的浦东，已经开始耸立起高楼大厦，同时又存在大片的厂房和棚户区，车子一路开过去，可以看到很多地方正在拆迁改造。
    “张总准备把分公司放在浦东么？”到了目的地后，孟谦凭借记忆对比，如果没看错的话这里应该是张江高科技园区。
    浦东四大重点开发区域中，世人相对熟知的应该就是金融中心陆家嘴和科技中心张江了。
    2000年的张江，领军产业是电路、软件以及生物医药。
    张树新点头表示肯定，“现在南方最有发展潜力的地方，毫无疑问就是深圳和沪上浦东，而张江高科技园区，则是科技的孵化宝地啊。”
    这个时候大家说到南方城市的发展潜力，尤其是科技发展，还没人会想到杭城。
    来到张树新租的地方，有五名男子正等在那边，其中有两人一看就是外籍男子。
    张树新一一做了介绍，这两名外籍男子一名来自ibm，一名来自谷歌，听意思要么是已经挖过来了，要么就是打算挖过来的，两人之前都是搜索引擎项目组的。
    另外三名华夏人，一人是瀛海威自家的技术总监，另外两人都是从硅谷回来的，一个毕业于斯坦福大学，曾任职于英特尔，一人毕业于哈佛，曾任职于甲骨文，都是人才。
    简单的打了个招呼，大家就到会议室坐着，接下去是孟谦的表演时间，他今天，要展示他的搜索引擎核心技术。
    搜索引擎这个东西，需要用到网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等，当然，2000年这个时候，还用不上自然语言处理技术，大数据处理也更后世的概念不太一样。
    但说的简单一点，其实核心就是一个东西，算法。
    因为每一个技术都离不开算法。
    “我不太清楚在座各位在搜索引擎方面的建树和理解，我只能先按照我的节奏说下去，如果谁有问题可以随时打断我。”孟谦走到黑板前直入正题。
    “在我展示我的核心技术之前，我们先来看看当下的三大主流算法，白度的超链分析，谷歌的pagerank算法以及ibm的hits算法。
    几乎所有人都觉得白度的超链分析是三个算法中最落后的，但有些事情我们还是要多角度的看一看，白度的超链分析在某种程度上可以算得上是奠定了搜索引擎的发展基础。
    有一些声音说谷歌其实是剽窃了白度的超链算法，毕竟李彦宏这个专利确实在谷歌之前，我们现在不去猜测真假，但这种说法体现了一个很重要的信号，其实不管是哪一家的算法，算法基础其实都是一样的。
    抓取网页信息，然后用某种机制对这些网页进行排序，当用户输入关键词进行搜索时，根据关键词匹配出按照机制进行排列的网页。
    那么白度输在哪呢？关键就在于白度现在过于简单的基于在某次搜索的所有结果中被其他网页用超链接指向的越多的网页就价值越高这种基础排序方式。
    相比之下，谷歌的pagerank就多了两件很重要的事情，第一件事情是，把a页面到b页面的链接解释为a给b的投票行为，谷歌在这里会同时考评a和b的等级从而形成新的等级。
    也就是每一个页面都有pr值，同时你的pr值会成为其他页面pr值的参考。
    然后不断的重复计算每个页面的pr。假设给每个页面一个随机pr值，那么经过不断的重复计算，这些页面的pr值会趋向于稳定，也就是收敛的状态。
    至于hits，其理论基础依然没变，它最大的特点或者说改变就在它意识到pagerank算法平均的分布权值不符合链接的实际情况。
    所以hits算法中引入了另外一种网页，称为hub网页，hub网页是提供指向权威网页链接集合的web网页。
    所以使用hits的搜索结果会比其他两者都更权威，但这个算法会大大增加计算负担，对吧？”
    孟谦看了一眼ibm出来的哥们，对方愣了一下有点好像不确定的点了点头。
    所以现在简单总结一下，搜索引擎的算法基础就是超链分析，算法的优劣势就在于如何让搜索结果更具有参考价值，让用户获得更有效的信息。
    当然如果能直接理解用户的需求然后帮他搜索他最想要的内容，这是最理想的搜索引擎状态，但谁都知道这是不可能的。
    因此搜索引擎的好坏决定的就是同样的关键词下，你是否能让相对更多的人获得他们想要的内容。
    10个用户用谷歌，5个人找到了自己想要的东西，如果用我们的搜索引擎，6个人找到了自己想要的东西，在这里领域目前的技术环境下，我们就是更优秀的。
    那么在这个理解基础上，我接下来要给大家介绍的，就是我的搜索引擎算法，动态规则超链分析算法。
    动态规则超链分析算法有以下几个变化。
    第一，刚才我们提到了，好的搜索引擎是要看在同一关键词下谁的反馈结果更能满足用户需求，那么当用户在搜索某个东西的时候，从大概率来说，他想要看到的结果应该是与这个东西具有更垂直型相关的内容。
    举个例子，客户在搜索汽车的时候，不管他是想买车，还是想了解汽车知识，汽车类的专业网页对他的帮助应该都是更大的。
    所以在我的算法中，对于指向某一个网站的链接，我首先会做垂直率评分，比如有现在有10个网站链接到了a，这10个网站都是汽车类网站和这10个网站都不是汽车类网站的结果，想必是肯定不一样的。
    这里还有一个小小的心理问题，那就是同行之间很少会做超链接，所以拥有更多垂直类网站链接的网站，它的专业性肯定比被乱七八糟网站链接的网站要更大概率靠谱。
    第二，建立关键词库热度排序机制，现在的几家搜索引擎企业都对网页做了排序，而我对关键词也做了排序，而且给关键词做排序非常简单，那就是看用户的搜索量。
    就比如今天搜索汽车的用户最多，那么汽车的评分可能就是10分，这个时候，算法会分配更多的资源到汽车相关的信息上去，去抓取更多的优质网页。
    这里有四个好处，提升信息反馈速度、增加热点反馈的时效性、节约计算机资源以及围绕最终目的，让更多使用我们搜索引擎的用户得到有用信息。
    第三，用户反馈机制，也就是跟踪用户的点击情况和浏览情况。
    还是用汽车举例，有100个用户搜索汽车后，80个点击了a网页，a网页的评级就会上升，如果有更多的用户在a网页的停留时间较长，a网页的评级也会上升，如果有更多的用户在a网页上直接进行链接等操作，a网页的评级也会上升。
    也就是说，在整个网页评级系统中，加入用户反馈分。
    第四，规律算法，在用户的所有行为中寻找大概率行为，并将这些大概率反馈到人工，比如说60%搜索了汽车的用户下一个搜索词都是保险。
    这样的一些规律我们是无法预测的，但我们可以利用算法进行大数据挖掘，回馈的这些结果可以供人工分析部对一定的网页进行评分，这个就是人工分。
    结合以上四点，在我的算法下，任何一个网页同样会有一个分数，我称其为精度分。
    影响精度分的因子包括自己评分，链接的垂直网站评分，用户反馈分，人工制定分以及外链影响等。”
    之后，孟谦浅尝辄止的展示了各个分支的算法逻辑和算法推演公式。
    然而就在孟谦在说最后一个规律算法的过程中，来自ibm的杰尔夫突然起身惊呼，“oh my gad！artificial intelligence？！”
    孟谦转过头看了一眼对方，皱了皱眉。
    杰尔夫顿了顿，以为孟谦是没听懂，用奇怪的发音道，“卧槽！！！”
    ...
    而随着杰尔夫的打断，原本都沉浸在孟谦分享中的其他四名技术人员，眼神也都出现了明显的变化...