什么是搜索引擎,基础原理与应用场景带你看懂!

好久没有聊关于模型、算法相关的内容了。之前分享过围绕机器学习的常见算法,比如《层次聚类模型》、《K-means聚类模型》、《线性回归模型》、《逻辑回归模型》、《朴素贝叶斯分类》等。

四年前,我也主导做过一款金融垂直搜索引擎的产品,对搜索有一些简单的了解。因此后面会尝试分享几篇搜索推荐相关的算法,本篇以搜索的基础原理切入,简单聊聊搜索的基础内容,适合小白入门。

01什么是搜索引擎

是的,提到搜索引擎,我想大家应该都能想到【百度】、【谷歌】,他们都是搜索引擎。

什么是搜索引擎,基础原理与应用场景带你看懂!

例如上图,左侧呈现的内容便是搜索结果list。

其实,还有一种搜索引擎,虽然大家也一直在用,但真的关注过嘛?例如像京东的商品搜索:

什么是搜索引擎,基础原理与应用场景带你看懂!

因此,总结下来,搜索引擎主要包括两类:一类是类似百度、Google这种的专门的搜索引擎,搜索即公司的主要业务;另一类是作为网站内部的一个功能模块,用于服务主流业务的。

目前专职做搜索引擎的公司,其实也不是很多了,国内主要就是百度、搜狗搜索、360搜索这些,行业的集中度已经很高了。(下图仅供参考)

什么是搜索引擎,基础原理与应用场景带你看懂!

但网站内部的搜索功能,基本每家公司都在做,大家但凡使用的成熟一点的互联网APP或者网站,都会提供搜索服务,搜索已经成为信息检索的主流手段了。不信大家打开手机的美团、知乎、腾讯视频等等,首页核心位置都会提供搜索入口。

什么是搜索引擎,基础原理与应用场景带你看懂!

专业的搜索引擎和站内搜索功能,异同点有哪些呢?

  • 差异点:主要是两者的检索目标内容是有差别的。专业搜索引擎更加综合,目标是满足用户对于信息(尤其是文本信息)的检索诉求;站内搜索主要的检索对象基本就是网站的服务内容。视频网站搜索的就是视频,外卖网站搜索的就是店铺,电商网站搜索的就是商品等。由于检索的内容、不同网站的业务目标都有差别,因此各个网站内部的搜索逻辑肯定也是千差万别。
  • 相同点:就是都是搜索引擎。核心的技术及大的框架都是基本一致的。

02搜索服务的核心过程

下面我们聊聊一个搜索服务的核心流程都有哪些。

(1)数据的获取+处理

对于专门的搜索引擎来讲,数据及信息的获取主要指的是爬虫的操作。即下图的sp左侧部分。

什么是搜索引擎,基础原理与应用场景带你看懂!

各位朋友有没有想过,百度可以实时返回你查询的关键词或者句子,是怎么做到的呢?比如你百度搜索【数据科学】,是实时去全网上全找一圈吗?当然不是。哪怕计算资源再多、计算效率再快,也不可能在短时间内告诉你靠谱的结果。

因此,为了解决效率的问题,所有的搜索引擎都是提前将各类网站的数据爬下来,进行处理加工,等待用户的查询操作。

这里需要做的数据处理加工工作其实是非常多的,比如需要对网页的重复内容进行去重,比如需要对所有的网页进行文本解析、语义识别,比如需要对文本进行索引的建立以便于后续的关键词检索等等。这里就不展开了,后面我们有机会逐一分享。

什么是搜索引擎,基础原理与应用场景带你看懂!

而对于网站内部的搜索功能模块来讲,数据的获取其实是比较容易的,不需要爬取,都是自己公司数据库中现成的数据。我们以电商网站的搜索举例,要搜索的都是商品,因此主要针对商品数据进行处理就好。而商品的数据肯定有商品表,基础信息已经很丰富了,足够满足搜索的基础应用。相对专业搜索引擎而言,数据处理的难度是小了很多。

(2)搜索query解析

无论用户是否进行搜索,上面的第一个环节都是需要做的基础工作。当用户进行搜索操作时,需要进行的处理的是本环节:query解析。

所谓的query解析,就是理解和分析用户输入的搜索语句(query),到底是个啥意思。

比如输入【数据科学家的主要工作内容是啥】,搜索引擎只是冷冰冰的机器,它是不理解这句话是啥含义的,那它怎么能给你靠谱的答案呢?

什么是搜索引擎,基础原理与应用场景带你看懂!

其实很多朋友也能想到,直接基于关键词进行匹配呗~是的,大的逻辑没毛病,但是真正落地就会发现,有很多细节问题。

比如,关键词匹配,那首先我得知道【数据科学家的主要工作内容是啥】有哪些关键词对不?这就得进行分词了。所谓的分词,就是对query进行切分为符合常识的关键词,这是典型的NLP(自然语言处理)中的知识内容。比如上面切分成【数据】+【科学】+【家的】+【主要】……还是【数据】+【科学家】+……这是完全不一样的。

再比如下面的【研究生物学】的切分,更是五花八门了。分词相关的NLP算法,后面详细分享,这里只是抛个砖。

什么是搜索引擎,基础原理与应用场景带你看懂!

再比如,【数据科学家的主要工作内容是啥】这句话,其中有【的】、【是啥】这种词,如果进行关键词匹配是不是会有影响?毕竟这种语气词既没有啥重要性,在网页中出现的频率又高。这里就涉及了核心关键词的提取、权重判断等。

再比如下面这个搜索【我和我的爷辈】,可能是我输入错了,但是query猜出我可能搜的是【我和我的父辈】,进行了纠正,如果一根筋的搜索,是不可能出来这个结果的。

什么是搜索引擎,基础原理与应用场景带你看懂!

综上,在query解析这个环节,主要需要搞定的是用户输入的语句,如何对语句进行处理,使得机器能够理解语句的含义,便于后续高效地搜索到相关的结果。

当然,基于关键词是比较基础的了,现在更多地朝着知识图谱、问答的方向迈进,更加符合真正的搜索需求。

(3)内容检索召回+排序

上面两个环节,一个环节是从服务端出发,进行数据的处理加工;一个环节是从用户端出发,进行用户搜索语句的理解。

下面就到了第三个重要环节:基于处理后的用户的搜索内容,到处理完的库中检索结果,把相关的内容都找出来,并按照一定的规则进行排序。

这个内容是搜索引擎的核心内容。因此不同的公司、不同网站的搜索引擎逻辑都会差别比较大,而排序逻辑更是千差万别。

需要排序这个事情应该比较好理解,理论上,我们是给匹配到检索内容的结果进行打分,分值高的排在前面。用户肯定是想要看到最相关、或者我们想让用户看到最重要的内容在前面,越往后用户看到的几率越小。

因此,针对如何提升排序这个事情,就诞生了一个专门的行业、职位:SEO优化(Search Engine Optimization),即提升相关内容的网站排名。对于淘宝卖家而言,需要提升自己家商品在淘宝天猫的搜索排名,会进行各种关键词、指标的优化;网站为了提升自己的百度搜索排名,也会进行各种标题等优化。

什么是搜索引擎,基础原理与应用场景带你看懂!

所以为了保障网站的排名公平,防止大家针对排序规则钻空子,往往各家网站的搜索排序规则、打分权重等都是比较保密的。

(4)搜索结果呈现

最后一个环节,主要就是产品功能层面的内容了,即针对搜索返回的排序好的结果,进行良好的产品化呈现。

比如知乎搜索【薇娅】:

什么是搜索引擎,基础原理与应用场景带你看懂!

在首页(综合)模块都是各类型搜索结果的top合集:包括讨论相关的内容、问答相关的内容、视频相关等。这种呈现方式是多类型网站比较主流的混合呈现方式。因此,对于搜索而言,每种不同方式也是一个单独的搜索引擎,然后不同的结果进行产品化的merge。

当然,随着技术的越发完善,用户体验不断提升,搜索也会有了各种特型呈现。比如我们在百度搜索【北京青岛】:

什么是搜索引擎,基础原理与应用场景带你看懂!

这里不再是按照上面的环节进行单纯的检索,而是对某些特定类型的关键词进行了特殊化呈现,这属于在基础搜索服务上的补充。上面这个案例的规则应该是用户输入的query中包含2个城市名称,则触发该特型呈现。感兴趣的朋友可以自己试试【山东山西】、【中国日本】、【北京深圳青岛】等,都是没有特型的,哈哈。

特型呈现对于用户的体验而言是巨大的提升,但对于搜索引擎而言,需要不断的积累,不断地增加,是个很长期的事情。

当然,不止搜索引擎有特型,其他网站内部搜索也是可以有特型呈现的。比如下面淘宝搜索某个品牌名称,除了商品list,还会增加旗舰店店铺的大流量入口(虽然这是个广告位)。

什么是搜索引擎,基础原理与应用场景带你看懂!

关于搜索相关的技术内容,今天就先介绍这些。搜索涉及的内容非常庞大,不是一篇文章可以讲清楚的,这篇文章主要目的是对搜索的整体框架有个简单的了解,明白搜索的基础工作原理。后面有机会我们再一一展开,分享更多细节的内容。也是比较有趣的。

特别申明:本站的主旨在于收集互联网运营相关的干货知识,给运营小伙伴提供便利。网站所收集到的公开内容均来自于互联网或用户投稿,并不代表本站认同其观点,也不对网站内容的真实性负责,如有侵权,请联系站长删除,转载请注明出处:https://www.yunyingdog.cn/89073.html。
(0)
上一篇 2021年12月15日 下午10:44
下一篇 2022年1月11日 下午11:11

猜你喜欢

发表回复

登录后才能评论

QQ:1124602020
微信:vl54120
备注:周一至周五全天在线,周末可能不在线,另外联系时,请告知来意。

公众号
交流群
运营狗会员全新上线,开通可尊享多项权益,点击了解详情