什么是推举系统?
当你生理产生一个需求的时候，能通过这个工具顺利实现对这个需求的搜索，并得到符合生理预期的产品列表，这个工具我们就称之为——推举系统。
例如在现实生活中我们常常会用淘宝、京东、百度等产品，人们常日会基于目的（例如买洗面奶、洗发水、图书）的情形下去搜索想要的产品；或是在需求不明确的情形下，期望外部能传达符合自身内心需求的信息。
那么，什么样的推举系统是好的推举系统呢？
1.1 用户层面：对用户真正有代价的推举
1.1.1 符合用户的预期
推举结果精准，能较大概率的覆盖用户的需求；用户搜索词与推举物品有较高的匹配度，这里常日用召回率和准确率来衡量上述指标。
召回率：正例在实际总的正例中被预测精确的概率准确率：正例被预测精确的概率1.1.2 让用户产生惊喜
在知足精准性的情形下，推举系统能挖掘人性需求，帮用户拓展眼界探索未知，产生惊喜。
其表示在推举结果的多样性，物品间知识关联性等。比如用户搜索古典音乐类书本，可以在列表中增加与此类型音乐相配的古典舞蹈、茶艺等书本.
其余，推举物品不能和用户所购买物品物理绑定。比如用户购买红楼梦上，系统推举红楼梦下，这个推举对用户来说并不存在真正生理需求
1.2 系统层面：技能
对用户而言，对推举结果的预期、反馈的韶光、推举物品更新的频率、系统容错机制等，都会直接影响用户体验。因此在系统层面，一个精良的推举系统需具备但不限于：
强大抵御并处理噪声数据（例如刷单产生的无效数据）的能力高效数据打算及传输能力稳定的存储机制算法的精准性1.3 不断完善与优化
就像人一样，只有不断的学习，才能完善自身的知识体系以及对天下的认知，系统亦然。
好的推举系统一定具备自我学习的能力，通过建立反馈机制和用户进行交互，从而不断优化对用户群体的认知，终极能实现对用户群体的精准聚类，为每类群体建立模型，物品精准投放。
1.4 让用户信服的推举情由
好的推举系统势必会让用户产生强烈的信赖与依赖感，给用户供应物品推举的依据——推举情由。
推举情由可以表示出系统是如何判断物品进入用户的兴趣范围的。常用的推举情由大概分为以下四类：
热门商品；推举系统常日都会授予部分热门商品一定的权重，由于感兴趣的人基数非常大，以是系统判断目标用户感兴趣的概率也较大目标用户的好友同时也喜好此类物品喜好某类物品的用户同时也喜好这类物品与某类物品内容有极大的关联性；这里关联性可以逐步细化，比如基于知识体系的推举，即不同领域的匹配，或同一领域的梯度匹配等1.5 实现双赢
好的推举系统不仅能让用户找到目标物品，也能让商家创造目标/潜在的用户群体，实现共赢。
2.什么是好的推举系统——产品视角
推举系统都会有一个明确的目的，无论是为了打破技能壁垒还是基于商业目的，终极都会根据目标，通过特定的用户行为数据来判断成功与否。
比如对付电商平台，用户关注、点赞、收藏、加入购物车等操作，都可以在一定程度上衡量推举结果的精准性，但并未达到此系统的终极目标——支付。
因此我们可以选与系统终极目标最匹配的用户行为，也便是在这个过程中用户付出代价最大的行为作为紧张的判断依据，比如购买成功，对此行为授予相对较大的权重。
二、推举系统架构
通过上面的先容，大家该当对推举系统有一个初步的认识了，那么推举系统是由哪几部分构成呢，在这一部分，我将逐一解答。
大部分推举系统都是由前台展示页面、后台日志系统和推举算法系统三部分构成。
1. 前台展示页面
前台展示页面是直不雅观展示给用户的界面，通过UI与用户交互，交互产生的用户行为数据将存储在后台日志系统中，开拓者根据推举算法对日志系统中的数据进行处理及剖析，最终生成推举结果。
那么，交互产生的用户行为数据包括哪些呢？
用户自身根本属性；即性别、年事、学历、职业、所在地等，常日来源于用户注册信息或是其他平台数据。用户行为：浏览网页、点击、收藏、购买、点赞、关注等行为。用户行为结果：产生的话题、搜索关键词及反馈（评论/打分）等。每种类型的数据可以抽象为一种特色，获取办法可来源于目标网站或社交网络。
2. 后台日志系统
日志系统紧张是用来记录系统运行的轨迹，在记录的同时，跟踪剖析缺点，审计系统运行的流程。
日志记录的内容常日分为两大类，一是面向用户，二是面向开拓者，这里我们更多关注第一类。
用户行为都会存储在日志数据库中，由于用户产生的数据量巨大且速率快，为了担保数据传输的稳定性，可以嵌入高吞吐量分布式系统——Kafka。
同时为了提高数据处理效率，常日会设定日志内容边界对检测出的无效数据源（例如刷单数据）先做过滤。当然经由筛选后的数据也并非规整，这就须要对数据进行一定层级的分级分类和格式规范了。
比如用户点击行为，会天生相应的点击日志，用户的每次查询会天生一个展示日志，与此同时会有一个并行的程序将归并点击日志与展示日志。
3. 推举系统算法
有了前端展示后和后端数据之后，那么如何实现他俩的交互呢，这中间须要一个连接的桥梁——推举系统算法。
推举系统算法可以抽象为一个规则，只有把这个规则定义好，前端才知道哪些数据该展示并如何展示，后端数据库也知道哪些数据有代价。否则，如果将所有日志内容输出，不仅会增大用户信息检索的困难，系统也就失落去了自身意义。
总的来说，推举系统的本色便是一个用户行为特色与物品特色匹配的过程。
用户端特色包含用户自身、用户行为和用户行为结果三部分；物品特色包含标签、内容（关键词）等。
推举结果均是基于用户特色及物品特色原始数据，在不同维度（韶光、多样性、盛行度等）上，根据用户需求授予权重并进行处理（筛选、排序等）后的结果。即遵照用户—特色—物品过程。当推举系统天生初始结果后，在通过过滤、排名算法天生终极推举结果和推举情由。
推举引擎可抽象成一种特色，每种特色对应成一种推举策略，结合不同用户需求，调度每个详细特色上所授予的权重，最终生成特色物品-特色映射{item：Userfeature}，Userfeature为多个特色权重相加后的终极值。
三、常用推举系统算法1. 常用系统事理先容
我们从推举系统详细要办理什么问题以及如何办理问题来阐发事理。
首先，推举系统要办理的最核心的两个关键点是：如何创造用户感兴趣的物品和如何确定物品之间的关系。其次，每个问题分别如何办理呢？
1.1 如何创造用户感兴趣的物品
1.1.1 用户主动见告系统对哪些类型感兴趣
用户自行选定感兴趣的关键词标签，系统将找到与此标签匹配的物品。
1.1.2 通过剖析用户行为数据
利用用户在平台的历史浏览记录获取能代表用户的关键词，或导入社交数据，获取用户好友列表，从而基于用户好友喜好物品天生推举列表。
1.2 如何确定物品与物品间的关系——相似度
相似度打算事理：所有相似度的打算都是基于矩阵的运算。
1.2.1 基于内容（关键词/标签）
大部分物品都会多维度特色，通过特色从而实现与用户的期望得以匹配，常用的是通过物品内容关键词或是给物品打标签的形式来匹配。
1.2.2 协同过滤
协同过滤也是推举系统中常用的算法，其分为两种，基于用户和基于物品。
那什么是基于用户呢？
便是找到和你相似的一个小群体，小群体里面喜好的东西都是你喜好的，你得到的推举结果便是这个小群体喜好的物品凑集。
那什么基于物品呢？
基于用户兴趣交集打算物品间的相似度，即喜好物品i的用户有多少也喜好物品j，常日用来表示物品间的相似度，同时结合用户历史行为天生推举列表；用户的历史行为对物品间的相似性也具有一定的贡献度。
这样看来，基于物品的推举系统，更加个性化同时也一定程度上反响了用户的兴趣传承。
2. 如何实现更加精准的分类
仅仅通过用户间兴趣交集天生推列表每每是不足的，在内容、标签的分类以及人群之间的关系上，如何进行深度挖掘？下面几种方法供应了一些优化思路。
2.1 稠浊推举
在实际的案例中，单个的推举模型大多都无法知足预期，以是常日从系统、算法、结果、处理流程上采取不同的稠浊策略。
例如基于内容增强协同过滤（The content-boosted collaborative filtering recommender），此算法领悟了协同过滤和基于内容的算法思想，和基于内容或协同过滤的单个模型比较，它预测能达到比较高的精度，同时它也能办理了数据稀疏和冷启动问题。
2.2 瘦语义模型
2.2.1 瘦语义观点
类似于协同过滤中基于物品的方法；在每个详细分类中，以用户行为（兴趣）作为物品权重的分配依据。
2.2.2 与协同过滤不同之处（优化点）：
物品可以有多个分类维度；基于用户行为决定每个类中物品的权重（eg:如果某类用户群体都对某一物品特殊感兴趣，在这类中这个物品的权重就非常大）分类粒度更加细化；比如关于《深入理解OpenCV》这本书原来被划分为【打算机】类，细化之后可以分为【图像处理】类；2.3 文本精准匹配
为量化文本间的关联度，引入一个观点——TF-idf，通过比对搜索关键词与物品库单个物品的关键词或标签的相似性，从而天生推举列表。
TF-idf值越大，解释干系性越大，反之；这里对TF-idf公式事理做简要解释加强理解：
打算公式：TF-idf = f(t,d) x idf(t,D)
TF：频率；搜索词在特定文档中涌现的频率：
Idf：搜索词在其他文档中涌现的次数：
在文档搜索中，不仅要考虑搜索关键词在目标文档涌现的频率，也要考虑关键词在其他文档涌现的频率。
如果搜索词是大众词语，那么搜索的结果完备不具备参考代价，比如搜索词为the；在idf公式中，分子为所有文档的个数，分母为包含这个关键词的文档个数，如果是大众词语，则：idf=0，TF-idf=0，物品（关键词）间没有干系性。
2.4 利用社交网络数据
社交网络中包含大量的用户数据，能更好的反响用户间的关系，用户关系常日有三种：
互为好友（Facebook）单向关注（Twitter）兴趣小组模式（豆瓣小组）利用社交网络数据进行推举常日都将用户间的熟习程度和兴趣相似度作为最紧张的两个判别指标。
用户间熟习程度，即通过用户共同好友数量打算；兴趣相似度，即通过两个用户喜好物品的重合度进行衡量。
弊端：用户数据量巨大，数据库读取消耗韶光太长。
优化方法：
减少数据量；重构数据库；2.5 韶光特色
在日常生活中，物品迭代速率非常快，人们的近期行为常日比远期行为更加符合目前自身兴趣需求，因此在系统知足精准性的情形下，须要考虑推举系统的时效性，根据不同推举内容授予韶光权重。
例如新闻与经典书本，新闻更新频繁具有较高的时效性，而经典书本例如红楼梦，社会对它的需求已经处于平稳，因此时效性不高。
如何将韶光权重授予物品：
物品的生命周期：物品生命周期的是非决定了物品的时效性。一个物品随着盛行度的增长，在线时长（一个物品在某天被用户产生过行为）也随之增加，斜率越大解释具有较低的时效性生命周期较长（如wikipedia)，斜率越小解释具有较高的时效性生命周期较短（如nytimes）。以是物品生命周期越长，与韶光干系性越低。人的兴趣爱好会随着韶光而改变，不同阶段所感兴趣的物品差异较大，韶光相隔越久，用户对物品产生的行为权重越低，近期行为授予较高权重。除此之外，不同物品推举的韶光点也是须要考虑成分之一，比如用户在事情韶光，尽可能推送与事情干系的资讯或资料，与事情内容不干系的信息做降权，放工韶光再适当调度权重。
但是同时也要考虑不同岗位事情状态存在不一致的情形，详细推送情形可以通过每个用户大量的行为数据来判断。
2.6 环境特色
环境特色常日可以与韶光特色合营。用户在不同的韶光与地点的需求差异可能会很大乃至完备不同，或是在特定的韶光与地点，对某种信息的需求会连忙上升。
例如用户在纽约旅游，关注点会大量集中在纽约的衣食住行，但如果这个时候推举系统推举的信息都是伦敦的，那么结果可想而知。
四、 实战篇——如何掩护用户数据
当用户数据量太大，例如引入社交网络或是新闻履行推举，此时如果每次更新都读取一次数据库，那么效率会大幅低落导致用户体验不佳。
目前常用的有两种方案：
1. 行列步队
为每个用户掩护一个行列步队，里面包含用户的基本属性（如年事、性别、职业等）、喜好的物品、朋友圈等。每当这个用户产生新的动作（搜索），系统将根据特定的规则，授予行列步队中每部分数据的权重。终极得到推举列表。
这里科普一下什么是行列步队。顾名思义，便是把传输的放在行列步队里，行列步队，可以抽象为一个容器，以是行列步队，便是一个用作保存传输中的容器。
在这个根本上，这个容器可以跨平台、措辞供应可靠的、持久的异步通讯机制。
可靠是指：有且只有一次；有序。异步是指：发送方和吸收方可以不同时在线。其余，通过行列步队还能实现系统解耦，这使得各个别系间可以相对独立运行。
2. 建立喜好词关键表
在数据库中，我们为每个用户掩护一个map，也便是建立“key-value”键值对，key对运用户喜好词，value对应喜好程度。
每个新闻会有对应的关键词和Tf-idf值。当用户浏览一篇新闻时，系统会将这篇新闻的关键词和Tf-idf值插入到用户喜好此列表里。如果用户浏览了包含与原有相同关键词的新闻，Tf-idf值会自动相加并更新原有值。同时考虑数据库存储问题，根据详细需求为关键词量设定一个上限。
当然，除了存储问题，这里还有一个新问题：用户兴趣是否会变革呢？
比如在某某手机的发布会前或是天下杯，用户只在这段韶光集中关注某一话题，但之后可能完备不在意了，那么在喜好词列表里，如何表示用户兴趣迁移呢？
这里引入一个新观点——衰减机制。每一个Tf-idf值乘上一个衰减因子， 同时在喜好列表中设定一个阈值L，当Tf-idf减少到小于L的时候，关键词直接删除。
五、未来思考
一个人在群体中的主要性和影响力以及人与人之间一贯是难以通过几个参数或几个模型就能判别的，它们均是一个不规则的非线性模型。
平台数据对付深度挖掘人与人之间的关系来说实在是微不足道的，在现实生活中，人与人之间的关系本来就难以定论，存在着表层关系与深层关系。
表层关系详细是指社会授予你们的关系，比如同事、高下属、同学等，深层关系则是指你们除了是同事以外，可能私下里是有着相同的兴趣爱好的朋友。
表层关系常日可以用数据挖掘定义，比如两个人的通话记录（这里不是指通话内容，而是打电话的韶光、时长等）、位置信息等，但是外部信息数据常日会根据个人习气而产生偏差。
实在，对推举系统的理解等价于对人性的理解；挖掘人与人的关系、人与物的关系、物与物的关系。
除了人们主动表达的需求，我认为最主要的，实在是人性的希望。所谓道生一，生平二，三生万物，万物由道生出，而希望乃道的个中一个产物。以是希望常日不会平白无端的产生，希望与希望之间也不会毫无关联，个人的发展经历及生活环境造就了一个人的性情，让他养成了一些习气。
习气常日是有形无意识表达，而希望常日是无意识无形表达。我在想，是否把习气与希望结合起来，是否便是对人性的建模。大数据时期，通过大量的用户发展数据与环境数据或容许以适当挖掘个中规则，但更加深入的，实在是要推导因果的关系。
参考文献：
[1] 新闻推举系统：基于内容的推举算法——TFIDF、衰减机制
[2]《推举系统实战》；
[3]《日志系统设计》
[4]《行列步队运用处景》
[5] 推举系统的稠浊加权技能研究
[6] Xiaoyuan Su and Taghi M. Khoshgoftaar, “A Survey of Collaborative Filtering Techniques”,Advances in Artificial Intelligence,2009.
本文由 @ShallyFeng 原创发布于大家都是产品经理。未经容许，禁止转载
题图来自 Unsplash ，基于 CC0 协议