解决数据稀疏问题对协同过滤的重要性

在协同过滤系统中，用户或顾客被他们所购买或评级的学习资源表示。例如：一个知识服务系统提供三百万个学习资源；每个用户被一个拥有三百万元素的特征向量表示。用户使用某个学习资源后的评分决定该元素的值，0表示该学习资源没被观看。当多个用户使用了该服务的学习资源后，便形成了一个由这些向量组成的矩阵，称之为用户—学习资源交互矩阵。

设定使用C表示用户集，I表示学习资源集，用户—学习资源矩阵R＝(rij)是一个矩阵：

在很多大型的应用中，学习资源数和用户数都非常大。在这种情况下，即使很多事件被记录，用户—学习资源交互矩阵仍然非常的稀疏。这种现象统称为数据稀疏问题，极大地影响了协同过滤方法的有效性。因为数据稀疏，使得两个用户之间的相似度极有可能为0，无法进行协同过滤。即使对于那些正相关的用户对，这种相似性的测量也有可能是不可靠的。

冷启动问题进一步证明了解决数据稀疏问题的重要性。冷启动问题即一个新的用户或新的学习资源加入到系统中所产生的问题。协同过滤因为缺乏足够的前期评分或购买数据，而不能为新用户生成有用的推荐。同样，当一个新的学习资源加入到系统中，因为非常少的用户对其进行了评分或购买，不可能被频繁地推荐给其他的用户。因此，冷启动问题是数据稀疏问题的一个特例。(www.xing528.com)

很多研究人员尝试缓解数据稀疏问题，这里介绍一个基于产品的方法去解决包括可扩展性和数据稀疏问题。该方法基于用户过去的交易或反馈数据，那些与目标用户之前所购买的产品最为相似的产品被检索鉴别出来并推荐给用户。产品的相似度被作为列向量的相关度计算得到。据一些研究表示与基于用户的方法相比，该方法在某些应用中达到了更好的推荐效果。

降维算法被用于直接降低用户和产品交互矩阵的维度。更为先进的技术如PCA(Principle Component Analysis)统计技术和LSI(Latent Semantic Indexing)信息检索技术也被应用于降维。研究经验表明在某些应用中，降维能有效地提高推荐质量，但是在某些应用中因为一些有用的信息在降维的过程中丢失而导致其性能贫乏。

另外一类方法，将数据集用双向图表示，节点表示用户和产品，用来连接用户和被评分产品，并赋予相应权值。然后通过图论测量方法得到用户和产品之间的全局相似度。例如利用用户在随机行走图中对应节点的平均通勤时间计算用户之间的相似度，还有计算图中节点之间的最小跳距离，节点间扩散激活方法等这些方法存在着一个共同的缺点，即就预测问题而言，对相似度的测量方法没有较好的解释。