实验采用信念网络话题模型作为表示模型,来验证本书提出的热点话题发现方法的性能。实验过程中,将话题的第一个波动周期视为大的时间段[t1,tn],该时间段中的小时间段Δ(time-i)的值预定为1小时。实验包括三项内容:第一项获得调节相关报道密度和热度峰值贡献度的参数α和β,第二项获得判断话题是否为热点话题的热度阈值θ,第三项实验用于比较本章提出的热点话题方法和目前广泛使用的CHI检验方法的性能。
对于参数α和β的获得,我们将采用反复实验法。由于α+β=1且α>0.5,故实验将分别验证α取值为0.6,0.7,…,1.0时,本章所提方法的F1值,实验结果如表5-3所示。
表5-3 不同参数α和β对应的F1值
观察表5-3可以发现,当α=0.8,β=0.2时,F1值最高,故在后续实验中我们将采用该值来调整某话题相关报道密度和热度峰值的贡献度。当然,该值并不是精确的最优值,如果需要,在后续研究中我们将在α=0.8附近,进一步细化并进行反复实验。
表5-4 不同阈值θ下的F1值比较(www.xing528.com)
第二项实验的目的是获得判断话题是否为热点话题的热度阈值θ。如果阈值过高,则查准率(Precision)会提高,但是查全率(Recall)会降低;反之,如果阈值过低则会降低查准率,所以选择合适的θ值很重要。该项实验仍采用反复实验法,通过比较不同阈值下的查准率、查全率、F1值,获得较优的热度阈值θ,实验结果如表5-4所示:观察上表可以发现,当θ值为0.7时,F1值为0.8626,值最高,故将后续实验中的热度阈值θ设为0.7。
在获得上述阈值的基础上,第三项实验将比较广泛用于热点话题发现的CHI检验方法和本章所提方法(New-method)的性能。图5-5为查全率取值为(0.1,0.2,0.3,…,1.0)下,两种方法的查准率比较,从图中可以看出本章提出的方法优于传统的CHI检验方法。
图5-5 不同查全率下的查准率比较
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。