BERT4Rec性能问题

[kuzma-long]

BERT4Rec在Beauty数据集上跑出的最好结果与DuoRec中所报告的结果相差甚远，Beauty数据集采用5-core的预处理方式过滤，为了公平比较，我都是采用的全排序评估方式，其他参数也都是按照论文来设置的，具体设置如下：
n_layers: 2
n_heads: 2
hidden_size: 64
inner_size: 256
hidden_dropout_prob: 0.5
attn_dropout_prob: 0.5
hidden_act: 'gelu'
layer_norm_eps: 1e-12
initializer_range: 0.02
mask_ratio: [0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9]
loss_type: 'CE'
neg_sampling: ~
hyper_parameters: ['mask_ratio']
pooling_mode: 'mean'
eval_args:
split:
LS: 'valid_and_test'
order: TO
group_by: user
mode: full
train_batch_size: 128
eval_batch_size: 256

结果如下：（mask_ratio经过超参数调优最好为0.2）
best valid: OrderedDict([('recall@5', 0.0254), ('recall@10', 0.043), ('recall@20', 0.0678), ('recall@50', 0.1211), ('ndcg@5', 0.0156), ('ndcg@10', 0.0212), ('ndcg@20', 0.0275), ('ndcg@50', 0.038), ('mrr@5', 0.0124), ('mrr@10', 0.0147), ('mrr@20', 0.0164), ('mrr@50', 0.018)]),
best test: OrderedDict([('recall@5', 0.0174), ('recall@10', 0.0307), ('recall@20', 0.0496), ('recall@50', 0.0879), ('ndcg@5', 0.0104), ('ndcg@10', 0.0147), ('ndcg@20', 0.0194), ('ndcg@50', 0.0269), ('mrr@5', 0.0081), ('mrr@10', 0.0099), ('mrr@20', 0.0111), ('mrr@50', 0.0123)])

DuoRec论文中所报告的结果Recall@5：0.0193，Recall@10：0.0401，NDCG@5：0.0187，NDCG@10：0.0254

[Sherry-XLL]

@kuzma-long 您好，首先 DuoRec 论文中固定的训练集批次大小为 256（The training batch size is set to 256.），即 train_batch_size=256，但是您提供的配置文件中设置的值为 128，与原文不符。

其次，论文中提到 The Dropout [40] rate on the embedding matrix and the Transformer module are chosen from {0.1, 0.2, 0.3, 0.4, 0.5}.，即模型的超参数 hidden_dropout_prob 和 attn_dropout_prob 都需要经过调节才能达到最优结果。

我们团队经过调节 hidden_dropout_prob 和 attn_dropout_prob 得到在 Amazon Beauty 数据集上的最优参数配置为：

best params:  {'attn_dropout_prob': 0.2, 'hidden_dropout_prob': 0.3}

在最优的参数配置下，BERT4Rec 的结果为：

attn_dropout_prob:0.2, hidden_dropout_prob:0.3
Valid result:
recall@5 : 0.0377    recall@10 : 0.0619    mrr@5 : 0.0188    mrr@10 : 0.022    ndcg@5 : 0.0235    ndcg@10 : 0.0313    hit@5 : 0.0377    hit@10 : 0.0619    precision@5 : 0.0075    precision@10 : 0.0062
Test result:
recall@5 : 0.0268    recall@10 : 0.0445    mrr@5 : 0.0132    mrr@10 : 0.0156    ndcg@5 : 0.0166    ndcg@10 : 0.0223    hit@5 : 0.0268    hit@10 : 0.0445    precision@5 : 0.0054    precision@10 : 0.0045

此时 RecBole 所复现模型结果的召回值 Recall 高于 DuoRec 论文结果，而 NDCG 值相对较低，造成这一现象的原因是 RecBole 的提前停止机制和两个评测指标的不同侧重点。

一方面，RecBole 默认使用以 Recall@10 作为指示器，当模型在验证集上 Recall@10 的评测值连续 stopping_step=10 轮没有提升后，训练会提前停止，所以模型提前停止时评测的 Recall 值相对较高。另一方面，Recall 指标更侧重于考察排序结果的召回能力，而 NDCG 更侧重于模型召回列表的整体排序能力，两者的最优训练轮数并不一致。同时，不同的 k 值选择也会有不同的变化趋势。

比如当 hidden_dropout_prob 和 attn_dropout_prob 的值均为 0.1 时，BERT4Rec 在测试集上的结果接近并超过 DuoRec 论文中的结果。

attn_dropout_prob:0.1, hidden_dropout_prob:0.1
Valid result:
recall@5 : 0.0408    recall@10 : 0.0601    mrr@5 : 0.0233    mrr@10 : 0.0259    ndcg@5 : 0.0276    ndcg@10 : 0.0339    hit@5 : 0.0408    hit@10 : 0.0601    precision@5 : 0.0082    precision@10 : 0.006
Test result:
recall@5 : 0.0302    recall@10 : 0.0456    mrr@5 : 0.0174    mrr@10 : 0.0194    ndcg@5 : 0.0206    ndcg@10 : 0.0255    hit@5 : 0.0302    hit@10 : 0.0456    precision@5 : 0.006    precision@10 : 0.0046

在比较不同的基线模型时，超参数的调节至关重要，不同的调节方式和范围也会取得不同的结果。但只要都在同一个框架体系下复现，并采用同样的配置方式评测，模型的结果就是可比的，这也是 RecBole 项目的出发点和立足点。

感谢您对 RecBole 的关注，希望您的问题能得到解答。

[kuzma-long]

感谢回复，回答得很详细！