这里的document_classification指的是长文本,一个文本由好几个句子组成。
典型的数据集包括yelp2013,2014,imdb
主要方法为嵌入attention信息,包括local,user、product、 cognition等
1、duyu tang Document modeling with gated recurrent neural network for sentiment classification.
2、Zichao Yang, Hierarchical attention networks for document classification.
3、yunfei long A Cognition Based Attention Model for Sentiment Analysis
4、duyu tang learning semantic representations of users and products for document level sentiment classification
5、Neural sentiment classification with user and product attention
attention计算方法a=vtanh(wd+wu+wp+b)
6、dou capturing user and product information for document level sentiment analysis with deep memory network.
文档之间进行交互,memory network是同一个u或者同一个p的所有文章dds,与d进行交互,得到dds的attention
7、aaai2018 Improving review representations with user attention and product attention for sentiment classification。
分别计算u和p,ud=vtanh(wd+wu+b) pd=vtanh(wd+wp+b) upd=vtanh(wd+wu+wp+b) 计算得到3个loss,然后每个loss有一个占比,加权相加得到总loss
8、yunfei long Dual Memory Network Model for Biased Product Review Classification
2个memory network,u和p分开,u(d)属于同一个u的d,p(d)属于同一个p的d构成memory network,然后计算attention,多跳机制,得到最后的du和dp,然后 du和dp加权相加得到最后的d
9、Cold-Start Aware User and Product Attention for Sentiment Classification acl20 8
这里是考虑冷启动情况,公式很复杂,我也不理解
10、Cascading Multiway Attentions for Document-level Sentiment Classification 和7有些像,分布使用user、product、user和product进行得到3种向量,是直接进行拼接的,而不是像7那样进行了选择。
10、A Lexicon-Based Supervised Attention Model for Neural Sentiment Analysis
在loss上有所改进,每个词和句子有一个local attention,每个词有一个情感得分,这个情感得分进行softmax有一个attention,这两种attention在loss上有一个公式,
Model | imdb | yelp2013 | yelp2014 | yelp2015 |
---|---|---|---|---|
1 | 0.453 | 0.651 | 0.671 | 0.676 |
2 | 0.494 | 0.682 | 0.705 | 0.710 |
3 | 0.489 | 0.638 | 0.641 | 单元格内容 |
4 | 0.435 | 0.596 | 0.608 | / |
5 | 0.533 | 0.650 | 0.667 | / |
6 | 0.465 | 0.639 | 0.613 | / |
7 | 0.550 | 0.683 | 0.686 | / |
8 | 0.539 | 0.662 | 0.676 | / |
9 | 0.542 | 0.657 | / | / |
10 | 0.494 | 0.650 | 0.651 | / |
关于user、product分别attention得到表示du、dp之后,可以使用一个gate进行选择,类似于8中最后要分别给一个权重,这里的权重通过gate获得,类似的gate想法参考Gated Neural Networks for Targeted Sentiment Analysis这篇文章。
试验有做,但是效果并不是很好,但我觉得这个想法应该不错吧。