ContextSeqEmbAbstractLayer 是否支持float_seq类型的feature？

[hlyu9]

大佬们好，想请教一下关于ContextSeqEmbAbstractLayer的问题：我在看相关代码的时候，发现似乎只对token, token_seq和float这三个feature类型有处理，但没有对float_seq类型的feature有什么操作。请问目前是不支持float_seq类型的feature吗？

我是想給sequential model添加item feature的信息，包括几个categorical column和一个从sentence-bert获取的embeddings，目前的想法是把categorical feature做one-hot encoding之后，直接和bert embedding给concat到一起作为一个float_seq feature来输入。但看代码的时候发现似乎不支持，所以想请教一下，对我这种操作有没有什么建议，谢谢！

[leoleojie]

@hlyu9 您好！感谢您的关注！
ContextSeqEmbAbstractLayer中对于token，token_seq, float类型特征的处理，是为了获得这些特征对应的embedding，如果你已经将bert embedding和categorical feature embedding拼到一起，得到了embedding，是不需要经过ContextSeqEmbAbstractLayer额外处理的，直接修改模型部分即可。

[hlyu9]

谢谢大佬！但我目前的问题是categorical feature只是做了one hot encoding，直接和bert embeddings给concat在一起后作为pretrained embedding使用时效果不太好，所以想作为feature输入。想请教一下您觉得怎么样把这些feature整合起来比较好呢？

另外，我在想給BERT4Rec添加对feature的支持的时候，ContextSeqEmbAbstractLayer一直在报错。我发现是BERT4Rec里加了mask_token = self.n_items，导致item_seq传进来算feature embedding、按照token从self.dataset.get_item_feature()里面取feature的时候会报index out of bound的错误。我想自己手动添加一下mask_token相关的信息，但是想请教一下大佬：如果要添加的话，mask_token对应的feature tensor可以怎么定义呢？谢谢!