Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

训练效果求教 #4

Open
FDUyjx opened this issue Dec 20, 2021 · 2 comments
Open

训练效果求教 #4

FDUyjx opened this issue Dec 20, 2021 · 2 comments

Comments

@FDUyjx
Copy link

FDUyjx commented Dec 20, 2021

您好！

很抱歉又打扰了，最近在DWIE数据集上尝试复现BiLSTM一类模式时发现，按照docred默认的参数设置，模型在验证集上的f1基本只能收敛到40左右，离您论文中报道的验证集f1达到50还有着较大的差距，一方面我感觉和验证集数据量太少有关，一方面也和具体参数设置有关，不知道您怎么看，可以的话，能不能请教一下你们的一些具体训练设置，比如学习率，batch_size，最大长度截断，以及有无使用比如dropout或者lr_schedule等技巧。

期待您的回复，非常感谢！

祝好
@rudongyu
Copy link
Owner

您好！

很抱歉又打扰了，最近在DWIE数据集上尝试复现BiLSTM一类模式时发现，按照docred默认的参数设置，模型在验证集上的f1基本只能收敛到40左右，离您论文中报道的验证集f1达到50还有着较大的差距，一方面我感觉和验证集数据量太少有关，一方面也和具体参数设置有关，不知道您怎么看，可以的话，能不能请教一下你们的一些具体训练设置，比如学习率，batch_size，最大长度截断，以及有无使用比如dropout或者lr_schedule等技巧。

期待您的回复，非常感谢！

祝好

您好！

感谢反馈！不知道之前 ATLOP 那个结果您现在对齐了吗？后面我用他们在 docred 上的原始代码只做了必要的修改（关系数目，增加头尾实体相同的关系等）又试了一下，和之前给出的结果是接近的，应该和超参以及长度截断关系不是很大。想确认一下有没有可能是一类问题。

@Juliaququ
Copy link

您好！
很抱歉又打扰了，最近在DWIE数据集上尝试复现BiLSTM一类模式时发现，按照docred默认的参数设置，模型在验证集上的f1基本只能收敛到40左右，离您论文中报道的验证集f1达到50还有着较大的差距，一方面我感觉和验证集数据量太少有关，一方面也和具体参数设置有关，不知道您怎么看，可以的话，能不能请教一下你们的一些具体训练设置，比如学习率，batch_size，最大长度截断，以及有无使用比如dropout或者lr_schedule等技巧。
期待您的回复，非常感谢！
祝好

您好！

感谢反馈！不知道之前 ATLOP 那个结果您现在对齐了吗？后面我用他们在 docred 上的原始代码只做了必要的修改（关系数目，增加头尾实体相同的关系等）又试了一下，和之前给出的结果是接近的，应该和超参以及长度截断关系不是很大。想确认一下有没有可能是一类问题。

您好 请问您除了修改关系数目 增加头尾实体相同大的关系还做了哪些修改呢

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
3 participants
@rudongyu @Juliaququ @FDUyjx