Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

使用源码config训练CAN-DWAP,在CROHME14测试集上得到的ExpRate比论文中要低1.4% #27

Open
lawsonxwl opened this issue Dec 13, 2022 · 12 comments

Comments

@lawsonxwl
Copy link

config未作任何修改,Wordrate为0.9005,ExpRate为55.6%,问下大佬这个是啥情况?为什么复现不了呢

@lawsonxwl
Copy link
Author

随机种子与config内相同 为 20211024

@pinkal21300
Copy link

我在测试中得到 52.23% ExpRate。可能是什么原因?

@lawsonxwl
Copy link
Author

我在测试中得到 52.23% ExpRate。可能是什么原因?

尝试增加训练epoch数量

@pinkal21300
Copy link

@lawsonxwl 太感谢了。我会尝试。

@eclickECNU
Copy link

@lawsonxwl 我训练了240轮,代码没有任何改变,在2014 test 上只有54.67% ExpRate, 而且把counting loss 和 counting_preds 去掉之后,ExpRate 几乎不变,还是54%左右,和论文里的ablation study 完全对不上,不知道是哪里的问题,你有尝试过去掉counting loss 和 counting_preds 之后训练么

@pinkal21300
Copy link

@eclickECNU 不,我到现在还没有尝试过。

@Vegemo-bear
Copy link

大佬,能提供一下训练好的模型吗,我这边训练出来的效果达不到50%,不知道是不是batchsize设置小的问题。

@xikeda-hunzi
Copy link

作者是有自己的数据增强处理,但是这部分代码没有开源,所以达不到很正常

@lawsonxwl
Copy link
Author

作者是有自己的数据增强处理,但是这部分代码没有开源,所以达不到很正常

论文中无数据增强数据给的是57% 带上数据增强之后是65.58%

@xikeda-hunzi
Copy link

作者是有自己的数据增强处理,但是这部分代码没有开源,所以达不到很正常

论文中无数据增强数据给的是57% 带上数据增强之后是65.58%

是不是降低了batchsize啊,这个估计会有影响

@lawsonxwl
Copy link
Author

使用的是论文的配置 batchsize为4 大了V100装不下

@lawsonxwl
Copy link
Author

@lawsonxwl 我训练了240轮,代码没有任何改变,在2014 test 上只有54.67% ExpRate, 而且把counting loss 和 counting_preds 去掉之后,ExpRate 几乎不变,还是54%左右,和论文里的ablation study 完全对不上,不知道是哪里的问题,你有尝试过去掉counting loss 和 counting_preds 之后训练么

大佬你好 我看你在ICDAR2023的成绩很好 问下是使用的CAN模型吗? 有没有用啥trick 类似于beam search 和模型集成这种

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

5 participants