RoFormer_pytorch继续预训练性能下降

[hflserdaniel]

非常感谢您在huggingface上的贡献！
在我的项目中，我尝试利用transformers/example/pytorch/language_modeling中的mlm脚本对RoFormer继续在领域文本上预训练，但是预训练后的表现出现下降的问题。作为对比，对roberta继续预训练能够得到提升。
可以请教下具体的原因嘛？是否和脚本中调用的AutoModelForMaskedLM有关？
再次感谢！

[JunnYu]

训练的是什么模型？char级别的还是word级别的模型

[JunnYu]

模型搭建的是没有问题，https://github.com/ZhuiyiTechnology/roformer/blob/main/train.py 可以参考原版的keras代码继续预训练，然后再把模型转成pytorch试试

[hflserdaniel]

训练的是什么模型？char级别的还是word级别的模型

使用的是word级别的模型和对应的词表及分词器