请问rec模型微调可以尝试moe方案吗

[zzk2021]

我们公司自己训练标注数据训练rec，但是训练后泛化性变差。我们无法预估数据标注的工作量。所以尝试从算法方面解决问题。
方案1 借鉴增量学习的方法，比如learning with forgetting. 这个尝试过了不如加开源数据。就算是加了开源数据训练测试集也稍差于全量训练。
方案2 冻结主干网络finetune。没啥用，training效果和testing效果都不好
方案3 合成数据 包括opencv生成的，添加数字图像处理方法。以及利用图像生成风格迁徙。有一定效果但还是不达标。
方案4 MOE。我看paddle里支持moe。我设想是训练一个我们自己的模型，和原始的ppocr模型一起组一个专家网络，冻结这两个网络训moe路由。这个方案不太清楚能不能走通。想请教一下经验。

[SWHL]

想问一下，现有PaddleOCR开源的模型在你们自己场景下效果如何？

PaddleOCR现有开源的rec模型在技术报告中说是用了1700w数据，前几天我请教 @cuicheng01 老师，他们内部用了400w高质量数据基本就达到了现有开源rec模型的效果。

对于方案4，只能说可以尝试，哈哈，我也没有试过。