[Question]: 如何使用PaddleNlp的albert模型进行训练

[a31413510]

请提出你的问题

如何使用PaddleNlp的albert模型进行训练，在model_zoo里似乎没有找到albert模型

[wawltor]

albert和bert的训练方式基本一致，可以参考bert模型的训练方式，可以参考

PaddleNLP/legacy/model_zoo/bert/run_glue_trainer.py

Line 60 in 70da482

"ernie": (ErnieForSequenceClassification, ErnieTokenizer),

同时稍微改动几行代码，支持albert训练，传入传入albert的Class名字，具体的Class名字可以参考 https://github.com/PaddlePaddle/PaddleNLP/blob/develop/paddlenlp/transformers/albert/modeling.py

[a31413510]

请问是这么添加吗
"albert": (AlbertForSequenceClassification, AlbertTokenizer),
除此之外，还有什么需要修改的吗

[tianchiguaixia]

你使用torch就10行代码就可以微调albert

[github-actions]

This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动，被标记为stale。

[github-actions]

This issue was closed because it has been inactive for 14 days since being marked as stale. 当前issue 被标记为stale已有14天，即将关闭。