微调以后推理生成的数据有一直重复生成， #1198
-
理论上我只需要前面四行的数据即可，但是正确的数据生成结束以后还会接着不断生成重复的数据，这个问题该如何解决，以前在微调完第一代6B的时候也有这种问题，现在微调的是3代的，还是不知道怎么解决，希望大佬提供意见
|
Beta Was this translation helpful? Give feedback.
Replies: 2 comments 3 replies
-
|
检查你的special token有没有正确，是transformer推理吗 |
Beta Was this translation helpful? Give feedback.
-
|
我是在自己新建的ipynb文件导入inference_hf.py中的 |
Beta Was this translation helpful? Give feedback.
-
|
我看了一下微调前后的special_tokens都是 |
Beta Was this translation helpful? Give feedback.
-
|
尝试增加 user这个special token作为stop id |
Beta Was this translation helpful? Give feedback.
-
|
后续的代码会重新将special tokenizer id这边进行重构，对齐huggingface代码 |
Beta Was this translation helpful? Give feedback.
尝试增加 user这个special token作为stop id