finetune_version预测输出不可控的问题

[elesun2018]

训练数据如下：
问题：图片中天气如何？
图片：图片路径
答案：不会下雨。

问题：图片中天气如何？
图片：图片路径
答案：会下雨。

答案只有会下雨和不会下雨。
训练样本约1000。
迭代训练5Kstep后，发现问：图片中天气如何？
答案：会下雨。但是大概20%的可能性会出现下述情况：
推理问题：图片中天气如何？
答案：图片中天气晴朗，没有乌云。。。。。描述了大量的通用文本，并没有输出我们想要的答案（不会下雨）。

请问问题原因可能是：训练不充分，数据量少，答案文本太短，需要多轮对话实现，微调参数设置lora？谢谢！

[zRzRzRzRzRzRzR]

100 step loss多少了

[elesun2018]

batch4
100 step loss约为0.3
150 step后 loss趋于稳定0.2
请问这个step跟batch4 batch1有关系吧

[zRzRzRzRzRzRzR]

没有太大关系，当然你batch越大鲁棒性繁华性越高。

[zRzRzRzRzRzRzR]

现在这个loss应该能正常回答问题了，你是大概多少的相关数据呢，500-1000条吗

[elesun2018]

是的，数据量600 Yuxuan Zhang ***@***.***> 于2024年12月31日周二 21:31写道：

…

现在这个loss应该能正常回答问题了，你是大概多少的相关数据呢，500-1000条吗 — Reply to this email directly, view it on GitHub <#679 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AI33YNM37TTKWI5SWBKHPJL2IKMCRAVCNFSM6AAAAABUFNHJZWVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDKNRWGQ2TONRTHE> . You are receiving this because you authored the thread.Message ID: ***@***.***>

[zRzRzRzRzRzRzR]

尝试进行更多轮训练，是否能实现相似效果，大概让loss降低到0.1，推理的时候保持贪婪采样

[elesun2018]

好的，谢谢。贪婪采样是指"do_sample": True吗
num_train_epochs一般要达到多少轮，epoch 2-10输出结果相差不大。
epoch10（step3000）loss下降到0.25
现在的主要问题是，输出格式不完全可控（答案有长有短），准确率最好只有 0.7（将文本结果转换成量化准确率）
目标是输出格式符合预期（简短的答案文本）量化后的识别准确率达到0.8以上。
谢谢

[zRzRzRzRzRzRzR]

do_sample = False

[zRzRzRzRzRzRzR]

num_train_epochs 多少轮并不重要，loss通常能到达0.1。
准确率通常能到0.7-0.8，超过0.8鲁棒性下降的很多，到0.9多很有可能已经过拟合