使用 8 x 4090 微调 llama3-1-8B 后，询问无输出反馈。

[Sakkana]

如图，跑了一遍仓库里的代码。
微调结束后，使用 checkpoint-699，输入 prompt 后大模型没有给任何输出。
求好心人解答这是怎么回事

[Sakkana]

@KMnO4-zx 大佬😭

[Sakkana]

有重启 notebook。
response 长度为 0，如下图。

[LinB203]

same question.

[Sakkana]

update：

base模型和lora权重合并后保存为新模型（merge_and_unload、save_pretrained）后，使用vllm可以完成部署推理。

#教程中的推理方式无输出。（仅限llama3.1，Qwen2-7b、bilibili-index、DeepSeek等正常）

[Tsumugii24]

update：

base模型和lora权重合并后保存为新模型（merge_and_unload、save_pretrained）后，使用vllm可以完成部署推理。

#教程中的推理方式无输出。（仅限llama3.1，Qwen2-7b、bilibili-index、DeepSeek等正常）

可能是版本的问题，最近更新了 requirments ，可以按照新的 package version 来试一下，我个人在目前的环境配置中没有遇到问题