Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

增加request time以防止本地大模型超时 #408

Open
XiiiTang opened this issue Feb 25, 2025 · 1 comment
Open

增加request time以防止本地大模型超时 #408

XiiiTang opened this issue Feb 25, 2025 · 1 comment
Labels
bug Something isn't working

Comments

@XiiiTang
Copy link

问题描述 | Problem Description

问题描述:

在使用 7900XTX 硬件运行 qwen2.5-32b 模型进行批量处理时,出现大多数任务优化失败,仅有少数任务完成的情况。然而,使用 qwen2.5-16b 模型时并未出现此问题。

根据项目日志(log)和 LM Studio 的观察,推测问题可能如下:

日志显示任务开始时处理成功,但后续任务开始超时。
LM Studio 中待处理队列(queue)持续增加。
初步判断,使用更大的 qwen2.5-32b 模型导致推理时间增加,进而引发超时问题。可能需要通过延长请求(request)时间来解决,但我不清楚如何调整请求时间。

问题:

请问如何调整请求时间以解决此问题?感谢您的指导!

日志信息(可选)| Logs (Optional)

===========字幕处理任务开始===========
时间:2025-02-25 21:21:46.112249
正在字幕断句...
根据字数 7127,确定分段数: 15
开始调用API进行分段,文本长度: 600
开始调用API进行分段,文本长度: 618
开始调用API进行分段,文本长度: 589
开始调用API进行分段,文本长度: 671
开始调用API进行分段,文本长度: 626
开始调用API进行分段,文本长度: 566
开始调用API进行分段,文本长度: 629
开始调用API进行分段,文本长度: 627
开始调用API进行分段,文本长度: 652
开始调用API进行分段,文本长度: 581
API返回结果,句子数量: 55
开始调用API进行分段,文本长度: 576
API返回结果,句子数量: 52
开始调用API进行分段,文本长度: 392
2025-02-25 21:24:49 - subtitle_splitter - WARNING - LLM处理失败,使用规则based方法进行分割: Request timed out.
分段: 434
按时间间隔分组分组: 41
2025-02-25 21:24:49 - subtitle_splitter - WARNING - LLM处理失败,使用规则based方法进行分割: Request timed out.
2025-02-25 21:24:49 - subtitle_splitter - WARNING - LLM处理失败,使用规则based方法进行分割: Request timed out.
分段: 522
分段: 472
按时间间隔分组分组: 39
按时间间隔分组分组: 45
2025-02-25 21:24:49 - subtitle_splitter - WARNING - LLM处理失败,使用规则based方法进行分割: Request timed out.
@XiiiTang XiiiTang added the bug Something isn't working label Feb 25, 2025
@philpw99
Copy link

那可以去:
app/core/subtitle_processor/split_by_llm.py
第108行改动一下就好

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working
Projects
None yet
Development

No branches or pull requests

2 participants