Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

怎么进行多卡训练 #10

Open
costantine20 opened this issue Aug 12, 2022 · 3 comments
Open

怎么进行多卡训练 #10

costantine20 opened this issue Aug 12, 2022 · 3 comments

Comments

@costantine20
Copy link

请问怎么进行多卡训练
@LBH1024
Copy link
Owner

LBH1024 commented Aug 12, 2022

请问怎么进行多卡训练

你好，论文中的实验都是单卡训练和测试的。至于多卡训练，可以参考PyTorch教程进行修改。根据我们之前的实验，目前代码中的超参数在多卡训练的情况下可能需要调整，否则精度会偏低一些。

Repository owner deleted a comment from NicoleSherwood Oct 15, 2022
@Rechargeablezz
Copy link

请问怎么进行多卡训练

你好，论文中的实验都是单卡训练和测试的。至于多卡训练，可以参考PyTorch教程进行修改。根据我们之前的实验，目前代码中的超参数在多卡训练的情况下可能需要调整，否则精度会偏低一些。

您好，我将代码实现了多卡运行（4gpus）总的batchsize为12，请问学习率需要进行相关修改吗，btw我在自己修改超参后与您的结果还是有0.5%的差距，请问您能否提供一些超参的修改建议呢？谢谢

@yazheng0307
Copy link

请问怎么进行多卡训练

你好，论文中的实验都是单卡训练和测试的。至于多卡训练，可以参考PyTorch教程进行修改。根据我们之前的实验，目前代码中的超参数在多卡训练的情况下可能需要调整，否则精度会偏低一些。

您好，我将代码实现了多卡运行（4gpus）总的batchsize为12，请问学习率需要进行相关修改吗，btw我在自己修改超参后与您的结果还是有0.5%的差距，请问您能否提供一些超参的修改建议呢？谢谢

您好，请教一下代码如何实现的多卡训练？😊

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
4 participants
@yazheng0307 @costantine20 @Rechargeablezz @LBH1024