Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

推理速度不科学啊 #4

Open
wbjnpu opened this issue Jun 7, 2023 · 5 comments
Open

推理速度不科学啊 #4

wbjnpu opened this issue Jun 7, 2023 · 5 comments

Comments

@wbjnpu
Copy link

wbjnpu commented Jun 7, 2023

我集成到自己的工程中，同样的模型单线程linux下速度竟然只有onnx推理的1/8，不知为何
@spianmo
Copy link
Contributor

spianmo commented Jun 7, 2023

我集成到自己的工程中，同样的模型单线程linux下速度竟然只有onnx推理的1/8，不知为何

使用的是GPU版本吗？目前NCNN的GPU推理效率并不很高

@wbjnpu
Copy link
Author

wbjnpu commented Jun 7, 2023

我集成到自己的工程中，同样的模型单线程linux下速度竟然只有onnx推理的1/8，不知为何

使用的是GPU版本吗？目前NCNN的GPU推理效率并不很高

cpu的，没有开vulkan的。另外就是精度问题，用我的相同的模型推理出的句子长度比onnx要短30%，发音也有问题，我看是在dp后计算帧数就明显少了

@sunjunlishi
Copy link

是不是模型是fp16的原因？

@spianmo
Copy link
Contributor

spianmo commented Jan 11, 2024

是不是模型是fp16的原因？

有可能，试试int8的

@sunjunlishi
Copy link

支持中文的代码呀

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
3 participants
@sunjunlishi @spianmo @wbjnpu