Skip to content

Commit

Permalink
modify prune
Browse files Browse the repository at this point in the history
  • Loading branch information
ahangchen committed Feb 5, 2022
1 parent 83986cd commit d8dc22b
Showing 1 changed file with 2 additions and 1 deletion.
3 changes: 2 additions & 1 deletion ml/kit/torch_prune.md
Original file line number Diff line number Diff line change
Expand Up @@ -65,4 +65,5 @@ class ConvPruning(BasePruningFunction):
- 注意事项:
- 剪枝是对遍历网络的每一个单独的层进行剪枝
- 剪枝时虽然有一定的策略,但不能保证每个剪掉这些层之后损失就是最小的
- 每层剪枝的比例可以不同,可以考虑人工将网络划分为几个部分,每个部分可以设置不同的剪枝比例,但具体应该设置多少,可以从剪枝后模型的执行结果进行评估,可以考虑写一个遍历算法,或者写个启发式搜索来找到最佳比例;
- 每层剪枝的比例可以不同,可以考虑人工将网络划分为几个部分,每个部分可以设置不同的剪枝比例,但具体应该设置多少,可以从剪枝后模型的执行结果进行评估,可以考虑写一个遍历算法,或者写个启发式搜索来找到最佳比例;
- 剪枝后应当在新的模型上继续fine tune一定epoch,以得到最适合此网络结构的权重

0 comments on commit d8dc22b

Please sign in to comment.