Machine Learning/Pruning-가지치기 (3) 썸네일형 리스트형 [논문 리뷰] Rethinking The Value of Network Pruning 리뷰 이 논문은 ICLR 2019에 accept된 논문으로, 그동안 논문들에서 당연하게 믿어져왔던 신념 두가지을 여러 모델과 실험을 통해 반박하고, 그 이유를 추측하는 논문이다. 여기서 두가지 신념이란 1. 매우 크고, over-parameterized된 모델을 사용하여 학습을 먼저 진행하는 것이 중요하다. 2. pruned된 구조와 그 weights이 최종 효율적인 모델을 생산해내는데 필수적이다. 이 논문에서는 이 두 신념을 반박하기 위해 "처음부터 작은 모델로, weight를 새롭에 initialize해서 학습"해서 더 좋은 성능이 나온 결과들을 제시했다. Pruning은 가지치기할 대상에 따라 Structure, Unstructure Pruning으로 분류가 되는데, 이번 논문에서는 Structure P.. Pruning 논문 리뷰 리스트 Rethinking The Value of Network Pruning - https://dbwp031.tistory.com/27 Dynamic Model Pruning with Feedback(DPF) - 2021.08. 작성중 Picking Winning Tickets Before Training By Preserving Gradient Flow - 2021.08.15 [논문 리뷰] Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration 논문 자료: https://arxiv.org/pdf/1811.00250.pdf 해당 논문에서 사용되는 사진 및 자료를 사용하였습니다. ## New Concept norm-based criterion ## Abstract 기존 논문들은 "smaller-norm-less-important"라는 기준이 prune filter에 활용되었다. 그러나 이런 norm based criterion은 다음 2가지에 의해 effectiveness가 결정되는데 이 둘은 항상은 충족하지 않는다. 1) 필터들의 표준편차들은 커야한다. 2) 필터들의 minimum norm(최소 표준)은 작아야 한다. 이 논문에서는 이 두 문제에 상관없이 모델을 압축할 수 있는 새로운 filter pruning method(Filter Pruni.. 이전 1 다음
