Machine Learning (7) 썸네일형 리스트형 Image Segmentation Survey [1] 들어가며 Image Segmentation에 어떤 논문들이 있는지 overview해보고자 survey논문부터 읽고자 합니다. 참고한 논문은 Image Segmentation Using Deep Learning: A Survey입니다. 앞으로 사용할 여러 figure, table들은 기본적으로 출처가 이곳이라고 생각해주시면 좋을 것 같습니다. 1.INTRODUCTION 1.1. Image Segmentation task를 어떤 문제로 정의했는지에 대해, Segmentation 종류에 따라 설명해주었습니다. Sementic Segmentation: class만 구분 classifing pixels with semantic labels Instance Segmentation: 객체를 구분 (객체1, 객체2, .. Image Segmentation 공부를 시작하며 들어가며 Image Segmentation은 현업에서 많이 사용되고 있는 vision쪽 task입니다. 최근에 Image Segmentation 모델을 다뤄볼 기회가 있어, 이번 기회에 해당 분야에 대한 기초적인 정리를 하고자 합니다. 용두사미가 되지 않도록 목표 설정을 한 후에 목표들을 하나씩 진행하고자 합니다. 목표 설정 목표 1: Image Segmentation Survey 정리하여 블로그 업로드 (결과물은 블로그 글이 되겠네요.) 목표 2: Image Segmentation 모델 대표 모델, 최신 모델 논문, 코드 분석 (결과물은 논문 분석은 블로그 글, 코드 분석은 ipynb로 작성해볼까 합니다.) 목표 3: Image Segmentation task의 최신 논문 중에 TensorFlow로만 .. [논문 리뷰] Distilling the Knowledge in a Neural Network 소개 안녕하세요. 오늘은 딥러닝 모델의 경량화 방법 중 하나인 지식 증류(Knowledge Distillation)의 첫 논문인 Distilling the Knowledge in a Neural Network 에 대해서 리뷰하려고 합니다. 오늘은 논문 전체에 대한 리뷰는 아니고 논문의 핵심 아이디어를 수식으로 의의를 밝히는 부분에 대한 설명을 하려고 합니다. 2.1 "Matching logits is a special case of Distillation" 이 단락에 식(2)와 식(3)이 소개되어 있습니다. 이 식(2)에서 식(3)으로 근사할 수 있다고 설명되어 있는데, 이에 대해 자세히 설명이 안되어 있었습니다. 설명을 하기에 앞서, 논문에선 "temperature(T)가 magnitude of the.. [논문 리뷰] Rethinking The Value of Network Pruning 리뷰 이 논문은 ICLR 2019에 accept된 논문으로, 그동안 논문들에서 당연하게 믿어져왔던 신념 두가지을 여러 모델과 실험을 통해 반박하고, 그 이유를 추측하는 논문이다. 여기서 두가지 신념이란 1. 매우 크고, over-parameterized된 모델을 사용하여 학습을 먼저 진행하는 것이 중요하다. 2. pruned된 구조와 그 weights이 최종 효율적인 모델을 생산해내는데 필수적이다. 이 논문에서는 이 두 신념을 반박하기 위해 "처음부터 작은 모델로, weight를 새롭에 initialize해서 학습"해서 더 좋은 성능이 나온 결과들을 제시했다. Pruning은 가지치기할 대상에 따라 Structure, Unstructure Pruning으로 분류가 되는데, 이번 논문에서는 Structure P.. Pruning 논문 리뷰 리스트 Rethinking The Value of Network Pruning - https://dbwp031.tistory.com/27 Dynamic Model Pruning with Feedback(DPF) - 2021.08. 작성중 Picking Winning Tickets Before Training By Preserving Gradient Flow - 2021.08.15 [논문 리뷰] Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration 논문 자료: https://arxiv.org/pdf/1811.00250.pdf 해당 논문에서 사용되는 사진 및 자료를 사용하였습니다. ## New Concept norm-based criterion ## Abstract 기존 논문들은 "smaller-norm-less-important"라는 기준이 prune filter에 활용되었다. 그러나 이런 norm based criterion은 다음 2가지에 의해 effectiveness가 결정되는데 이 둘은 항상은 충족하지 않는다. 1) 필터들의 표준편차들은 커야한다. 2) 필터들의 minimum norm(최소 표준)은 작아야 한다. 이 논문에서는 이 두 문제에 상관없이 모델을 압축할 수 있는 새로운 filter pruning method(Filter Pruni.. Machine Learning - Quantization 양자화 양자화에 대한 논문 리뷰, 개념들을 정리할 예정이다. 이전 1 다음
