Study/ML
-
논문리뷰 A Study of BFLOAT16 for Deep Learning TrainingStudy/ML 2021. 8. 30. 22:16
Abstraction & Introduction 이 논문은 19년도에 발표된 논문으로 딥러닝 half precision 기법에서 INT16, FP16 대신 Bfloat16을 제안합니다. Bfloat16란 16bit floating 숫자로 아래 사진에 나와있듯이 FP32와 지수 부분 비트수가 같다는 특징이 있습니다. 그래서 FP32보다는 정확도는 떨어지지만 표현할수 있는 범위가 같다는 특징이 있습니다. 원래 BFloat16는 구글의 DistBelief 머신러닝 프레임워크에서 처음 제안됬습니다. 멀티 node 환경에서 shared memory의 volume을 줄이기 위해 제안된 데이터 타입으로 지금은 이제 딥러닝의 computing에 있어서 사용됩니다. f Eng 1.f [약어] 여성(female) 2.f1..
-
논문 리뷰 DoReFa-Net : CNN 모델에서 weight, activation, gradient의 quantizationStudy/ML 2021. 8. 4. 17:59
DoReFa-Net TRAINING LOW BITWIDTH CONVOLUTIONAL NEURAL NETWORKS WITH LOW BITWIDTH GRADIENTS https://arxiv.org/abs/1606.06160 DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients We propose DoReFa-Net, a method to train convolutional neural networks that have low bitwidth weights and activations using low bitwidth parameter gradients. In particular, during ba..
-
논문 리뷰 EfficientNet : 스케일링으로 모델의 성능 높이기Study/ML 2021. 7. 2. 21:43
논문 : https://arxiv.org/pdf/1905.11946.pdf convolution [ˌkɑːn-][ˌkɒnvəˈluːʃn] Eng 1.convolution [명사] 대단히 복잡한[난해한] 것 2.convolution 오픈사전 오픈사전 도움말 이용자들이 직접 등록한 단어입니다. (정보통신) 중첩, 상승 3.Heschl convolution (의학) 헤실회(~回). 참조 convolution 4.natural convolution [명사] (섬유공학) 천연 꼬임 5.convolution integral [명사] (수문학) 콘벌류우션 적분치(~積分値) 6.꼬임선 (전력) convolution 7.뇌회 腦回 (의학) convolution, gyrus 8.콘볼루션 (IT) Convolution 9...
-
Depthwise Separable Convolution (Pytorch) - CNN 파라미터 줄이기Study/ML 2021. 7. 2. 01:44
separable [ˈsepərəbl] Eng 1.separable [형용사] ~ (from sth) 분리될 수 있는 2.separable cost [명사] 분리가능비(원가) 3.separable bearing [명사] (기계공학) 분리형 베어링(分離形~) 4.minimum separable acuity (의학) 최소분리시력 참조 acuity 5.separable control contact (전력) 제어용 분리형 접촉자 6.떨어지기 쉬운 separable 7.일차측 분리형 접촉자 (전력) separable primary contact 8.제어용 분리형 접촉자 (전력) separable control contact 9.커넥터 분리형 부싱 (전력) bushing for separable connector ..
-
논문 리뷰 SDPS-Net : 이미지로 부터 Normal map 얻기Study/ML 2021. 6. 28. 23:04
논문 : https://arxiv.org/pdf/1903.07366.pdf Git : https://github.com/guanyingc/SDPS-Net guanyingc/SDPS-Net Learning Based Uncalibrated Photometric Stereo for Non-Lambertian Surface (CVPR 2019) - guanyingc/SDPS-Net github.com Normal map이란 3차원 컴퓨터 그래픽스에서 튀어나온 곳과 움푹 틀어간 곳의 빛을 왜곡시키는 기법으로, 범프 매핑의 구현체이다. 즉 Normal map에 대해 알아야지 특정 위치에서 광원의 반사 각도를 알 것이고 어떻게 보여주는지 결정하는게 큰 역할을 한다. 그래서 이미지로부터 Normal map을 아는것은..