Study

1. Activation Functions Activation Functions 즉, 활성화 함수는 뉴런(노드)의 최종 값을 제공한다. input 데이터를 특정 범위의 출력으로 변환하는 단순한 함수이다. 활성화 함수의 종류는 위와 같이 다양하다. 활성화 함수는 모두 비선형 함수이다. 1.1 Sigmoid 함수 Sigmoid 함수는 넓은 범위의 값을 [0,1] 사이의 값으로 만든다. 입력 값이 크면 1, 작으면 0에 가까워 진다. 0과 1 사이의 값은 선형 함수와 같은 모양이다. 하지만 Sigmoid 함수에는 3가지 문제점이 있다. Vanishing gradient x가 -10, 10일 경우엔 gradients가 0이다. Chain rule에 의해 gradient를 구할 때 곱연산을 지속적으로 하면 gra..

1. Convolution 지금까지 본 신경망은 인접하는 계층의 모든 뉴런이 결합되어 있는 fully-connected 형태이며 완전히 연결된 계층을 Affine 계층이라는 이름으로 구현하였다. 위 그림과 같이 CNN에서는 새로운 ’합성곱 계층’과 ’풀링 계층’이 추가된다. 기존 완전 연결 계층(Affine)의 문제점은 ’데이터의 형상이 무시된다’는 것이다. 이미지는 통상 가로, 세로, 채널(색상)의 3차원 데이터이다. 그러나 완전연결 계층에 입력할 때는 3차원 데이터를 1차원 데이터로 평탄화 시켜야 한다. 이미지는 3차원 형상이며 이 형상에는 공간적 정보가 담겨져 있다. 그러나 완전 연결을 하게 되면 모든 입력 데이터를 동등한 뉴런(같은 차원의 뉴런)으로 취급하여 공간적 정보가 많이 사라지게 된다. 이..

1. Computational graphs Computational graphs란 계산 과정을 그래프로 나타낸 것이다. 그래프는 노드(node)와 에지(edge)로 나타낸다. Computational graphs에서 화살표를 따라 왼쪽에서 오른쪽으로 진행하게 되는데 이것을 순전파(forward propagation)라고 한다. 이름에서 알 수 있든 역전파는 오른쪽에서 왼쪽으로 계산하는 것이다. 계산 그래프를 사용하면 2가지 장점이 있다. 첫 번째는 국소적 계산이 가능하다. 각 노드에서의 계산은 국소적 계산인데 국소적 계산을 하게 되면 전체에서 어떤 일이 벌어지든 상관없이 자신과 관계된 정보만으로 결과를 출력할 수 있다. 두 번째는 역전파를 통해 효율적으로 미분을 할 수 있다. 2. Back Propaga..

CS231N 3강 https://www.youtube.com/watch?v=h7iBpEHGVNc&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk&index=3 1. Loss function loss function은 손실함수라고 부르며 실제값과 모델을 통한 예측값의 차이를 수치화 하는 함수이다. Loss는 가중치 W 가 얼마나 좋지 않은지를 표현한 것이다. 즉, Loss function은 W 이 잘 설정되었는지를 알려주는 함수이다. loss fucntion이 값이 작을수록 모델이 잘 만들어졌다고 할 수 있다. loss function의 값을 최소화하는 W, b의 값을 찾는 것을 Optimization(최적화)과정이다. $x_i$ = image $y_i$ = (integer) lab..

안정적인 일반화 성능 측정 방법인 교차 검증 소개 score 메서드가 제공하는 정확도와 R 값 이외에 분류와 회귀 성능을 측정하는 방법 소개 1. 교차 검증 K-fold cross validation 데이터를 먼저 fold(폴드)라고 하는 비슷한 크기의 부분 집합 다섯 개로 나눈다. 모델 생성 첫 번째 모델은 첫 번째 폴드를 테스트 세트로 사용, 나머지 폴드를 훈련 세트로 사용하여 학습 두 번째 모델은 두 번째 폴드를 테스트 세트로 사용…. K 번째 모델은 K 번째 폴드를 테스트 세트로 사용(K는 주로 5 or 10) K개의 정확도 값을 얻게 됨 장점 테스트 세트에 각 샘플이 정확하게 한 번씩 들어간다. 분할을 한 번 했을 때보다 데이터를 더 효과적으로 사용할 수 있음 단점 연산 비용이 늘어난다. 모델을..