cs231n

Global Minima: 기울기가 0인 극소값 Local Minima: Global minima에 다다르지 않고, 기울기가 0 이 되는 지점 Learning rate: Local Minimum에 효율적으로 도달할 수 있도록, 너무 크지도 작지도 않은 적절한 학습률을 셋팅 해야함. 1. Optimization Optimizer는 loss를 줄이기 위해 weight과 learning rate와 같은 neural network 속성을 변경하는데 사용하는 알고리즘이다. Gradient Descent 가장 기본적인 최적화 알고리즘이다. backpropagation을 통해 weight을 변경하여 함수가 최소값에 도달할 수 있도록 한다. 쉽고 간단한 방법이지만 데이터셋이 큰 경우 모든 데이터를 계산한 뒤 step을..

1. Activation Functions Activation Functions 즉, 활성화 함수는 뉴런(노드)의 최종 값을 제공한다. input 데이터를 특정 범위의 출력으로 변환하는 단순한 함수이다. 활성화 함수의 종류는 위와 같이 다양하다. 활성화 함수는 모두 비선형 함수이다. 1.1 Sigmoid 함수 Sigmoid 함수는 넓은 범위의 값을 [0,1] 사이의 값으로 만든다. 입력 값이 크면 1, 작으면 0에 가까워 진다. 0과 1 사이의 값은 선형 함수와 같은 모양이다. 하지만 Sigmoid 함수에는 3가지 문제점이 있다. Vanishing gradient x가 -10, 10일 경우엔 gradients가 0이다. Chain rule에 의해 gradient를 구할 때 곱연산을 지속적으로 하면 gra..

1. Convolution 지금까지 본 신경망은 인접하는 계층의 모든 뉴런이 결합되어 있는 fully-connected 형태이며 완전히 연결된 계층을 Affine 계층이라는 이름으로 구현하였다. 위 그림과 같이 CNN에서는 새로운 ’합성곱 계층’과 ’풀링 계층’이 추가된다. 기존 완전 연결 계층(Affine)의 문제점은 ’데이터의 형상이 무시된다’는 것이다. 이미지는 통상 가로, 세로, 채널(색상)의 3차원 데이터이다. 그러나 완전연결 계층에 입력할 때는 3차원 데이터를 1차원 데이터로 평탄화 시켜야 한다. 이미지는 3차원 형상이며 이 형상에는 공간적 정보가 담겨져 있다. 그러나 완전 연결을 하게 되면 모든 입력 데이터를 동등한 뉴런(같은 차원의 뉴런)으로 취급하여 공간적 정보가 많이 사라지게 된다. 이..

1. Computational graphs Computational graphs란 계산 과정을 그래프로 나타낸 것이다. 그래프는 노드(node)와 에지(edge)로 나타낸다. Computational graphs에서 화살표를 따라 왼쪽에서 오른쪽으로 진행하게 되는데 이것을 순전파(forward propagation)라고 한다. 이름에서 알 수 있든 역전파는 오른쪽에서 왼쪽으로 계산하는 것이다. 계산 그래프를 사용하면 2가지 장점이 있다. 첫 번째는 국소적 계산이 가능하다. 각 노드에서의 계산은 국소적 계산인데 국소적 계산을 하게 되면 전체에서 어떤 일이 벌어지든 상관없이 자신과 관계된 정보만으로 결과를 출력할 수 있다. 두 번째는 역전파를 통해 효율적으로 미분을 할 수 있다. 2. Back Propaga..

CS231N 3강 https://www.youtube.com/watch?v=h7iBpEHGVNc&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk&index=3 1. Loss function loss function은 손실함수라고 부르며 실제값과 모델을 통한 예측값의 차이를 수치화 하는 함수이다. Loss는 가중치 W 가 얼마나 좋지 않은지를 표현한 것이다. 즉, Loss function은 W 이 잘 설정되었는지를 알려주는 함수이다. loss fucntion이 값이 작을수록 모델이 잘 만들어졌다고 할 수 있다. loss function의 값을 최소화하는 W, b의 값을 찾는 것을 Optimization(최적화)과정이다. $x_i$ = image $y_i$ = (integer) lab..